• Organisationsevaluation: Bei dieser Variante der Evaluation werden systematisch Daten erhoben, um eine gesamte Organisation in den Strukturen, Prozessen und / oder Ergebnissen bewerten zu können. Unter dem Begriff „Organisation“ sollen hier solche sozialen, auf eine bestimmte Dauerhaftigkeit angelegten Gebilde verstanden werden, in denen Menschen im Rahmen einer formellen (in der Regel arbeitsteiligen) Struktur und in informellen Handlungsmustern koordiniert zusammenwirken, um bestimmte Ziele zu erreichen und / oder bestimmte Leistungen für ihre Umwelt zu erzeugen (zu unterschiedlichen Varianten im Verständnis von „Organisation“ Kieser / Ebers 2014; Preisendörfer 2016). Organisationsevaluationen können sich z. B. auf ein Jugendzentrum, die regionale Gliederung eines Wohlfahrtsverbandes oder eine Beratungsstelle richten. Solche Organisationsevaluationen erfordern in besonderer Weise eine Begrenzung auf zentrale Fragestellungen bzw. Kriterien, die der Evaluation zugrunde gelegt werden, da sonst die Evaluation in ihrer Komplexität ausufert. Und sie setzen ebenfalls eine Begrenzung in der Organisationskomplexität voraus: Kann man sich noch vorstellen, die Kreisgeschäftsstelle eines Wohlfahrtverbandes (z. B. des Caritasverbandes) unter zwei oder drei zentralen Kriterien zu evaluieren, so würde ein solches Ansinnen bei der „höchsten“ Gliederungsebene, der Bundesebene eines Wohlfahrtsverbandes, kaum mehr sinnvoll formuliert und nur schwer ausgeführt werden können.
Produktevaluation
• Produktevaluation: Materielle „Produkte“ als Gegenstand von Evaluation tauchen bei der Sozialen Arbeit nur selten auf. Denn die Soziale Arbeit besteht in ihrem Kern aus sozialen Dienstleistungen (Merchel 2015b, 65 ff), und nur selten erhalten materielle „Produkte“ eine solche Bedeutung, dass sie zu einem Gegenstand von Evaluation werden. Als Produktevaluation könnte z. B. die Untersuchung von Spielgeräten, von für Kinder verwendetem Mobiliar oder von Erzeugnissen einer Werkstatt für Menschen mit Behinderung gelten. Produktevaluationen, die dem von der „Stiftung Warentest“ bekannten Muster folgen, haben in der Sozialen Arbeit nur einen marginalen Stellenwert.
Schwerpunkt: Programmevaluationen
In der Sozialen Arbeit liegt der Schwerpunkt bei den Programmevaluationen. Im Mittelpunkt stehen die Aktivitäten (Maßnahmen, Angebote, Interventionen) von Organisationen, Gruppen, Teams oder einzelnen Akteuren. Untersucht und bewertet werden sollen deren strukturelle Voraussetzungen, deren Planung und / oder Umsetzung sowie die daraus resultierenden Ergebnisse, Wirkungen und Effekte. Politikevaluation vollzieht sich – wenn sie überhaupt stattfindet, was leider nur vereinzelt der Fall ist – in der Regel im Rahmen von Forschungsprojekten (Evaluationsforschung). Organisationsevaluationen sind sehr selten; sie werden bisweilen im Rahmen von Projekten zur Organisationsentwicklung initiiert (Merchel 2005; Schiersmann/ Thiel 2009): entweder zu Beginn eines solchen Prozesses im Rahmen der „Organisationsdiagnose“ oder am Ende eines Entwicklungszyklus, um Veränderungen in der Organisation zu erkunden. Personalevaluationen werden wegen der Hemmungen, Personen zum Gegenstand einer Untersuchung zu machen, kaum realisiert; wenn personenbezogene Aspekte im Rahmen von Evaluationen zur Sprache kommen, dann am ehesten bei der Auswertung der Ergebnisse von Programmevaluationen – in der Debatte darüber, ob und welche personellen Konstellationen möglicherweise als Hintergrund für die Ergebnisse bedacht werden müssen und an welchen Stellen der Konsequenzen aus den Evaluationsergebnissen personenbezogene Handlungsstrategien zur Verbesserung entworfen werden sollten.
Verschiedene Aspekte der Programmevaluation
Für die Programmevaluation, die in der Sozialen Arbeit den dominierenden Typus ausmacht, lassen sich verschiedene Aspekte differenzieren, die in unterschiedlicher Intensität in den konkreten Evaluationen zum Tragen kommen können. Nicht jeder der nachfolgend aufgeführten Aspekte muss in jeder Evaluation angesprochen werden, und manche Evaluation legt den Schwerpunkt auf nur eine Dimension oder gar einen Teilbereich dieser Dimension (Böttcher 2008, 893 f):
• Bedarfsbewertung: Hier sollen Fragen beantwortet werden hinsichtlich der Art der Probleme, auf die ein Programm einwirken soll – ob und welche Zielgruppe einen Bedarf hat, ob und wie weit Interventionen benötigt werden.
• Bewertung der Programmtheorie: Die Evaluation soll Antworten auf die Frage ermöglichen, ob die Interventionen auf angemessenen theoretischen Annahmen gründen, ob die Ziele des Programms adäquat verfasst worden sind (z. B. überhaupt evaluierbar formuliert worden sind) und ob die Ziele in einer angemessenen Verbindung zu den Interventionen stehen.
• Bewertung des Programmprozesses: Hier geht es um die Untersuchung und Bewertung der tatsächlichen operativen Prozesse – ob und wie weit die Durchführung mit dem geplanten Programm übereinstimmt, ob und welche Beeinträchtigungen durch externe Einmischungen oder durch interne Unstimmigkeiten stattgefunden haben, ob die Kooperationsbereitschaft der Akteure ausreichend war etc.
• Wirkungsmessung / Ergebnisevaluation: Die Evaluation legt offen, ob und in welchem Ausmaß die mit dem Programm erwünschten Ergebnisse erreicht wurden. Möglicherweise können durch die Evaluation auch Anhaltspunkte markiert werden, die eine Erörterung der Gründe für die Ergebnisausprägung anregen (z. B. im Hinblick auf die für die Soziale Arbeit erforderliche Bereitschaft zur „Koproduktion“ auf Seiten der Adressaten). Bei der Ergebnisevaluation sollte es nicht nur um die Erhebung von Daten zur beabsichtigten Wirkung gehen, sondern es sollten auch mögliche, nicht beabsichtigte Nebenwirkungen in den Blick genommen werden.
• Bewertung der Programmeffizienz: Dieser Evaluationsaspekt richtet sich auf das Verhältnis von Aufwand und Nutzen des Programms oder einzelner Phasen der Programmgestaltung. Dabei bedarf es der Wahrnehmung und der Abwägung zwischen verschiedenen Auffassungen beteiligter Akteure zu dem, was als „Aufwand“ im Rahmen eines Programms gelten soll und an welchen Parametern „Nutzen“ zu messen ist.
Für alle diese Gegenstände von Evaluation gilt selbstverständlich die Anforderung, die Kriterien bzw. Fragestellungen genau zu formulieren, die der jeweiligen Evaluation zugrunde gelegt wird. Denn jeder Gegenstand einer Evaluation kann immer nur unter bestimmten Gesichtspunkten untersucht und bewertet werden. Nur in Verbindung mit einem oder mehreren vor Beginn der Evaluation formulierten Kriterien oder Fragestellungen erhält eine Evaluation die Richtung, durch die ihre Ergebnisse brauchbar werden können. Die Bestimmung des Gegenstandes und die Eingrenzung auf bestimmte Kriterien oder Fragestellungen gehören also zusammen, um der Evaluation eine tragfähige Richtung zu geben.
1.4 Zusammenfassung in Leitsätzen
• Bei „Evaluation“ handelt es sich um ein – in der Regel organisational verankertes – systematisiertes und transparentes Vorgehen der Datensammlung zu einem bestimmten Gegenstandsbereich / Sachverhalt mittels intersubjektiver und gültiger Erhebungsverfahren, das auf der Basis vorher formulierter Kriterien eine genauere Bewertung des Gegenstands / Sachverhalts ermöglichen und für die Praxis verwertbare Diskussions- und Entscheidungshilfen zur Verbesserung bzw. Weiterentwicklung des untersuchten Gegenstands / Sachverhalts liefern soll.
Eigenständiges methodisches Profil
• Evaluation sollte als ein Bestandteil professionellen Handelns verstanden werden, jedoch wäre es verfehlt, wenn man für jede Form der reflektierenden Bewertung beruflichen Handelns den Begriff „Evaluation“ verwenden würde. Evaluation hat mit ihrem Bezug zur Datenerhebung als Grundlage für Bewertungsvorgänge ein eigenes methodisches Profil und ist daher abzugrenzen gegenüber anderen Prüfungs- und Bewertungsvorgängen, in denen über professionelles Handeln reflektiert wird.
Differenz zu Evaluationsforschung
• Evaluation erfolgt zwar auf der Basis sozialwissenschaftlicher Methoden und Modalitäten der Datenerhebung und Datenverwertung, jedoch muss zwischen Evaluation und Evaluationsforschung unterschieden werden. Je stärker und unmittelbarer Evaluation mit der Praxis von Organisationen und deren Akteuren verknüpft wird, desto stärker müssen auch die Anforderungen der Praxis mit den für die sozialwissenschaftliche Methodik geltenden Gütekriterien in einen Ausgleich gebracht werden. Auch die bei Evaluationen häufig wenig markante Trennung zwischen Praxisakteuren und Evaluationsakteuren lässt es sinnvoll erscheinen, zwischen einer in und mit der Praxis verwobenen Evaluation und Evaluationsforschung zu differenzieren. Das vorliegende Einführungsbuch widmet sich schwerpunktmäßig der erstgenannten Variante.