Anspruch: Herstellen von Plausibilität
Neben der engen Ausrichtung an Gütekriterien sozialwissenschaftlicher Forschung unterscheidet sich Evaluationsforschung in einem weiteren Aspekt von (mit Praxis verwobener) Evaluation: Evaluationsforschung verbindet sich mit dem Anspruch, nicht nur Wirkungen und Nebenwirkungen zu erheben und festzustellen, sondern darüber hinaus auch die wesentlichen Wirkfaktoren möglichst präzise herauszuarbeiten. Evaluationsforschung folgt einem kausalanalytischen Anspruch: Im Grundsatz sollen Wirkungsmechanismen erforscht und erkannt werden (Kromrey 2005, 45 ff; 2000, 40 ff). Demgegenüber verbleibt dieses Bemühen bei „praxisbezogener Evaluation“ auf der Ebene der Herstellung von Plausibilität: Die Feststellung von Wirkungen und Nebenwirkungen steht im Mittelpunkt, und es ist gut, wenn für die Erörterung möglicher Hintergründe durch die Evaluation Anhaltspunkte sichtbar werden, die die Debatte anregen. Der Anspruch hinsichtlich der Präzision bei der Herausarbeitung von Wirkungsfaktoren ist bei „praxisbezogener Evaluation“ also weitaus begrenzter als bei der Evaluationsforschung.
Forschung und Distanz zum Alltagshandeln
Die Differenz zwischen Evaluation und Evaluationsforschung steht u. a. im Zusammenhang mit der Verwendung des Begriffs „Forschung“ in der Alltagssprache. Wenn von „Forschung“ die Rede ist, wird eine deutliche Distanz zum Alltagshandeln impliziert: Das Alltagshandeln wird schließlich zum Gegenstand, zum Objekt der Forschung, woraus folgt, dass man methodisch eine relativ starke Distanz zum Alltagshandeln einnehmen muss, um einen „Forscherblick“ herauszufordern und zu gewährleisten. Die personelle Trennung zwischen Handlungs- und Forschungsakteuren wird in der Regel als Voraussetzung für eine „objektive Forschung“ angesehen. Diese Trennung ist bereits in den – mittlerweile in Vergessenheit geratenen – Ansätzen der Aktionsforschung und der sozialwissenschaftlichen „Praxisforschung“ (Moser 1995; 1975) durchbrochen worden. Bei der praxisbezogenen Evaluation ist das Durchlöchern dieser Grenzziehung noch deutlicher: Auch hier bildet eine Distanzierung vom Alltag eine wichtige Voraussetzung für das Erzielen aussagefähiger und praktisch verwertbarer Evaluationsergebnisse, jedoch ist die Intensität der Distanz deutlich geringer als im sozialwissenschaftlichen Forschungskontext. Weil sich bei praxisbezogenen Evaluationen zwischen Alltag und Evaluationsaktivitäten keine so intensive Distanz herausbildet, also eine Trennung zwischen Handelnden und Forschenden nicht so deutlich vorgenommen wird, wäre hierfür der Begriff „Evaluationsforschung“ nicht sinnvoll. Mit den Konnotationen zum Forschungsbegriff im alltäglichen Sprachgebrauch würden Evaluationen, die nahe am Handlungsalltag angesiedelt sind, nicht adäquat abgebildet. Auch wenn solchen Evaluationen insofern eine im Grundsatz „wissenschaftliche Ausrichtung“ zugesprochen werden muss, als sie systematisch vorgehen und dabei Methoden und Instrumente aus der Sozialwissenschaft anwenden und sich somit gegenüber einem rein alltagsbezogenen „Bewerten“ abheben, sollte wegen der angesprochenen Unterschiede zwischen Evaluationsforschung und Evaluation differenziert werden.
Methodische Arrangements in der Evaluation
Abbildung 1 verdeutlicht die unterschiedlichen methodischen Arrangements von Evaluation, und es markiert denjenigen Bereich, der in diesem Einführungsbuch als „Evaluation in der Sozialen Arbeit“ schwerpunktmäßig angesprochen wird.
Abb. 1: Methodische Arrangements in der Evaluation
Die im Alltag der Einrichtung eingebundenen Evaluationen und die vom Alltag deutlich distanzierten Evaluationsforschungen markieren zwei Pole, zwischen denen sich unterschiedliche methodische Arrangements von Evaluation verorten lassen. Die intensivste Einbindung in den Alltag weist die Selbstevaluation auf (Genaueres zu den Begriffen vgl. Kap. 3): Praxisakteure evaluieren ihre eigene Arbeit und sind somit gleichzeitig Evaluationsakteure. Bei der internen Evaluation setzt allmählich eine Rollendifferenzierung zwischen Praxis- und Evaluationsakteuren ein, auch wenn die Distanz der Evaluationsakteure zum Handlungsalltag noch relativ gering ist. Diese Distanz vergrößert sich, wenn externe Evaluationsakteure eingesetzt werden. Mit wachsender Distanz der externen Evaluationsakteure und geringer werdendem Einfluss der Alltagsakteure auf Konzept und Methoden der Durchführung nähert sich die Evaluation immer deutlicher dem Typus der vom Alltag distanzierten Evaluationsforschung. In diesem Einführungsbuch zur „Evaluation in der Sozialen Arbeit“ werden vornehmlich solche Evaluationsarrangements angesprochen, in denen noch eine relative Alltagsnähe zu der evaluierten Einrichtung besteht und bei denen die Alltagsakteure auch bei den externen Evaluationen einen relevanten Einfluss auf Konzept und Durchführung der Evaluation haben.
1.3 Gegenstände von Evaluation
Allgemein formuliert kann zum Gegenstand von Evaluation alles werden, bei dem etwas Materielles oder Immaterielles eingesetzt wird, um damit eine Veränderung bei einem gegebenen Zustand zu erreichen. Spezifischer im Hinblick auf Soziale Arbeit kann Evaluation sich auf folgende „Gegenstände“ richten und in folgenden Konstellationen auftreten:
Politikevaluation
• Politikevaluation: Untersucht und bewertet werden Prozesse und Auswirkungen politischen Handelns, z. B. die Umsetzung der Hartz IV-Gesetze, Umsetzung und / oder Auswirkungen der Einführung des §8a SGB VIII („Schutzauftrag bei Kindeswohlgefährdung“), das zu evaluierende Bundeskinderschutzgesetz (so in Art.4 Bundeskinderschutzgesetz ausdrücklich vorgeschrieben; Bundesgesetzblatt 2011, 2982; zu den Ergebnissen Seckinger et al. 2016) oder die Jugendhilfepolitik einer Stadt oder eines Kreises.
Programmevaluation
• Programmevaluation: Hier werden Maßnahmen, Angebote oder Interventionen zum Gegenstand der Evaluation, mit denen eine oder mehrere Organisationen bestimmte Ziele erreichen wollen. Zur Programmevaluation gehören z. B. die Evaluation eines Seminars oder einer Seminarreihe eines Trägers der außerschulischen Jugendbildung, die Evaluation der Hilfeplanung eines Jugendamtes, die Evaluation der Personalentwicklung in einer größeren Einrichtung, die Evaluation der offenen Ganztagsangebote an Schulen, die Evaluation eines Projektes zur verbesserten Beteiligung der Bewohner an der Alltagsstrukturierung in einer Wohnstätte für Menschen mit Behinderung oder die Evaluation eines neu eingeführten ergotherapeutischen Angebots für Menschen mit beginnender Demenzerkrankung in einem Seniorenwohnheim. Die Programmevaluation kann sich auf Programme unterschiedlicher Größe und Komplexität richten: von der Untersuchung einer eher marginalen Neuerung (z. B. Experimentieren mit einem neuen Spieltypus in einer Kindertageseinrichtung) über die Evaluation einer umfassenderen methodischen Veränderung in einer Organisation (z. B. Umstellung der Verfahren bei möglicher oder vermuteter Kindeswohlgefährdung in einem Jugendamt) bis hin zu markanten Veränderungsprogrammen mit breiter infrastruktureller Wirkungsabsicht (z. B. Modellprogramme zur Einführung neuer Hilfeformen in einem Arbeitsfeld, wie etwa Bildungspläne in Kindertageseinrichtungen oder „flexible Hilfen“ im Bereich der Erziehungshilfen).
Personalevaluation
• Personalevaluation: Im Mittelpunkt stehen Personen sowie deren Einstellungen, Kompetenzen und Handlungsweisen. Solche Evaluation können z. B. die Kooperationen zwischen Sozialarbeitern und Verwaltungsmitarbeitern in den Blick nehmen, die Eignung von Erzieherinnen oder Sozialarbeitern für bestimmte Aufgaben im Bereich der Erziehungshilfen, die Einstellungen von Fachkräften gegenüber Migranten im Allgemeinen Sozialen Dienst eines Jugendamtes oder die Kompetenzen von Heilerziehungspflegern, Heil-