(Weiss, 1998a, S.4).
Indem Evaluation als nicht direkt zu einer Bewertung führend, sondern zunächst als die Identifikation, Klärung und Anwendung von belastbaren Kriterien definiert wird, um daraufhin den Wert (Güte und Tauglichkeit) eines Gegenstandes in Bezug auf diese Kriterien zu bestimmen, werden die Bewertungskriterien stark betont:
«[…] we define evaluation as the identification, clarification, and application of defensible criteria to determine an evaluations object’s value (worth and merit) in relation to these criteria»
(Fitzpatrick, Sanders & Worthen, 2012, S.7).
Stufflebeam und Coryn definieren Evaluation als einen systematischen Prozess der Bestimmung, Beschaffung, Berichterstattung und Nutzung von beschreibenden und bewertenden Informationen. Dabei benennen sie die sieben Kriteriendimensionen Güte, Tauglichkeit, Integrität (Rechtschaffenheit/Redlichkeit), Umsetzbarkeit, Sicherheit, Bedeutsamkeit und/oder Gerechtigkeit, auf deren Basis die Beschreibung und Bewertung des Evaluationsgegenstandes erfolgt:
«[…] evaluation is the systematic process of delineating, obtaining, reporting and applying descriptive and judgemental information about some object’s merit, worth, probity, feasibility, safety, significance and/or equity»
(Stufflebeam & Coryn, 2014, S.12).
Evaluation als Wissenschaft!
Patton argumentiert, dass Evaluation als Wissenschaft angesehen werden kann. Das Ziel von Wissenschaft sei es zu verstehen und zu erklären, wie die Welt funktioniert. Die Besonderheit der Evaluation bestehe darin, klären zu wollen, wie und wie gut Programme, Maßnahmen oder Interventionen funktionieren, die Veränderungen – zu ergänzen wäre: Stabilisierungen – auslösen sollen. Der Evaluation als Wissenschaft liegt eine systematische Vorgehensweise zur Bestimmung von Güte, Wert, Tauglichkeit, Nutzen und Bedeutsamkeit des Evaluationsgegenstandes zugrunde, die sich an wissenschaftliche Normen hält, zu denen die Anwendung von Logik, die Verwendung transparenter Methoden, die Überprüfung der Ergebnisse und die Bereitstellung von Belegen und expliziten Begründungen gehören, um vernunftgemäße Interpretation, Bewertung und Beurteilung zu unterstützen.
«Evaluation science is systematic inquiry into how, and how well, interventions aimed at changing the world work. Evaluation science involves systematic inquiry into the merit, worth, utility, and significance of whatever is being evaluated by adhering to scientific norms that include employing logic, using transparent methods, subjecting findings to review, and providing evidence and explicit rationales to support reason-based interpretation, valuing, and judgment»
(Patton, 2018a, S. 187).
Im Vergleich von Evaluation und Forschung ergibt sich darüber hinaus ein für die Praxis höchst relevanter, geradezu dramatischer Punkt: «Grundlagenforschung darf sich ‹irren›. Damit ist gemeint: Hypothesen, die als Ausgangspunkt gewählt werden, dürfen sich im Verlauf der Forschung als falsch erweisen. […] Deren informationsreiches Scheitern ist nicht selten der Startpunkt für grundlegende Erkenntnisse, die eine neue Forschungslinie begründen» (Kromrey, 2003, S.98).
Eine solche, die Fehlbarkeit preisende Haltung gefährdet hingegen Legitimität und Akzeptanz von Evaluation: «Bei der Konzipierung des […] Designs ist große Sorgfalt darauf zu verwenden, dass die zugrunde liegenden Annahmen und Hypothesen einen hohen Grad empirischer Bewährung aufweisen und dass der Prozess der Gewinnung, Auswertung und Interpretation aller Informationen methodisch abgesichert und mit begleitender Qualitätskontrolle abläuft. Jede falsche Schlussfolgerung im Verwertungskontext, die wegen fehlerhafter […] Daten gezogen wird, hat Konsequenzen für einen nicht absehbaren Kreis von Betroffenen» (Kromrey, 2003, S.98).
Wenn also grundlegende Skepsis, Misstrauen gegenüber jedem sicheren Befund sowie ständiges und wiederholendes Infragestellen einer Vorannahme hohe Tugenden der Grundlagenforschenden sind (gegen die allerdings nicht selten in unethischer Weise verstoßen wird), würde eine solche Haltung – zumindest, wenn in übertriebenem Maße praktiziert – die Akzeptanz und das wirtschaftliche Überleben eines Evaluationsbüros gefährden. Hier deutet sich ein erstes der vielen Dilemmata an, mit denen in Evaluationen umgegangen werden muss.
Für die angemessene Planung und Durchführung einer Untersuchung ist es unverzichtbar, eine klare Priorität auf Forschung oder Evaluation zu setzen: «Eine (unklare) Mischung schadet zumeist in beide Richtungen» (Reischmann, 2006, S.30).
Auf wessen Initiative – autonom oder beauftragt?
Der Weg zu Fragestellungen ist bei Evaluation und Forschung oft sehr unterschiedlich: In der Forschung bestimmen – zumindest vom Ideal her – die Forschenden die Fragestellungen und die wissenschaftlichen Hypothesen. Auf der Suche nach Erkenntnis sollen sie allein sich selbst und den Ansprüchen ihrer Disziplin gegenüber verantwortlich sein. In der Ausrichtung von Forschungsthemen sind sie dabei nicht selten intuitiv, durch biografische oder zeitgeschichtliche Besonderheiten geleitet. Friedrichs (1973, S.50–55) nennt dies in seiner, für die sozial- und erziehungswissenschaftliche Forschung prägenden Dreigliederung den «Entdeckungszusammenhang». Diesem widmen die Forschenden relativ wenig Aufmerksamkeit, ebenso wie dem «Verwertungszusammenhang». Für sie zentral ist hingegen der «Begründungszusammenhang» mit seinen Theorien, Hypothesen, Begriffen und dem gesamten forschungsmethodischen Inventar. Was in der Forschung eine nebensächliche Aufgabe ist – die genaue Festlegung des Evaluationsgegenstandes (➞ Kapitel 4) inklusive der Fragestellungen –, ist in der Evaluation die erste Kernleistung, für die genügend Ressourcen zur Verfügung stehen müssen.
➞ Lösung auf Seite 228
| Übungsaufgabe 2: | ||
| «Risiken pragmatischer Evaluationen»Lösen Sie nun die Übungsaufgabe 2: | ||
| a) Notieren Sie Gefahren und Risiken, wenn Sie sich – z.B. wegen Zeitknappheit – von wissenschaftlichen Anforderungen an Evaluation lösen und auf «Evaluationen» ausweichen, die allein pragmatischen Überlegungen folgen.b) Machen Sie einige Stichworte dazu, wie Sie sich – in Ihrer aktuellen oder künftigen Arbeitssituation – gegen solche Risiken schützen können. | ||
Bedeutung des Kontextes
Bei Evaluationen läuft es oft anders ab: Sie sind zumeist Auftragsarbeiten, und ihre Zwecke und Fragestellungen sind zumindest grob vorgegeben. Sie werden nicht durch die Evaluierenden in eigener Regie nach ihrer Neugier und Kreativität konzipiert, sondern in enger Abstimmung mit den Auftraggebenden und weiteren Beteiligten aus dem Bereich des Evaluationsgegenstandes. Evaluationsvorhaben finden in einem kontrollierten Rahmen als Auftrag von Entscheidungsträgerinnen und -trägern statt und sind oft in politische Settings eingebunden. Mertens hebt als Besonderheit von Evaluation hervor, dass in ihr Politik und Wissenschaft von Natur aus miteinander verflochten seien. Evaluationen werden zur Bestimmung der Güte und Tauglichkeit öffentlicher Programme durchgeführt, die wiederum selbst Antworten auf – durch politische Entscheidungen bevorzugte – individuelle und gemeinschaftliche Bedürfnisse sind: «what distinguishes evaluation from other forms of social inquiry is its political inherency; that is, in evaluation, politics and science are inherently intertwined. Evaluations are conducted on the merit or worth of programs in the public domain, which are themselves responses to prioritized individual and community needs that resulted from political decisions» (Mertens, 2015, S. 52, auf Basis von Greene, 2000). Auch die nachfolgend geschilderte Möglichkeit, eine Vielzahl an Perspektiven auf den Evaluationsgegenstand einzunehmen, indem man Beteiligte und Betroffene einbezieht, kann der Vereinseitigung einer Evaluation vorbeugen, deren Vermeidung aber nicht garantieren.
Aktive Stakeholder als Partner
Beteiligte