Wer oder was? – Der Evaluationsgegenstand
Zunächst ist zu klären, wer oder was evaluiert werden soll. Dies wird als Evaluationsgegenstand bezeichnet.
Die Menge an potenziellen Evaluationsgegenständen ist beinahe unüberschaubar. Wottawa und Thierau (2003, S.59) nennen «Personen, Umwelt-/Umgebungsfaktoren, Produkte, Techniken/Methoden, Zielvorgaben, Programme, Projekte, Systeme/Strukturen, Forschungsergebnisse/Evaluationsstudien» und haben der Evaluation damit ein bereits sehr breites Tätigkeitsfeld eröffnet. Scriven (1981, S.4) weitet dieses noch aus, indem er jedes Hauptwort eines Wörterbuches zu einem möglichen Evaluationsgegenstand macht: «One can begin at the beginning of a dictionary and go through to the end, and every noun, common or proper, readily calls to mind a context in which evaluation would be appropriate.» Cook und Matt (1990, S.15) bringen es auf den Punkt: «Alles kann evaluiert werden.»
Wie? – Die Evaluations-methoden
Entscheidend für die Abgrenzung zur Alltagsbewertung ist, dass die Bestimmung des Wertes (Güte und Tauglichkeit) eines Evaluationsgegenstandes systematisch, umfassend und objektiv durchgeführt werden soll, was folgende Definitionen festhalten:
«Evaluation: The systematic investigation of the worth or merit of an object»
(Joint Committee on Standards for Educational Evaluation, 1994, S.3).
«Good evaluation is the systematic, comprehensive, objective determination of merit or worth»
(Scriven, 1974, S.23).
Andere Autorinnen und Autoren gehen einen Schritt weiter und fordern explizit sozialwissenschaftliche Methoden:
«wissenschaftliche Evaluation nutzt sozialwissenschaftliche Methoden [...]»
(Döring & Bortz, 2016, S. 979).
Evaluation, evaluative research und Evaluationsforschung
Schon früh gab es aber auch Positionen, die mit dem Begriff «Evaluation» einen eher alltäglichen Bewertungsvorgang bezeichneten, ohne die Notwendigkeit, systematisch vorzugehen: «While it implies some logical or rational basis for making such judgments, it does not require any systematic procedures for marshaling and presenting objective evidence to support such judgment. Thus, we retain the term «evaluation» in its more common-sense usage as referring to the general process of assessment or appraisal of value» (Suchman, 1967, S.7). Der Begriff «evaluative research» wurde hingegen reserviert für eine Bewertung, die auf wissenschaftlichen Forschungsmethoden basiert: «‹Evaluative research› on the other hand, will be restricted to the utilization of scientific research methods and techniques for the purpose of making an evaluation» (Suchman, 1967, S.7).
Dieses Begriffsverständnis wurde auch im deutschsprachigen Raum diskutiert, allerdings eher unter Verwendung des Begriffspaares «Evaluation – Evaluationsforschung» (Wottawa & Thierau, S.13). Eine strikt akademisch wissenschaftliche Vorgehensweise als Evaluationsforschung zu bezeichnen, ist insbesondere in methodisch orientierten Texten anzutreffen (z.B. Döring & Bortz, 2016; Gollwitzer & Jäger, 2014; Häder, 2010). Stufflebeam und Coryn (2014, S.133–172) zählen solche Ansätze zu den «Quasi-Evaluationen», wegen ihrer Verengung bei Evaluationsfragestellungen bzw. methodischen Zugängen: «A quasi-evaluation approach provides direction for performing a high-quality study that is narrow in terms of the scope of questions addressed, the methods employed, or both» (S.133).
Manches spricht gegen diese Art der Begriffsverwendung. So legen semantisch ähnliche Wortkonstruktionen wie Sozialforschung, Genforschung oder Bildungsforschung keine soziale, genetische oder gebildete Forschung nahe, sondern eine Forschung über Soziales, Gene oder Bildung (vgl. Beywl, 1991; Hense, 2006, S.26). Vermutlich hatte Suchman Ähnliches im Sinn, als er mit «evaluative research» ebenfalls eine Adjektiv-Konstruktion verwendete: «In this sense, ‹evaluative› becomes an adjective specifying a type of research» (Suchman, 1967, S.7).
Eine explizite Differenzierung zwischen Evaluation und Evaluationsforschung im beschriebenen Sinn ist eher rückläufig, wie an den letzten Auflagen des international meistverkauften Lehrbuchs zur Evaluation exemplarisch aufgezeigt werden kann. So wird in der fünften Auflage aus dem Jahr 1993 Evaluationsforschung als eine systematische Anwendung von sozialwissenschaftlichen Verfahren zur Einschätzung/Bewertung der Konzeption, Gestaltung, Umsetzung und Nützlichkeit sozialer Interventionsprogramme definiert:
«Evaluation research is the systematic application of social research procedures for assessing the conceptualization, design, implementation, and utility of social intervention programs»
(Rossi & Freeman, 1993, S.5).
Demgegenüber lassen die Autoren seit der sechsten Auflage den Forschungszusatz «research» bei ihren zentralen Definitionen weg und definieren Programmevaluation als den Einsatz sozialwissenschaftlicher Verfahren zur systematischen Untersuchung der Wirksamkeit sozialer Interventionsprogramme:
«Program evaluation is the use of social research procedures to systematically investigate the effectiveness of social intervention programs […]»
(Rossi, Freeman & Lipsey, 1999, S.4).
In der aktuellen siebten Auflage schreiben die Autoren explizit, dass die Begriffe «Evaluation», «Programmevaluation» und «Evaluationsforschung» beliebig austauschbar verwendet werden: «Note that throughout this book we use the terms evaluation, program evaluation, and evaluation research interchangeably» (Rossi, Lipsey & Freeman, 2004, S.6).
Auch andernorts ist diese Gleichsetzung zu beobachten: «Furthermore, I will make no distinction between evaluation research and evaluation» (Vedung, 2004, S.112). Ähnliches wird ebenfalls in vielen deutschsprachigen Lehrtexten zum Ausdruck gebracht. So schreibt Stockmann (2004, S.13): «Die Begriffe ‹Evaluierung›, ‹Evaluation› und ‹Evaluationsforschung› werden hier synonym verwendet», Döring (2014, S.167) beginnt ihren Text mit den Worten «Mit ‹Evaluationsforschung›, ‹wissenschaftlicher Evaluation› oder kurz ‹Evaluation› […]» und Döring und Bortz (2016, S.977) halten fest: «Wir verwenden den Begriff der Evaluationsforschung synonym mit wissenschaftlicher Evaluation (kurz: Evaluation) [...].».
Was beim Lesen dieses Textes vielleicht als Wortklauberei erscheint, markiert einen tiefen Umbruch im Verständnis von Evaluation. Dieser nahm Ende der 1960er-Jahre im Bildungsbereich in den USA seinen Anfang und hat dazu geführt, dass sich Evaluation zu einem eigenständigen, von der Alltagspraxis, von der Forschung und von weiteren Verfahren unterscheidbaren Ansatz der wissenschaftlichen Beschreibung und Bewertung pädagogischer und anderer komplexer Gegenstände entwickelt hat (vgl. Beywl, 1988, S.127–135). Dies geht mit eigenen Lehrbüchern, Fachzeitschriften, Berufsverbänden, Ausbildungsgängen sowie berufsethischen Grundlagen einher. Auf einen Ausschnitt davon wird in diesem Buch eingegangen.
Im vorliegenden Buch wird der Terminus «Evaluation» verwendet und von dem der «Forschung» abgegrenzt (➞ Kapitel 2.2). Der Begriff «Evaluationsforschung» bleibt der Forschung über Bedingungen, Praxis, Methoden, Nutzung und Auswirkungen von Evaluation vorbehalten.
Wer? – Die Evaluierenden
Wodurch genau sich das systematische, methodische Vorgehen einer Evaluation auszeichnet, ist Kernthema dieses Buches. Die hierfür notwendigen Kompetenzen gehen über eine korrekte Anwendung der empirischen Forschungsmethoden deutlich hinaus und schließen auch persönliche und soziale Qualifikationen ein, die sich Evaluierende aneignen müssen, sodass Evaluation mehr ist als nur Sozialwissenschaft (Scriven, 2006).
Im Gegensatz zur Alltagsevaluation erfordert wissenschaftliche Evaluation spezielle Kenntnisse und Fertigkeiten: