| Übungsaufgabe 1: | ||
| «Merkmale wissenschaftlicher Evaluation»Lösen Sie nun die Übungsaufgabe 1: Stellen Sie fest, bei welchen der folgenden Vorgehensweisen es sich zumindest näherungsweise um wissenschaftliche Evaluation handelt, also nicht um Alltagsevaluation, und begründen Sie Ihre Zuordnung kurz. Zu bewerten ist in diesem Fall ein Kurs, in dem Informatikstudierende lernen sollen, vor einem Fachpublikum zu präsentieren. | ||
| a) Die zwanzigminütigen Präsentationen der Studierenden werden von drei verschiedenen Beobachtenden entlang eines einheitlichen, strukturierten Beobachtungsschemas protokolliert. Nachfolgend werden die festgehaltenen Beobachtungsdaten miteinander verglichen. Als Zusammenfassung werden für jede Beobachtungsdimension ein numerisch abgestuftes Urteil und eine kurze Begründung angegeben.b) Ein besonders erfahrener Projektmanager eines mittelgroßen Softwareanbieters hält zu jeder Studierendenpräsentation seine persönlichen Eindrücke in Stichworten fest. Er notiert hauptsächlich aussagekräftige Adjektive (z.B. «exzellent», «unvollständig»), um die Besonderheiten der jeweiligen Präsentationen zu kennzeichnen.c) Die PowerPoint-Präsentationen werden als Dokumente nach bestimmten Kriterien ausgewertet, z.B. Strukturiertheit des Aufbaus der gesamten Präsentation, erkennbarer Fokus der Präsentation, deutliche Botschaften an das Zielpublikum, korrekte Verwendung von Fachbegriffen. Falls möglich werden Zitate als Ankerbeispiele festgehalten. Diese werden als eine Basis für die Bestimmung des Lernerfolgs der Präsentierenden genutzt.d) Die zwanzigminütigen Präsentationen werden von den Zuschauenden bewertet. Dabei wird jeder/jede gefragt, wie es ihm/ihr gefallen habe, was es zu verbessern gebe und welche Anmerkungen er/sie außerdem habe.e) Zu jeder der zwanzigminütigen Präsentationen werden an die Zuschauenden Fragebogen ausgeteilt, die Dimensionen wie «inhaltliche Angemessenheit», «Verständlichkeit» oder «Präsentationstechnik» behandeln, bestehend aus je fünf Items mit sechs Antwortalternativen von «trifft gar nicht zu» bis «trifft voll und ganz zu». Die zusammengefassten Daten aus den eingesammelten Fragebogen werden für eine Bewertung der Präsentation genutzt. | ||
2.2 Evaluation als wissenschaftliche Dienstleistung statt (Grundlagen-) Forschung
Bei aller Ähnlichkeit und auch angesichts gleicher Wurzeln unterscheidet sich Evaluation substanziell in ihrer typischen Zwecksetzung von Forschung.
Wofür? – Die Evaluationszwecke
Patton (2008, S.40) bringt dies auf den Punkt. Forschung suche nach Wissen und Wahrheit, nützliche Evaluation unterstütze praktisches Handeln: «Research aims to produce knowledge and truth. Useful evaluation supports action.»
Auch Forschung verfolgt nicht selten soziale Anwendungsziele (vgl. Mertens, 2015, S.52). Ihr zentrales Interesse besteht jedoch darin, («wahres») Wissen zu generieren und darauf aufbauend Theorien aufzustellen bzw. zu testen sowie auf möglichst unterschiedliche Personengruppen, Zeitpunkte, Situationen und geografische Räume zu verallgemeinern. Grundlagenforschung kann praktisch nützlich sein, aber ihre Nutzung ist zufällig und ungeplant: «Basic research may be useful, but its use is accidental and unplanned» (Vedung, 2004, S.118).
Bei Evaluationen geht es hingegen selten um Theoriebildung. Es geht ihnen primär, wie auch Ansätzen der anwendungsbezogenen Forschung, um instrumentellen Nutzen für bestimmte Stakeholder in einem konkreten Kontext (vgl. Beywl, Künzli, Messmer & Streit, 2015). Das durch Informationen gesicherte Handeln in der Praxis steht im Vordergrund. Die Ergebnisse sollen binnen kurzer Frist handlungsrelevant und verwertbar sein:
«Zur Evaluation wird empirische Wissenschaft […] durch ein spezifisches Erkenntnis- und Verwertungsinteresse»
(Kromrey, 2001, S.112).
Generalisierbarkeit von Ergebnissen spielt bei Evaluationen selten eine Rolle, denn Nutzen soll für konkrete Maßnahmen oder Programme erzielt werden. Evaluation kann analog zur Erwachsenenpädagogik als «Handlungswissenschaft» bezeichnet werden.
SCHLÜSSELAUSSAGE
Forschung im Bereich Bildung will möglichst verallgemeinerbare Erkenntnisse über Lernendentypen, Mechanismen des Lernens, Zusammenhänge von Bildungsinstitutionen, Lernarrangements und Lernmethoden, Strategien der Bildungsfinanzierung etc. erzielen, will diese auf Theorien und Begriffssysteme abstützen und gesicherte verallgemeinerte Erkenntnis in der wissenschaftlichen Gemeinschaft der Bildungsforschenden vorantreiben.
Bildungsevaluation will für konkrete, raumzeitlich meist begrenzte Bildungsprogramme, -studiengänge oder -kurse bestimmter Bildungsanbieter oder -träger und auf deren Informationsbedarfe zeitgenau abgestimmte Daten, Schlussfolgerungen und Bewertungen bereitstellen, sodass jene Akteure Grundsatzentscheidungen treffen, Rechenschaft ablegen oder Optimierungsschritte einleiten können.
Im zweiten Fall ist präzise vorausgedacht, wozu und wann sowie über welche Kommunikationskanäle und Schnittstellen die Ergebnisse der Evaluation genutzt werden sollen: Leviton und Hughes (1981, S.528) nennen diese Art der vorgesehenen Nutzung «instrumentell». Auf die damit verbundenen Evaluationszwecke wird später ausführlich eingegangen (➞ Kapitel 6.1).
Evaluation am Beispiel des Bildungsbereiches ist die Sammlung und Nutzung von Informationen, um über ein Bildungsprogramm Entscheidungen zu treffen, wie einer der Pioniere der Bildungsevaluation schreibt:
«[…] collection and use of information to make decisions about an educational program»
(Cronbach, 1963, S.672).
Dass die Nutzung von Evaluationsergebnissen zwar theoretisch gefordert, aber praktisch nicht immer vollzogen wird, unterstreicht Patton, indem er der allgemeinen Programmevaluation ein Konzept gegenüberstellt, welches einen vorgesehenen Evaluationsnutzen für vorgesehene Nutzende zugrunde legt:
«Utilization-focused program evaluation (as opposed to program evaluation in general) is evaluation done for and with specific, intended primary users for specific, intended uses»
(Patton, 2008, S.37).
Auf welcher Basis? – Die Evaluationskriterien
Das nachfolgende Zitat von Weiss, die zu den herausragenden Evaluationstheoretikerinnen des letzten Jahrhunderts zählt, betont die Wichtigkeit des Bewertens auf Basis von Bewertungskriterien. Sie definiert Evaluation als eine systematische Bewertung der Durchführung und/oder der Resultate eines Programms oder einer Politik auf der Basis einer Reihe von expliziten oder impliziten Normen – und dies