Wie verwenden? – Nutzung der Evaluationsergebnisse
Bereits in der ersten Evaluationsphase wird in den Blick genommen, wer wann was konkret mit den erzeugten Evaluationsergebnissen tun soll – Pattons vorgesehener Evaluationsnutzen für vorgesehene Nutzende: «intended use for intended users» (2008, S.59). Die Ergebnisverwendung wird vorbereitet und eingeleitet in Abstimmung zwischen Evaluierenden, Auftraggebenden und Akteuren aus dem pädagogischen Feld.
Die darauffolgende Phase der Evaluation ist die Domäne der Evaluationsspezialistinnen und -spezialisten. Hier erfolgen die Auswahl der passenden Erhebungs- und Auswertungsmethoden, die Entwicklung und der Einsatz von empirischen Datenerhebungsinstrumenten, die Anwendung qualitativer und quantitativer Auswertungstechniken etc. Allerdings handeln die Evaluierenden auch hier nicht abgeschottet und isoliert von den Beteiligten und Betroffenen. Gelingende Nutzung von Evaluationsergebnissen setzt voraus, dass die Datengebenden und späteren Ergebnisnutzenden zumindest in groben Zügen verstehen, wie die Daten entstehen, und dass Transparenz und Nachvollziehbarkeit geschaffen werden.
Wertfreiheit versus Bewerten als zentrale Aufgabe
Was zunächst unproblematisch scheint, erweist sich in der Konfrontation mit dem klassischen Verständnis von Forschung, wie es in der verbreiteten analytisch-nomologischen Wissenschaftstheorie vorliegt, als höchst problematisch: Hier beschränkt sich das «Wissenschaftliche» auf den Begründungszusammenhang, also auf Theorie und daran anschließende Empirie. Werturteile sind in diesem Verständnis aus dem Kern des Forschungsprozesses fernzuhalten. Letzterer verläuft objektiviert, ganz unabhängig von Vorlieben, Interessen sowie sozialen oder moralischen Überzeugungen der Forschenden und weiterer Mitglieder des Forschungsfeldes. Werte spielen nur im Entstehungskontext – also: «Was wird geforscht und welche Forschung wird gefördert?» – und dem Verwertungskontext – «Wer macht mit Ergebnissen von Forschung was?» – eine Rolle. Für deren Behandlung hält Forschung keine systematischen Verfahren bereit, sie gelten im Forschungsprozess als unberührbar, bleiben folglich dem Spiel politisch-gesellschaftlicher Kräfte überlassen und werden dem Bereich wissenschaftsethischer Reflexion zugewiesen.
Wenn Evaluation darauf abzielt, Gegenstände der sozialen Realität zu bewerten (also sie als mehr oder weniger «gut» einzustufen), hierfür – bereits in der Phase der Gegenstandsbestimmung (Entstehungszusammenhang) – Kriterien festzulegen (z.B. Bildungsziele, Bildungsbedarfe, vermiedene unerwünschte Nebenfolgen, Kosten-Nutzen-Relationen, Gerechtigkeit bzw. eine Kombination aus diesen Kriterien) und im Verwertungszusammenhang dazu beizutragen, dass die erzeugten Evaluationsergebnisse in Richtung der zugrunde liegenden Werte genutzt werden, verstößt sie damit nicht diametral gegen Grundüberzeugungen wissenschaftlicher Forschung (vgl. ausführlich Kromrey, 2007a)?
Keine Evaluation ohne Bewertung!
Es zeigt sich ein weiterer Grundkonflikt: Evaluation will, soll und muss bewerten (sonst ist sie keine Evaluation). Sie überschreitet dabei bewusst das sichere Terrain des Begründungszusammenhangs und verwendet systematische Verfahren auch für die Festlegung von Evaluationsfragestellungen und Bewertungskriterien. Sie will die Erarbeitung von Interpretationen und Bewertungen transparent und nachvollziehbar, auf Daten basierend und die verschiedenen Perspektiven der Beteiligten und Betroffenen einbeziehend gestalten. Der Anspruch des systematischen, regelgeleiteten, wissenschaftlichen Vorgehens wird ausgedehnt vom Begründungszusammenhang auf den vorgelagerten Entdeckungszusammenhang und den nachgelagerten Verwertungszusammenhang. Dabei droht, dass Evaluation an distanzierter Objektivität verliert. Ein weiteres Dilemma, dem sich Evaluation stellen muss.
➞ Lösung auf Seite 229
| Übungsaufgabe 3: | ||
| «Bewertungsmaßstäbe verschiedener Beteiligter»Lösen Sie nun die Übungsaufgabe 3: Versetzen Sie sich in die folgende Situation und schreiben Sie auf, nach welchen Bewertungsmaßstäben aus der Sicht der verschiedenen Beteiligten diese Bildungsmaßnahme zu bewerten sein könnte. Ergänzen Sie z.B. folgenden Satz: «Für Person x ist besonders wichtig, dass …»Die Volkshochschule in Musterstadt bietet einen Kurs «Internet für Einsteiger» an. Die Teilnehmerschaft, die sich zur ersten Unterrichtsstunde im Kursraum einfindet, ist sehr heterogen. Da sitzt Frau Wunder, die mit ihren 70 Jahren einfach einmal wissen möchte, was es mit diesem ominösen Internet auf sich hat. Sie hat schon viel darüber gelesen, aber wirklich vorstellen kann sie sich nichts darunter.Mitgebracht hat sie ihren Enkel Lukas, der schon toll mit seinem Tablet umgehen kann, dessen Eltern aber wünschen, dass er sich einmal systematisch mit diesem Thema auseinandersetzt.Herr Mazzini wurde von seinem Chef geschickt. Er soll über kurz oder lang die Firmenhomepage betreuen, die schon eine ganze Weile nicht mehr aktualisiert worden ist.Frau Schulze hat ein eigenes Geschäft, und sie sucht nach Möglichkeiten, neue Kundenkreise zu erschließen. Ihr wurde geraten, sich einmal intensiv mit den Möglichkeiten des Internets auseinanderzusetzen.Herr Scheid ist ebenfalls Senior, und dieser neumodische Kram war ihm schon immer suspekt. Da will er doch einmal sehen, was das für Leute sind, die sich stundenlang vor den Computer setzen wollen, und welche vielleicht unlauteren Beweggründe dahinterstecken.Frau Özoğuz ist die Dozentin im Kurs. Sie hat viele Jahre Erfahrung im IT-Unterricht und hat auch schon Senioren- und Kinderkurse gegeben. Am meisten Spaß macht es ihr aber, wenn alle zusammen bei ihr im Unterricht sitzen. Diese Heterogenität sei eine ganz besondere Herausforderung, sagt sie.Herr Felix hat nichts direkt mit dem Unterrichtsgeschehen zu tun, aber als IT-Verantwortlicher in der Volkshochschule Musterstadt ist er für ein kundengerechtes IT-Angebot verantwortlich. Für ihn sind es schwierige Zeiten, denn die Belegungszahlen sind schon seit einigen Semestern rückläufig. Die goldenen Computerzeiten im Schulungsbereich scheinen vorbei zu sein. | ||
Die nachfolgende Definition schließt an die vorangegangenen Ausführungen an und verdichtet die Besonderheiten von Evaluation in den diskutierten Dimensionen. Bei der Verwendung der Definition wird auf die vorangegangenen Abschnitte zurückgegriffen.
DEFINITION
Evaluation ist eine wissenschaftliche Dienstleistung, die für festgelegte Zwecke und nach begründeten Kriterien insbesondere Programme und Maßnahmen beschreibt und bewertet. Die Bewertung geschieht systematisch, transparent sowie nachvollziehbar und basiert auf Daten und Informationen, die mithilfe sozialwissenschaftlicher Methoden gewonnen werden.
Nach unserem Verständnis müssen Personen für diese Tätigkeit besonders qualifiziert sein. Das bedeutet aber nicht, dass ausschließlich Personen aus dem Umfeld von Hochschulen und Forschungseinrichtungen mit hoher wissenschaftlicher Expertise für diese Aufgabe infrage kommen. Auch Daten von Evaluationen, die nicht von solchen Forschenden oder in anderen Zusammenhängen als großen Forschungsprojekten erhoben worden sind, können sehr nützlich sein (vgl. Gutknecht-Gmeiner, 2009). Allerdings sind an jede Evaluation Qualitätsansprüche zu stellen, die Thema dieses Buches sind.
Wie ein roter Faden zieht sich dabei die Idee durch das Buch, sowohl bei der Festlegung von Evaluationsfragestellungen und Bewertungskriterien als auch bei der Gewinnung von Informationen und besonders bei der Rückmeldung und Vermittlung der Evaluationsergebnisse Beteiligte wie auch Betroffene angemessen einzubeziehen. So kann eine hohe Nützlichkeit nicht erst der Evaluationsergebnisse (Ergebnisnutzen), sondern bereits des Evaluationsprozesses selbst (Prozessnutzen) unterstützt werden. Dies erfordert eine frühzeitige Planung auch dazu, wie die Verwendung der Evaluation eingeleitet werden soll.
2.3 Evaluation als Qualitätsmanagement bzw. Controlling?
Evaluation wird in diesem Buch als Ansatz dargestellt, der eigenständige wissenschaftliche Grundlagen,