Glaubwürdigkeit der Evaluierenden
Was Auftraggebende vor der Auftragsvergabe abschätzen müssen, ist die Vertrauenswürdigkeit der Evaluierenden. Um diese transparent zu machen, sollten bei der Vorstellung des Evaluationsvorhabens die Namen und zentralen Informationen über die Evaluierenden vermittelt werden. Etwas schwieriger ist es, die Unabhängigkeit der Evaluierenden zu überprüfen oder potenzielle Interessenkonflikte und Abhängigkeiten aufzudecken.
Unbestechlichkeit, Objektivität und Neutralität sind ebenfalls Eigenschaften, die von Evaluierenden verlangt werden. Diese können allerdings durch die Abhängigkeit der Evaluierenden in Hinblick auf Folgeaufträge bedroht sein. Auch kann die mit der Dienstleistungshaltung verbundene Tendenz vieler Evaluierender, den Bedürfnissen der Auftraggebenden gerecht zu werden, ein Problem darstellen (Pleger & Sager, 2016; Scriven, 1993a, S.83), sodass nicht mehr wissenschaftlich Notwendiges und Korrektes, sondern vonseiten der Auftraggebenden Gewünschtes in den Vordergrund rückt.
Über alle Phasen der Evaluation stellen sich ethische Herausforderungen. Diese zu meistern erfordert (inter-)kulturelle Fähigkeiten und Haltungen, die über das handwerklich-wissenschaftliche Können hinausgehen (vgl. Morris, 2008).
➞ Lösung auf Seite 233
| Übungsaufgabe 7: | ||
| «Mögliche Rollen für Programm und Evaluation; Einsätze zum Programm»Lösen Sie nun die Übungsaufgabe 7: | ||
| a) Charakterisieren Sie kurz (maximal 1000 Zeichen) ein Bildungsprogramm aus Ihrem Erfahrungsbereich (eventuell auf Ihr Ergebnis zu Übungsaufgabe 6 zurückgreifen).b) Welche Rollen (➞ Tabelle 2, S.47) kann eine Leitungsperson in Bezug einerseits auf dieses Programm (= den Evaluationsgegenstand), andererseits auf die darauf ausgerichtete Evaluation einnehmen? Listen Sie diese Rollen auf.c) Schreiben Sie für einige dieser Rollen eine oder mehrere Interessen (Erwartungen und/oder Befürchtungen) auf, welche sich aus der jeweiligen Rolle heraus auf das Bildungsprogramm – also nicht auf die Evaluation – richten (dreispaltige Tabelle: Rolle/Erwartungen/Befürchtungen).d) Wählen Sie ein relevantes, auf das Programm (!) gerichtetes Interesse aus und halten Sie stichwortartig fest, was eine Evaluation untersuchen könnte, sodass sie für die betreffende Rolle nützliche Informationen bereitstellt. | ||
5.8 Akteure im Zusammenspiel
Warum ist es eigentlich notwendig, alle Akteure in einem so frühen Stadium der Evaluation, sogar noch vor der Konkretisierung der Evaluationszwecke und -fragestellungen, zu identifizieren?
Frühe Einbindung der Akteure steigert Evaluationsqualität
In vielerlei Hinsicht ist es zweckmäßig, die Beteiligten und Betroffenen in den Evaluationsprozess einzubinden. Das ist der Grundgedanke nutzungsfokussierter und auch partizipativer Evaluationsansätze. Ein zentrales Argument für den Einbezug von verschiedenen Beteiligten- und Betroffenengruppen besteht darin, dass man sich von deren Partizipation einen reibungslosen Ablauf, eine fundierte thematische Absicherung, hilfreiche Tipps für die konkrete Durchführung sowie eine gute Unterstützung bei der Nutzung der zu erzielenden Evaluationsergebnisse erhofft (Alkin, 1991; Mark & Shotland, 1985; O’Sullivan & D’Agostino, 2002; Patton, 2008, 2012).
Darüber hinaus wird es hilfreich sein, diese Personengruppen aktiv einzubinden, besonders auch dann, wenn Widerstände zu erwarten sind (Taut & Brauns, 2003). Außerdem kann der Einbezug derselben ihr Verständnis von Evaluationen erhöhen und sie sogar befähigen, ihr erworbenes Evaluationswissen später selbst anzuwenden. Dies zu ermöglichen, ist das zentrale Ziel des Empowerment-Ansatzes in der Evaluation (Fetterman, 2001).
Schließlich kann man fordern, dass Evaluationen in einer demokratischen Gesellschaft auf demokratischen Werten aufbauen sollen (House & Howe, 2000) und deswegen die Standpunkte der wichtigen Beteiligten- und Betroffenengruppen einzubeziehen sind (Strobl, Lobermeier & Heitmeyer, 2012).
Ob und in welchen Stadien der Evaluation der Einbezug von Beteiligten und Betroffenen sinnvoll ist, kann nicht allgemeingültig gesagt werden, sondern ist von Fall zu Fall zu entscheiden. Die Möglichkeiten sind vielfältig. Beteiligte und Betroffene können während des gesamten Prozesses einbezogen werden, oder ihre Mitarbeit ist besonders in einzelnen Phasen (ohne damit andere Phasen auszuschließen) des Evaluationsprozesses interessant, z.B. bei der Zielfindung, der Kriterienbestimmung, im Bewertungsprozess oder bei der Ergebnisnutzung.
Allerdings ist der Einbezug der Beteiligten und Betroffenen leichter beschrieben als realisiert. Sämtliche relevanten Personen(-gruppen) zu identifizieren, ist in der Praxis, besonders bei größeren Evaluationsgegenständen, selbst bei guten Voraussetzungen unmöglich bzw. würde kaum noch Zeit für die anderen (in den folgenden Kapiteln beschriebenen) Evaluationsaufgaben lassen.
Die Einbindung der Akteure muss systematisch erfolgen
Doch wen wählt man aus? Der Einbezug von Beteiligten und Betroffenen kostet Zeit und Geld (für die Identifikation der entsprechenden Personen, für die Kontaktaufnahme, für die Diskussionen und Datenerhebungen, für die Ergebnisverdichtung, -kommentierung und -verbreitung etc.). Hieraus resultiert eine Verminderung der Ressourcen für andere Aufgaben. Dies schränkt die Anwendung eines umfassend partizipativen Ansatzes ein.
Jedenfalls ist hierfür eine genaue Analyse erforderlich im Sinne einer «stakeholder analysis». Sie beinhaltet nicht nur die Identifikation der Beteiligten und Betroffenen, sondern ganz pragmatisch auch deren Hierarchisierung bezüglich ihrer Wichtigkeit für die Evaluation. So gibt es Personengruppen, die für den Erfolg einer Evaluation relevanter sind als andere. Eine mögliche Hierarchie könnte Entscheidungsberechtigte an oberster Stelle platzieren, gefolgt von Meinungsführenden und Schlüsselpersonen, gefolgt von Repräsentanten großer, dann kleiner Gruppen. Je nach Zweck der Evaluation kann diese Rangordnung auch anders ausfallen.
Auch wenn der Zugang zu den entsprechenden Personen hergestellt ist, sind die notwendigen Informationen nicht leicht zu beschaffen. So müssen Beteiligte und Betroffene z.B. motiviert und begleitet werden, damit ihre Wertvorstellungen und Erfahrungen so erhoben werden können, dass sie in einer Evaluation nutzbar sind (House & Howe, 1999).
Wenn es gelungen ist, die Anliegen der Beteiligten und Betroffenen zu klären, kann versucht werden, die möglicherweise sehr heterogenen Ansichten zu einem Konsens zu verdichten (House, 1995) oder einen Minimalkonsens herauszuarbeiten. Oft entscheiden in Konfliktfällen die Einflussreichen, insbesondere die Auftraggebenden der Evaluation.
Im Zusammenhang nutzungsfokussierter bzw. partizipativer Ansätze wird den Evaluierenden neben ihrer beschreibenden und bewertenden zusätzlich eine pädagogische Rolle zugeschrieben, deren Grundidee sogar älter ist als die partizipativen Ansätze selbst (Weiss, 1989): Evaluierende sollen sowohl mithilfe des Evaluationsprozesses wie auch der Evaluationsergebnisse weiterbildend tätig sein und dabei auch Wissen über die Evaluation vermitteln. Dies ist eine der Grundideen der sogenannten Empowerment Evaluation (Fetterman