5.1 Geld- und Auftraggebende der Evaluation
Die Auftraggebenden
Die zentrale Rolle der Auftraggebenden einer Evaluation und derjenigen, die das Geld hierfür geben, liegt auf der Hand. Während deren Identifikation leicht ist, müssen die Evaluierenden in die Klärung der verschiedenen Interessen und Rollenüberschneidungen Zeit investieren.
Erwartungen an die Auftraggebenden
Von Auftraggebenden einer Evaluation wird erwartet, gegenüber der Evaluation und den daraus resultierenden, eventuell auch unerwarteten Ergebnissen aufgeschlossen zu sein. Dieser Sachverhalt gilt unter Experten als zentral und wird dennoch in der Praxis oft zu wenig beachtet (Balzer, 2005, S.180). Zudem sollen Auftraggebende kooperativ sein und engagiert am Evaluationsprojekt teilnehmen. Dieses Engagement soll sich aber nicht in einer Kontrollfunktion äußern. Evaluationsexpertise der Auftraggebenden wird nicht unbedingt als notwendig erachtet (Balzer, 2005, S.180).
Engagement der Auftraggebenden
Der Grad des Engagements der Auftraggebenden hat Auswirkungen auf die Evaluation. Starkes Engagement kann z.B. für klare Anforderungen und einen regen Informationsfluss sorgen, kann aber auch zu restriktiven Auflagen bis hin zu Versuchen der einseitigen Einflussnahme auf die Evaluationsergebnisse führen. Dies verlangt angemessene Reaktionen vonseiten der Evaluierenden.
Rolle der Auftraggebenden im Evaluationsgegenstand
Zur Beurteilung solcher Anforderungen ist es wichtig zu verstehen, in welchem Verhältnis Auftraggebende zum Evaluationsgegenstand stehen. Es kann zu Interessenkonflikten kommen, wenn Programmverantwortliche (z.B. Studiengangsleitende) selbst in die Evaluation involviert sind und ein stark gerichtetes Interesse an bestimmten Ergebnissen der Evaluation haben. Wenn sogar unabhängig von der Faktenlage ein zuvor bestimmtes Ergebnis erzielt werden soll, spricht man auch von Pseudo-Evaluationen (Stufflebeam & Coryn, 2014, S. 117–132).
Unterstützungssysteme für Evaluationen
Bei größeren Evaluationen in der Bildung können wissenschaftliche Beiräte oder Begleitgremien, in denen Fachverbände vertreten sind, überzogene Einflussversuche von Auftraggebenden abfedern (vgl. Baizerman, Fink & Roholt, 2012).
BEISPIEL 7
Eine Firma sucht nach dem besten Anbieter für eine Computerschulung. Da das Angebot auf dem Markt sehr groß ist, wird eine Evaluation in Auftrag gegeben, die den Markt sondieren und das beste Angebot identifizieren soll. Präferenzen hat die Firma keine, der Beste soll den Zuschlag erhalten. Entsprechend ist eine neutrale Evaluation möglich. Ganz anders sieht es aus, wenn einer der konkurrierenden Schulungsanbieter eine Evaluationsstudie in Auftrag gibt, um sich seine Qualität extern dokumentieren zu lassen. Auch wenn ein solches Evaluationsprojekt nicht parteiisch sein muss, müssen sich die Evaluierenden der Parteilichkeit der Auftraggebenden bewusst sein.
5.2 Finanzierende und Träger des Bildungsangebots
Finanzierende
Oftmals sind Auftraggebende von Evaluationen auch die Finanzierenden des Bildungsangebots und damit auch die Entscheidungsträger in Bezug auf den Evaluationsgegenstand, z.B. die Leitungsebene des Trägers (eventuell der Fakultät/der Hochschule). Bei internen Evaluationen kann es dann für die Evaluationsverantwortlichen sehr schwierig sein, eine neutrale Position einzunehmen. Beiräte oder externe Beratende können die Abhängigkeit einer internen Evaluation teilweise kompensieren. Auch im Sinne erhöhter Glaubwürdigkeit der Evaluation und ihrer Ergebnisse sind hier in der Regel externe Evaluationen angeraten, insbesondere, wenn diese summativ ausgerichtet sind.
Eine summative Evaluation mit bilanzierenden Schlussfolgerungen ist vor allem dann unabhängig durchführbar, wenn Auftraggebende zwar die Entscheidungskompetenz für das Programm haben, sich aber kaum an der Evaluation beteiligen, oder wenn sich die Rolle der Auftraggebenden und die des Entscheidungsträgers sinnvoll voneinander unterscheiden lassen.
Wer hat die Entscheidungskompetenz?
Für einige Autorinnen und Autoren ist dieser Punkt ein zentrales Unterscheidungskriterium von Evaluation und Qualitätsmanagement. Im Qualitätsmanagement wird der obersten Leitung nicht nur die Entscheidungskompetenz für das Programm, sondern auch die strategische Steuerungskompetenz für den Qualitätsmanagementprozess zugewiesen. In der Evaluation hingegen werden die Zuständigkeiten auf Auftraggebende/Programmverantwortliche einerseits und Evaluationsverantwortliche andererseits aufgeteilt.
Für die konkrete Evaluation ist es relevant zu wissen, wer die Entscheidungskompetenz für das Programm innehat. Liegt sie nicht bei den Auftraggebenden, so kann es hilfreich sein, Verbindungen zu den Entscheidungsträgern herzustellen und sie explizit einzubinden. Dies ist nicht nur in der Planungsphase, sondern während des gesamten Evaluationsprozesses sinnvoll (Hegarty & Sporn, 1988, S.336).
5.3 Programmleitende und -mitarbeitende
Programmleitende und -mitarbeitende als «Beteiligte»
Programmleitende und -mitarbeitende gehören zu den wichtigsten «Beteiligten», denn sie sind für das gesamte Lehr-Lern-Programm sowie das konkrete Unterrichtsgeschehen verantwortlich. Zwischen beiden Gruppen können Interessenkonflikte bestehen, die zu identifizieren sind. So können z.B. Programmleitende an einem zeitlich sehr flexiblen Einsatz von Kursleitenden («auf Abruf», im Rahmen von Honorarverträgen) interessiert sein, während die Unterrichtenden gerade in der damit verbundenen Kalkulationsunsicherheit eine Gefährdung ihrer Leistungsfähigkeit und damit Unterrichtsqualität sehen. Solche Interessenkonflikte sollten durch die Evaluierenden ohne hinreichende empirische Evidenz weder unterstellt noch ausgeschlossen werden. Vertrauliche Gespräche in der Eingangsphase, z.B. mit Personalvertretungen, können hier Klarheit schaffen. Oft zählen diese beiden Gruppen zu den primär vorgesehenen Nutzenden der Evaluation und ihrer Ergebnisse (Adressierte). Je mehr sich der Evaluationsgegenstand auf Kursebene bzw. beim Lehren und Lernen befindet, und je stärker die Evaluation formativ im Sinne einer verbesserungsorientierten Begleitung ausgerichtet ist, desto eher sind die Lehrenden die Hauptadressierten.
5.4 Teilnehmende
Teilnehmende als «Betroffene»
Teilnehmende an Bildungsmaßnahmen sind klassischerweise die Programm-«Betroffenen». Sie haben meist wenig Einfluss auf das Programm. Anders sieht dies bei selbst zahlenden Teilnehmenden aus (die z.B. den Vertrag kündigen könnten). Manche Bildungseinrichtungen haben auch Teilnehmendenvertretungen eingerichtet, die Ansprechpartner für die Evaluierenden sind. Besonders bei artikulationsschwachen – oft bildungsfernen – Gruppen müssen die Evaluierenden deren Interessen im Blick haben und im Evaluationsplan geltend machen. Schlussendlich gilt es in der Evaluation von Bildungsmaßnahmen auch darauf zu achten, dass Lernen gefördert wird und den Teilnehmenden Vorteile entstehen (vgl. den Standard der Dienstleistungsorientierung in Yarbrough, Shulha, Hopson & Caruthers, 2011).
Teilnehmende scheiden nicht selten nach der Evaluation aus der Bildungsmaßnahme aus. Nur dann, wenn sie auch künftig an Bildungsmaßnahmen des jeweiligen Trägers teilnehmen werden, versprechen sie sich einen unmittelbaren Nutzen aus der Evaluation. Gleichwohl sind die Teilnehmenden meist unverzichtbar für das Gelingen derselben: Ohne ihre Auskünfte und Bereitschaft, an den Erhebungen mitzuwirken, würden zentrale Evaluationsdaten fehlen.