Ein guter Evaluationsauftrag braucht Zeit
Je mehr bereits im Vertrag an Vorarbeit zu den verschiedenen Punkten geleistet worden ist, desto weniger Klärungsbedarf entsteht im Verlauf der Evaluation. Damit weiterhin genügend Flexibilität erhalten bleibt – denn schnell kann sich Grundlegendes im Evaluationsgegenstand selbst (z.B. Neukonzeption eines fehlgeschlagenen Teilkurses) oder seinem Kontext (z.B. neue Förderrichtlinien der Arbeitsagentur für Qualifizierungsmaßnahmen) ändern –, müssen Öffnungsklauseln enthalten sein: Wann können Neuverhandlungen begonnen werden und durch wen werden sie ausgelöst? Wie kurzfristig verpflichten sich die Vertragsparteien, auf dringende Anfragen zu reagieren? In jedem Fall muss für die Phase der Auftragsklärung und -fixierung genügend Zeit eingeplant werden.
Konkrete Vertragsinhalte als Fixierung des Auftrages
Konkret sind die folgenden Punkte Bestandteil eines Evaluationsvertrages, der den Evaluationsauftrag fixiert (vgl. auch die «Checkliste für den Abschluss eines Evaluationsvertrages» in Farrokhzad & Mäder, 2014, S.129):
❙ Bestimmung des Evaluationsgegenstandes (➞ Kapitel 4)
❙ Bestimmung der Evaluationszwecke und -fragestellungen (➞ Kapitel 6)
❙ Bereits verfügbare Informationen bzw. Zugang zu ihnen
❙ Auswahl von Erhebungsdesign und -methoden (➞ Kapitel 8)
❙ Ein Arbeitsplan/Pflichtenheft mit einer chronologischen Abfolge der einzelnen Arbeitsschritte von Auftragsbeginn bis zum Ende der Evaluation und dem damit verbundenen Arbeitsaufwand sowie den Verantwortlichkeiten, sowohl aufseiten der Auftragnehmenden als auch der Auftraggebenden, mit Meilensteinterminen
❙ Ein Finanzplan, der alle Personal-, Sach- und sonstigen Kosten aufführt. Dieser Plan setzt eine differenzierte Kalkulation voraus, die die Evaluierenden mit großer Sorgfalt durchzuführen haben, da sie als Bestandteil des Auftrages für alle Beteiligten bindend wird und die zur Verfügung stehenden Ressourcen bestimmt
❙ Absprachen über die Formen der Berichterstattung (➞ Kapitel 11.4)
Schriftliche Form des Evaluationsauftrages
Nach einer Einigung zwischen den Vertragsparteien sind die getroffenen Vereinbarungen formal, schriftlich und für alle Beteiligten verbindlich zu fixieren (Vedung, 2004, S.121). Ein solcher schriftlicher (in seltenen Fällen mündlicher, aber in jedem Fall rechtsverbindlicher) Vertrag ist bei der Weiterarbeit für die beteiligten Parteien bindend; Nachbesserungen bedürfen Nachverhandlungen.
VERTIEFUNGSLITERATUR
❙ Balzer, L. (2005). Wie werden Evaluationsprojekte erfolgreich? – Ein integrierender theoretischer Ansatz und eine empirische Studie zum Evaluationsprozess. Landau: Verlag Empirische Pädagogik.
❙ DeGEval – Gesellschaft für Evaluation e.V. (2007). Empfehlungen für Auftraggebende von Evaluationen. Eine Einstiegsbroschüre für den Bereich der Öffentlichen Verwaltung. Mainz: DeGEval.
4 Bestimmung des Evaluationsgegenstandes
| Lernziele von Kapitel 4: | ||
| ❙ Den Fachbegriff «Evaluationsgegenstand» definieren und themenrelevante Elemente aufzählen können❙ Eine Erstbeschreibung eines Evaluationsgegenstandes anfertigen können | ||
Bestimmung von Evaluationsgegenstand und dessen Zielen
Zu Beginn des Evaluationsprozesses müssen der Evaluationsgegenstand und dessen Ziele bestimmt werden. Dieser Sachverhalt gilt unter Expertinnen und Experten als zentral und wird dennoch in der Praxis oft zu wenig beachtet (Balzer, 2005, S.176).
Zu einem Evaluationsgegenstand kann alles Mögliche werden
Am Anfang scheint es ganz einfach: Eine Bildungsmaßnahme soll evaluiert werden. Doch was bedeutet das konkret? In der Evaluationsliteratur werden viele potenzielle Evaluationsgegenstände aufgezählt: Wottawa und Thierau (2003, S.59) nennen «Personen, Umwelt-/Umgebungsfaktoren, Produkte, Techniken/Methoden, Zielvorgaben, Programme, Projekte, Systeme/Strukturen, Forschungsergebnisse/Evaluationsstudien» und eröffnen der Evaluation damit ein sehr breites Tätigkeitsfeld. Westermann (2002, S.7) nennt Maßnahmen, Interventionen, Programme, Produkte, Methoden, Systeme, Pläne, Umgebungsfaktoren und Personen. Die DeGEval-Standards zählen Programme wie z.B. Projekte, Maßnahmen und andere Interventionen, Organisationen, Produkte sowie Evaluationen selbst auf (DeGEval – Gesellschaft für Evaluation e.V., 2016, S.25). Wie weiter oben (➞ Kapitel 2.1) beschrieben, weitet Scriven (1981, S.4) das potenzielle Tätigkeitsfeld noch aus, indem er jedes Hauptwort eines Wörterbuches zu einem potenziellen Evaluationsgegenstand macht: «One can begin at the beginning of a dictionary and go through to the end, and every noun, common or proper, readily calls to mind a context in which evaluation would be appropriate.» Cook und Matt bringen es auf den Punkt: «Alles kann evaluiert werden» (1990, S.15). Und das ist, selbst wenn man den Blick «nur» auf die Bildung richtet, eine ganze Menge.
Der Evaluationsgegenstand muss konkret bestimmt werden
Für eine konkrete Evaluation muss eine gut begründete Eingrenzung vorgenommen und der tatsächliche Evaluationsgegenstand detailliert beschrieben werden. Zunächst scheint dies eine leichte Aufgabe, denn der Wunsch nach Informationen über den Evaluationsgegenstand geht im Regelfall einer Evaluationsbeauftragung voraus. Demzufolge haben Auftraggebende zumindest eine grobe Vorstellung vom Gegenstand, also «innere Bilder» von der Bildungsmaßnahme und auch Ideen, was davon beschrieben und bewertet werden soll; doch reicht dies nicht aus. Deswegen müssen sich die Evaluierenden – mithilfe der Auftraggebenden und auch anderer Quellen – Klarheit über den Evaluationsgegenstand verschaffen.
Wie bestimmt man einen Evaluationsgegenstand?
Um einen Evaluationsgegenstand im Bereich der Bildung zu bestimmen, ist als Erstes eine kurze, aber schriftlich festgehaltene, auch für Außenstehende nachvollziehbare Erstbeschreibung des zu evaluierenden Bildungsangebotes auf Basis der und mit Verweis auf die Programmunterlagen zu erstellen.
Merkmale des Evaluationsgegenstandes
Relevante Beschreibungsdimensionen sind dabei:
❙ Name, Träger, Abschlusstyp
❙ Initiatoren, Verantwortliche, Mitarbeitende und deren Qualifikationen, Nutznießende
❙ Ziele (z.B. Lehr- und Lernziele, aufzubauende Kompetenzen)
❙ fachwissenschaftliche Bezüge
❙ Inhalte bzw. Themen (z.B. im Zusammenhang mit Durchführungsplänen, Medien und Materialien, Lehrmitteln)
❙ Elemente (Präsenzveranstaltungen, begleitete und unbegleitete schriftliche Arbeiten, selbst gesteuertes Lernen, Prüfungen etc.)
❙ didaktische Prinzipien und Methoden sowie wichtigste vorgesehene (Lehr-)Interventionen
❙ Umfang (Dauer, Kontaktstunden, Workload z.B. in ECTS-Leistungspunkten) und Preis
❙ zur Verfügung stehende Ressourcen (u.a. Kompetenzen von Mitarbeitenden, Finanzen)
❙ Kennzahlen (z.B. Anzahl