Evaluationsvertrag mit Blick auf alle nachfolgenden Evaluationsschritte formulieren
Die besondere Herausforderung besteht darin, dass die in den folgenden Kapiteln zu behandelnden Schritte des Evaluationsprozesses in den Evaluationsplan aufgenommen und die vereinbarten Details im Auftragstext festgehalten werden. Ein Vertragsabschluss setzt voraus, dass Einigkeit über zentrale Elemente der Evaluation erzielt worden ist. Was schlussendlich Bestandteil des Vertrages wird und was nicht, muss von Evaluation zu Evaluation neu entschieden werden.
Wie kommt ein Evaluationsauftrag zustande?
Unterschiedliche Abläufe sind möglich, damit ein Evaluationsauftrag zustande kommt (vgl. DeGEval – Gesellschaft für Evaluation e.V., 2007). Die Initiative geht normalerweise von den Auftraggebenden aus. In einer Ausschreibung wird die gewünschte Evaluation beschrieben; sie wird öffentlich bekannt gemacht oder potenziellen Auftragnehmenden (z.B. einem Evaluationsbüro) direkt zugestellt. Die Ausschreibung kann dabei mehr oder weniger ausführlich sein. Im «kurzen» Fall wird das geplante Evaluationsprojekt nur knapp umrissen. Im «ausführlichen» Fall wird der Auftrag durch die sogenannten Terms of Reference (ToR) (Independent Evaluation Group/World Bank, 2011) bzw. das Pflichtenheft (z.B. Widmer, 2005, S.7–9) detailliert beschrieben: der Evaluationsgegenstand und sein Kontext, der Anlass für die Evaluation, der Evaluationszweck, die Evaluationsfragestellungen, die vorgesehenen Nutzenden (Adressierten) wie auch die geplante Nutzung der Evaluationsergebnisse, manchmal sogar die Evaluationskriterien, zugängliche Dokumente, bereits vorhandene Informationen und Daten, relevante Termine, das vorgesehene Budget, die verlangten Evaluationskompetenzen, einige methodische Richtlinien, die Gliederung des erwarteten Angebots sowie Hinweise zur Beurteilung der eingehenden Angebote. Potenzielle Evaluierende bewerben sich, stellen eventuell Rückfragen und unterbreiten ein Angebot. Aus den eingegangenen Angeboten wählen die Auftraggebenden (gegebenenfalls unter Rücksprache mit übergeordneten Stellen) aus. Alternativ kommen Aufträge ohne Ausschreibung zustande, z.B. beim «Einholen eines einzigen Angebots bei einem besonders vertrauten oder als besonders kompetent geltenden Experten» (Wottawa & Thierau, 2003, S.113).
Je nach Erfahrungen der Auftraggebenden mit Evaluation und mit dem zur Verfügung stehenden Budget variieren Umfang und Detailliertheitsgrad einer Ausschreibung.
Selten geht die Initiative zu einer Evaluation von den Auftragnehmenden aus, wie z.B. bei der Durchführung des Vorhabens im Rahmen einer Qualifizierungsarbeit (z. B. Diplomarbeit, Masterarbeit, Dissertation).
Ausrichtung des Evaluationsauftrages: formative oder summative Evaluation
Unabhängig vom Zustandekommen des Evaluationsauftrages führt dessen Ausrichtung zu einer frühen Weichenstellung des gesamten Evaluationsvorhabens:
SCHLÜSSELAUSSAGE
Bereits in der Ausschreibung bzw. im Rahmen erster Vorgespräche ist entweder explizit geklärt – oder es ist implizit enthalten – ob die durchzuführende Evaluation eher eine formative oder eine summative Evaluationsrolle einnehmen soll oder eine Mischform von beiden. Diese entscheidende Weichenstellung ist prägend für die spätere Evaluationsdurchführung.
Die formative Evaluation soll zur optimalen «Ausformung» des Evaluationsgegenstandes, also z.B. einer noch im Erprobungsstadium befindlichen Bildungsmaßnahme, beitragen. Sie führt oft zu einer Veränderung oder einer Stabilisierung eines Programms. Hingegen will die summative Evaluation einen «Summenstrich», eine Bilanz zum Evaluationsgegenstand ziehen, damit sich die Beteiligten und Betroffenen ein zusammenfassendes Bild von seinem Wert machen können bzw. damit sie eine Basis für zu treffende Grundsatzentscheidungen haben, also z.B. Fortführung oder Einstellung, Ausweitung oder Verkleinerung eines Bildungsprogramms.
Je nach Reifegrad eines Programms können Evaluationen unterschiedliche Funktionen erfüllen, z.B. eine klärende oder interaktive Funktion (eine Domäne der formativen Evaluation), oder sie sollen die Umsetzung einer schon im Regelbetrieb befindlichen Maßnahme dokumentieren oder ihre Wirkung feststellen (eine Domäne der summativen Evaluation). Verbesserung oder Stabilisierung sind typische Zwecke einer formativen Evaluation; in summativen Evaluationen geht es meist um Rechenschaftslegung oder Grundsatzentscheidungsfindung (ausführlich in ➞ Kapitel 6.1).
Auftraggebende wünschen sich oft gleichzeitig eine formative und eine summative Evaluationsrolle. Werden diese gleichrangig und zeitgleich eingenommen, können die Durchführbarkeit und Genauigkeit (zu diesen beiden von insgesamt vier Bewertungsdimensionen ausführlicher in ➞ Kapitel 13) einer Evaluation gefährdet werden, da z.B. Mitarbeitende angesichts anstehender Grundsatzentscheidungen taktisch antworten und es damit erschwert wird, die verbesserungsbedürftigen Schwächen eines Programms zu entdecken. Es empfiehlt sich daher, entweder klare Prioritäten zu setzen oder aber eine Phaseneinteilung vorzuschlagen, indem zunächst die formative und dann die summative Evaluationsrolle eingenommen wird.
Finanzierung
Die notwendigen Mittel stammen zumeist von der ausschreibenden Institution; manchmal stehen den Evaluierenden eigene Haushaltsmittel zur Verfügung. Auch eine komplette Fremdfinanzierung über Stiftungs- oder sonstige Fördermittel ist möglich. In besonderen Fällen (z.B. bei Qualifizierungsarbeiten) steht kein Budget zur Verfügung, und der Aufwand muss entsprechend klein gehalten werden.
Abschließende Auftragsklärung und schriftliche Fixierung
Sind die Evaluierenden ausgewählt, kommt es zur mündlichen Auftragsklärung mit den Auftraggebenden. Es werden Details des in den folgenden Kapiteln geschilderten Evaluationsprozesses besprochen und möglichst schriftlich fixiert. Dies wird zugleich Bestandteil des rechtsverbindlichen oder im Innenverhältnis gültigen Vertrages.
Die Aushandlung eines Vertrages ist sorgfältig vorzunehmen. Hier treffen erstmals die Vorstellungen der Auftraggebenden (die sich auch innerhalb dieser Gruppe unterscheiden können) auf diejenigen der Auftragnehmenden über das zukünftige Evaluationsprojekt.
Verantwortlichkeiten
Es ist wichtig festzuhalten, dass nach Auftragsvergabe die Verantwortung und Entscheidungskompetenz für die Durchführung der Evaluation bei den Auftragnehmenden liegen. Dies ist von entscheidender Bedeutung dafür, dass Letztere aus einer unabhängigen Position handeln können und der Evaluation und ihren Ergebnissen hohe Glaubwürdigkeit zugemessen werden kann.
In Bezug auf die verschiedenen Evaluationsschritte gibt es solche, bei denen die Evaluierenden aufgrund ihrer fachlichen Kompetenz Vorrang und letztinstanzliche Entscheidungsbefugnis haben sollen. Dies gilt insbesondere für die Schritte «Auswahl von Erhebungsdesign und -methoden» (➞ Kapitel 8), «Durchführung der Erhebungen» (➞ Kapitel 9), «Datenauswertung, Interpretation und Bewertungssynthese» (➞ Kapitel 10) sowie «Berichterstattung» (➞ Kapitel 11),