1) Identifiziere solche Outcomes, die für diejenigen relevant sind, die die Arbeit im Programm tun.
2) Unterscheide klar zwischen Outcomes und Aktivitäten.
3) Spezifizieren ist ausschlaggebend. Spezifische Outcomes haben mehr Orientierungskraft.
4) Jedes Ziel sollte nur einen einzigen Outcome beinhalten.
5) Outcome-Formulierungen sollen leicht verständlich sein.
6) Schriftlich fixierte Ziele sollen sich auf die wichtigsten Programm-Outcomes beschränken.
7) Halte gewünschte Outcomes getrennt von den Wegen, auf denen sie erreicht werden sollen.
8) Unterscheide klar Ziele von Indikatoren sowie von Kriterien und Kriterienpunkten bzw. Schwellenwerten, ab denen ein befriedigendes Resultat erreicht ist. (➞ Kapitel 7)
9) Kopiere nicht einfach die Ziele von anderen, sondern rege die Beteiligten und Betroffenen an, eigene Ziele in eigener Sprache zu formulieren.
10) Halte die Aufmerksamkeit auf die zu erreichenden Resultate während des gesamten Programmverlaufes hoch.
Ein Programmkonzept kann an verschiedenen Zielarten ausgerichtet werden. Bei der Zielfindung und -klärung geht es oft zentral um die Frage, was die erwünschten Zustände sind, die bei Teilnehmenden durch bestimmte Interventionen oder Aktivitäten ausgelöst werden sollen.
Je nachdem, ob Ziele eines größeren Programms (z.B. eines Studiengangs) oder einer kurzen, einige Stunden umfassenden Maßnahme ausgewiesen werden sollen, müssen unterschiedlich viele Ziele formuliert sein. Die Gesamtzahl der Ziele muss – um Evaluierbarkeit zu erreichen – in einem überschaubaren Rahmen bleiben; eventuell müssen Prioritäten gesetzt werden. Sowohl für große als auch für fokussierte Evaluationsgegenstände kann das nachfolgend dargestellte dreigegliederte Zielsystem (Beywl, Bestvater & Friedrich, 2011, S.42–48; Beywl & Schepp-Winter, 2000) hilfreich sein, um Ziele systematisch zu klären. Es hat sich in der Zusammenarbeit zwischen Evaluierenden und Programmverantwortlichen bewährt und kann als Werkzeugkasten für die Zielklärung genutzt werden. Diese Gliederung ist eine Art Arbeitshilfe, um sowohl «visionäre Leitziele» (Zech, 2008, S.24) als auch messbare Detailziele formulieren zu können. Für eine Anwendung des dreigegliederten Zielsystems auf ein Bildungsnetzwerk mit einer ausführlichen Darstellung des Vorgehens sei auf Schmidt (2016) verwiesen.
Abbildung 2: Steuerungsfunktion des Zielsystems (in Anlehnung an Beywl & Schepp-Winter, 2000)
Leitziel
Ein Leitziel gibt die Grundausrichtung einer Organisation, eines Programms oder einer Bildungsmaßnahme an und ist längerfristig gültig. Es drückt zugrunde liegende Werte und Normen aus und gibt den Bereich an, auf den sich die Aktivitäten des Programms ausrichten sollen. Leitziele können Teil eines Leitbildes, der Philosophie einer Organisation oder von Grundkonzeptionen sein. Sie sind wegen ihrer Allgemeinheit und ihres übergeordneten Charakters nur schwer bis gar nicht operationalisierbar, dienen aber als Ausgangspunkt für die Festlegung überprüfbarer Detailziele.
Mittlerziel
Ein Mittlerziel verbindet die Ebenen der Leitziele und der Detailziele. Das Mittlerziel konkretisiert das Leitziel, indem es bestimmte Teilbereiche näher beschreibt. Im Gegensatz zum Leitziel enthält es bereits operationalisierte Elemente.
Detailziel
Ein Detailziel beschreibt präzise den Zielzustand, der durch bestimmte Interventionen erreicht werden soll. Es ist konkret, überprüfbar, zeitlich festgelegt und realistisch. Ein Detailziel ist operationalisiert und empirisch überprüfbar. Bei Bildungsmaßnahmen sind dies oft Lernziele im Sinne von Outcomes.
BEISPIEL 3
Nachfolgend findet sich ein Ausschnitt aus einem Zielsystem, das für ein Weiterbildungsangebot zum Thema «Evaluation» an einer Hochschule gelten könnte.
Leitziel der Weiterbildungseinrichtung einer Hochschule:
«Wir fördern die berufliche und persönliche Entwicklung der Teilnehmenden unserer Studiengänge, Kurse, Veranstaltungen und Alumninetzwerke.»
Mittlerziel für eine wissenschaftliche Weiterbildung in Evaluation:
«Die Teilnehmenden erwerben ein grundlegendes Verständnis für den Zusammenhang zwischen Evaluationszweck, Evaluationsfragestellungen, Evaluationsmodellen und empirischen Methoden.»
Detailziel für eine Teilsequenz dieses Weiterbildungsangebots:
«Die Teilnehmenden können die Begriffe ‹Evaluationszweck› und ‹Programmziel› in eigenen Worten erläutern und begründen, weshalb es für eine klare Evaluationsplanung relevant ist, beide Begriffe und Sachverhalte stets auseinanderzuhalten.»
Je nach Dauer und Größe eines Programms (z.B. gemessen in Finanzumsatz oder lokaler Verortung) fallen die Formulierungen auf den drei Ebenen unterschiedlich konkret aus: Leitziele können noch allgemeiner, Detailziele noch spezifischer formuliert werden. Die dargestellten zehn Prinzipien von Patton gelten für Detailziele im Konkretisierungsgrad des Beispiels. Werden diese noch spezifischer und handlungsleitend für konkrete Aktivitäten auf der Mikroebene, können sie auch mit Indikatoren operationalisiert sein und Kriterienpunkte bzw. Schwellenwerte enthalten (Abweichung von Prinzip 8).
Perspektivenwechsel bei der Zielbestimmung
Die konkrete Zielbestimmung ist zudem herausfordernd, wenn die Perspektive gewechselt wird, aus der man auf einen Evaluationsgegenstand schaut (was immer, zumindest probehalber, getan werden sollte).
BEISPIEL 4
Wird der Evaluationsgegenstand IT-Schulung aus der Sicht von Verantwortlichen einer Fortbildungsinstitution betrachtet, so kann der Lernerfolg einer gesamten Lerngruppe im Vordergrund stehen. Aus der Warte eines einzelnen Teilnehmenden kann dessen Lernerfolg (oder der einer bestimmte Teilgruppe) viel wichtiger sein, sodass Fragen der individuellen oder gruppenspezifischen Wirkungen einer Schulung in den Vordergrund rücken. Ist der Auftraggeber einer IT-Schulungsevaluation ein Verlag, der IT-Schulungsmaterialien zur Verfügung stellt, so kann sich der Fokus erneut verändern. Zwar ist auch hier Lernerfolg wünschenswert, aber es geht stärker um Einführungs- und Nutzungsbedingungen sowie die Bewertung der Materialien.
Intendierte Ziele des Evaluationsgegenstandes sowie ungewollte und unerwartete Resultate
Wie weiter oben schon beschrieben, ist darauf zu achten, dass eine ausschließliche Bestimmung der intendierten Ziele des Evaluationsgegenstandes zu kurz greift. Darüber hinaus müssen auch Vorstellungen über ungewollte und unerwartete Resultate sowie unerwünschte, aber bekannte Nebenresultate entwickelt werden.
BEISPIEL 5
Eine erfolgreiche Vermittlung von IT-Wissen als ein wichtiges Ziel einer IT-Schulung kann von vielen erwünschten wie auch unerwünschten/unvorhergesehenen Folgen begleitet werden. Handelt es sich bei einem Schulungszentrum z. B. um eine firmeninterne Fortbildungsinstitution, kann sich das Qualifikationsgefüge innerhalb der Firma dergestalt verschieben, dass Gehaltsbegehrlichkeiten geweckt werden, dass neuer Schulungsbedarf hinsichtlich einer Vertiefung des Gelernten entsteht, dass Schulungsbedarf für die noch nicht geschulten Mitarbeitenden gefordert wird oder dass für bestimmte Arbeitsbereiche ein Mangel an Fachkräften resultiert, da sich diese für andere Tätigkeiten weiterqualifiziert haben. Ein schlecht geplantes Fortbildungsprogramm kann die gesamte Organisationsstruktur eines