❙ Besonderes (z.B. Kooperationen, Wettbewerbsposition)
Wenn Informationen zu einem wichtigen Punkt fehlen und sie nicht mit geringem Aufwand (z.B. Experteninterview mit der Programmleitung) zu beschaffen sind, ist dies festzuhalten.
Teil- oder Gesamtevaluation?
Zur Bestimmung des Evaluationsgegenstandes gehört in einem zweiten Schritt, dass festgestellt wird,
❙ ob die gesamte Bildungsmaßnahme Gegenstand der Evaluation wird, oder
❙ ob Teile davon als Evaluationsgegenstand vereinbart werden.
Oft wird stillschweigend davon ausgegangen, dass eine Gesamtevaluation vorgenommen wird. Man muss sich jedoch fragen, ob dies sinnvoll und leistbar ist:
❙ Beim Evaluationszweck (➞ Kapitel 6.1) Rechenschaftslegung wird oft eine Gesamtbetrachtung angemessen sein.
❙ Wenn es um Verbesserung geht, kommt es darauf an, ob man bereits im Vorhinein stabile, reife Programmelemente einerseits und instabile, optimierungsbedürftige Elemente andererseits unterscheiden kann. Ist dies der Fall, wird man die Evaluation auf die kritischen Teile fokussieren.
❙ Bei Bildungsmaßnahmen mit langen Laufzeiten ist eventuell eine Beschränkung auf Phasen sinnvoll oder – aus Ressourcengründen – erforderlich.
Wenn die Entscheidung – was oft der Fall sein wird – auf eine Teilevaluation fällt, muss der fokussierte Teil intensiver beschrieben werden als die Gesamtmaßnahme. Außerdem muss die Gegenstandsbeschreibung die Grenzen des fokussierten Gegenstandes markieren.
➞ Lösung auf Seite 233
| Übungsaufgabe 6: | ||
| «Kurzbeschreibung eines zu evaluierenden Studiengangs»Lösen Sie nun die Übungsaufgabe 6: Stellen Sie sich vor, ein Studiengang sei zu evaluieren. Erstellen Sie eine Kurzbeschreibung dieses Evaluationsgegenstandes auf ein bis zwei Seiten. Nutzen Sie hierfür die zu Beginn von ➞ Kapitel 4 aufgelisteten «relevanten Beschreibungsdimensionen». Übertragen Sie diese in die linke Spalte einer zweispaltigen Tabelle und notieren Sie in der rechten Spalte jeweils Stichworte. Halten Sie zu denjenigen Dimensionen, zu denen Sie nichts oder wenig formulieren können, fest, welche die nächsten Schritte sein könnten, um diese Lücken zu schließen. | ||
Ziele des Evaluationsgegenstandes
Der nächste Schritt ist, die Zielsetzungen des Evaluationsgegenstandes genau zu identifizieren (wohlgemerkt: Es geht hier nicht um die Zwecke der Evaluation – ➞ Kapitel 6.1 –, sondern um die Ziele des Evaluationsgegenstandes). Die Ziele des Evaluationsgegenstandes sind ausschlaggebend dafür was in der Evaluation im Detail untersucht werden muss. Oft geht es darum, zu überprüfen, in welchem Maße diese Ziele erreicht werden – dazu mehr in ➞ Kapitel 6.
BEISPIEL 2
Ein wichtiges Ziel von IT-Schulungen ist: Die Teilnehmenden verfügen am Ende der Schulung über klar definiertes Wissen und Können zu einem bestimmten Bereich der IT. Idealerweise können sie nach Abschluss der Schulung auf Basis dieses Wissens und der erworbenen Fertigkeiten reale Probleme im beruflichen oder privaten Kontext lösen. Ein weiteres Ziel kann darin bestehen, dass Mitarbeitende an ihrem Arbeitsplatz motiviert sind, sich neues IT-Wissen und Können selbst oder in Peer-Gruppen anzueignen. Ein anderes Ziel kann sein, Mitarbeitende von vielen weit entfernten Standorten zusammenzubringen, damit sie sich (besser) kennenlernen und zukünftige Kommunikationskanäle leichter genutzt werden. Der eigentliche Lerninhalt würde dabei in den Hintergrund treten. Wenn eine Firmenschulung mehrere Ziele verfolgt – z.B. Lernzuwachs, Motiviertheit zum Selbstlernen und Verbesserung der Firmenkommunikation –, sind diese bereits in dieser frühen Phase der Evaluation zu identifizieren, damit alle folgenden Schritte darauf zugeschnitten werden können.
Relevante und geklärte Ziele sind Voraussetzung sowohl für gelingende Bildungsprogramme als auch für nützliche Evaluationen. Diese Aufgabe gehört nicht originär zur Evaluationstätigkeit, sondern vorrangig in den Bereich der didaktischen Planung. Lernen kann danach «als die kompetenzbildende Aneignung von Kenntnissen, Fähigkeiten und Fertigkeiten bezeichnet werden», was beiläufig als «funktionales Lernen» in informellen Settings wie auch absichtsvoll als «intentionales Lernen» stattfinden kann (Arnold & Gómez Tutor, 2007, S.63). Evaluation interessiert sich vorrangig für intentionales Lernen, das im Rahmen von Bildungsprogrammen und -kursen stattfindet.
Ein allgemeines Leitziel von Lernen
Allgemein kann man sagen: «Lernen ist gelungen, wenn ein Individuum sein Wissen und Können erweitert, seine Persönlichkeit entfaltet und seine soziale Integration erhöht hat. Das heißt, Lernen erweitert die Handlungsfähigkeit des Subjektes und damit seine Möglichkeit, ein selbstbestimmtes Leben in der Gesellschaft zu führen. Gelungenes Lernen ist ein Lernen, das der Lernende selbst wertschätzt […]» (Zech, 2008, S.18).
Ziele im Konzept und der Weg zur Zielerreichung
Die Ziele einer Bildungsmaßnahme und die Wege dorthin sind – in der Regel schriftlich – in einem Programmkonzept niedergelegt. Unter einem Konzept wird ein gedanklicher Entwurf der Programmverantwortlichen verstanden: Mithilfe welcher Lehrinterventionen und Lehr-Lern-Arrangements, welcher Lehr-Lern-Methoden, Materialien und Medien, anschließend an welche bereits vorhandenen Kompetenzen sollen welche Outcomes bis wann, wo und bei wem ausgelöst werden? Interventionen von Lehrenden können dann einen Beitrag zu gelingendem Lernen leisten, wenn sie schlüssig in ein genügend, aber auch nicht zu komplex gestaltetes Konzept eingebettet sind.
Bezüglich des Konzeptes von Bildungsmaßnahmen haben Evaluierende die Aufgabe, es auf Stringenz und Kohärenz der Ziele und vorgesehenen Aktivitäten zu untersuchen («Konzeptevaluation»). Kernbestandteil eines Konzeptes ist ein expliziertes und systematisch gegliedertes Zielsystem. Evaluationsfragestellungen können ebenso wie Bewertungskriterien darauf bezogen werden. Damit ist nicht gesagt, dass sich Evaluation immer und ausschließlich auf diese Ziele beziehen soll. Auch wenn die Ziele in hohem Maße erreicht werden, kann es sein, dass die unvorhergesehenen, nachträglich als negativ eingeordneten Nebenresultate des Programms in einer Gesamtbewertung so stark zu Buche schlagen, dass das Bildungsprogramm insgesamt negativ zu bewerten ist. Um Nebenresultate zu entdecken, muss man ein besonderes Augenmerk auf diese richten. In der «goal-free evaluation» (Scriven, 1991a), der zielfreien Evaluation, wird dies explizit versucht, indem alle Auswirkungen eines Evaluationsgegenstandes erfasst werden, ohne dessen Ziele zur Kenntnis zu nehmen. Dieses Vorgehen soll eine größere Aufgeschlossenheit der Evaluierenden gegenüber nicht intendierten Resultaten sichern und insbesondere davor bewahren, schwerwiegende negative, nicht beabsichtigte Resultate zu übersehen. Außerdem kann es angemessen sein, bei der Bewertung auch die Relation zu den Kosten zu berücksichtigen. Eventuell gibt es zur Erreichung der Ziele preisgünstigere, qualitativ aber vergleichbare Alternativen.
Zielklärung
Patton (2012, S.204) behandelt das Thema «Ziele» ausführlich. Er weist darauf hin, dass Programmziele für die Evaluation zentral wären, viele Programme aber über keine befriedigend formulierten Ziele verfügten. Evaluierende geraten deswegen in die herausfordernde Situation, mit den Programmverantwortlichen oft erst noch Ziele klären zu müssen, um mit systematischem Evaluieren überhaupt beginnen zu können. Damit dies nicht zu einem unbefriedigenden, da nicht zu Ergebnissen führenden «Zielklärungsspiel» (goal clarification game) führt, müssen Evaluierende über das Handwerkszeug