Abbildung 5: Programmbaum
Der Programmbaum kombiniert die beiden oben dargestellten Drei-Elemente-Modelle und weist damit vier Hauptgruppen auf:
Elemente des Programmbaums
❙ Bedingungen (Bildungsgesetze, Bildungsbudget, Einstellungen und Erwartungen im Kontext von Gesellschaft, Kultur oder Wirtschaft an die Bildung, strukturelle Merkmale des Bildungssystems wie z.B. duale Berufsbildung oder Ganztagsschul-Systeme; Kompetenzen als Beispiele für Incomes bei den Zielgruppen).
❙ Umsetzung, bestehend aus den zentralen Interventionen und (Hilfs-)Aktivitäten (wie Marketing von oder Imagewerbung für Bildung, Organisieren und Administrieren von Bildungsveranstaltungen, Durchführung von Bildungsmaßnahmen samt Lehren, Selbstlernen, Prüfen etc.).
❙ Resultate: Dieses Programmelement umfasst die erzielten Leistungen oder erstellten Produkte (Outputs, als die ausgestoßenen «Mengeneinheiten» im Sinne des Güterausstoßes des Programms), die dadurch bei den Zielgruppen ermöglichten oder verstärkten Outcomes sowie die Veränderungen in der das Programm tragenden Organisation oder dessen Umwelt (Impacts). Nicht zu vergessen sind die – wenn auch empirisch schwer fassbaren – nicht vorhergesehenen Nebenresultate, seien sie nun positiv oder negativ.
❙ Plan: Der Plan bzw. das Konzept schließlich verbindet die (im Rahmen der Programmplanung analysierten) Bedingungen des Programms mit der vorgesehenen Umsetzung. Ein Kernbestandteil sind die Ziele (➞ Abbildung 2 auf Seite 39). Hinzu kommen Wirkannahmen darüber, welche pädagogischen Interventionen angesichts der Eingangssituation der Teilnehmenden (Incomes) geeignet sind, zur Zielerreichung beizutragen.
Diese vier Hauptgruppen können weiter ausdifferenziert werden, sodass insgesamt zehn Programmelemente unterschieden werden. Die nachfolgende Darstellung definiert diese zehn Elemente und veranschaulicht sie für Programme der Medienbildung (in Anlehnung an Beywl & Jelitto, 2009).
Die Bestimmung und Beschreibung eines Evaluationsgegenstandes mit all seinen Facetten ist also kein triviales Unterfangen. Darüber Klarheit und womöglich Konsens zu erzielen, erleichtert den Zugang zu vielen der folgenden Anforderungen an die Planung und Umsetzung der Evaluation.
Tabelle 1: Programmbaum-Elemente, veranschaulicht für die Medienpädagogik
| Element | Kurzdefinition | Beispiele |
| Kontext | Systemumwelt des Programms auf lokaler bis internationaler Ebene; inkl. rechtlicher, politischer, sozialer, kultureller und anderer Aspekte, die sich langfristig und unabhängig vom Programm selbst ändern | Gesetze (Schulgesetze, Kinder- und Jugendhilfegesetz, Sozialgesetzbuch IV etc.), Verfügbarkeit Neuer Medien (Multimedia-PCs, Smartphones, drahtloser Internetzugang in der Öffentlichkeit, Verbreitung des Internets sowie dessen Image in kulturellen Milieus oder sozialen Schichten) |
| Struktur | Mittelfristig stabile Aufbau- und Ablauforganisation der das Programm tragenden Organisation, des Verbundes/Netzwerks, Verbands etc. | Rechtsform, Kapital- und IT-Ausstattung, Kooperationsvielfalt und -dichte des Bildungsträgers (z.B. Schule, Jugendzentrum), Leitbild |
| Incomes | Voraussetzungen, mit denen die Mitglieder der Zielgruppen in das Programm ‹hineinkommen›, insbesondere Wissen, Einstellungen, Verhaltensweisen, Bedürfnisse, Werte (evtl. durch Auswahl der Teilnehmenden beeinflussbar) | Lerneingangsbedingungen (Vorwissen, Lernkompetenzen, Intelligenzarten und -niveaus), Medienkompetenzen, Mediennutzungsgewohnheiten, Sozialkompetenzen, Wünsche und Bedarfe der Lernenden (u.U. systematisch durch Diagnoseverfahren bestimmt) |
| Inputs | Finanzielle, personale oder andere Ressourcen, die in ein Programm investiert werden, teils als monetäre Kosten erfassbar | Personal- und Sachaufwendungen, Hard- und Softwareausstattung für Lernende und Lehrende, Qualifikationen der Lehrpersonen |
| Konzept | Gedanklicher Entwurf, welche Resultate bis wann, wo/bei wem ausgelöst werden sollen (Zielsystem), und welche Aktivitäten/Interventionen zur Zielerreichung eingesetzt werden sollen (Interventionsplan) | Förderantrag für ein Medienprojekt, Curriculum für eine Jugendbildungsmaßnahme, Aktionspläne; einschließlich Lernzielen, Annahmen zu Wirkmechanismen von medienpädagogischen Interventionen |
| Aktivitäten | Handlungen der im Programm beruflich, ehrenamtlich oder als koproduzierende Zielgruppenmitglieder Tätigen, die bei der Umsetzung des Programms ausgeführt werden (direkt auf Ziele gerichtete Interventionen, Hilfsaktivitäten sowie Zielgruppenaktivitäten) | Interventionen: Blended Learning zu Audio- oder Videoapplikationen; geführte Diskussionen zur OnlinespieleNutzung. Hilfsaktivitäten: Mitarbeiterführung, Teamaufbau, technische Betreuung der Online-Lernplattform. Zielgruppenaktivitäten: Lernen, Prüfungen ablegen etc. |
| Outputs | Durch die Interventionen erzeugte Resultate wie (zählbare) Leistungen/Produkte, Teilnahme-/Nutzungsmengen, Zufriedenheit der Nutzenden/Zielgruppen mit den Interventionen | Verteilte Einladungen zu Seminaren, abonnierte Newsletter; Hits und Verweildauer auf der Website; Anzahl der Beiträge in einem Forum, Gruppenstunden, Beratungsgespräche, Teilnehmertage/Teilnahmestunden |
| Outcomes | Intendierte Resultate von Aktivitäten/Interventionen des Programms bei/Vorteile für Mitglieder der Zielgruppe (unterscheidbar nach kurz-, mittel- und langfristig) | Erhöhtes Wissen, verbesserte Fähigkeiten im Umgang mit Medien, selbstsicheres Verhalten, Erweiterung des eigenen Handlungsspektrums z.B. auch bei bewusster Medienabstinenz |
| Impacts | Resultierende Merkmale sozialer Systeme, insbesondere von Organisationen (Unternehmen, sozialen Dienstleistern, Schulen etc.), von Sozialräumen (Nachbarschaften, Kommunen, Regionen etc.) oder eines Netzwerks im Politikfeld (Weiterbildungssystem eines Bundeslandes etc.) | Verschiebung der Anteile und durchschnittlichen Nutzung verschiedener Medienarten in der Gesellschaft; verbesserte Marktchancen für «serious games» und Lernsoftware |
| Nicht-intendierte Resultate | Resultate, die im Konzept nicht als zu erzielend vorgesehen sind (nicht-intendiert), können auftreten bei Mitgliedern der Zielgruppe wie bei anderen Personen, im Kontext oder in der Struktur des Programms (können nachträglich positiv oder negativ bewertet werden) | Evaluationsteilnehmende Jugendliche werden durch die Präventionskampagne «Mediale Gewalt im Internet» auf gewaltverherrlichende Spiele erst aufmerksam und spielen sie (vermehrt); Mädchen nutzen noch weniger Neue Medien |
VERTIEFUNGSLITERATUR
❙ Beywl, W. & Schepp-Winter, E. (2000). Zielgeführte Evaluation von Programmen – ein Leitfaden (QS29 – Materialien zur Qualitätssicherung in der Kinder- und Jugendhilfe). Bonn: Bundesministerium für Familie, Senioren, Frauen und Jugend (BMFSFJ).
❙ DeGEval – Gesellschaft für Evaluation e. V. (2016). Standards für Evaluation – erste Revision 2016. Mainz: DeGEval.
❙ Patton, M. Q. (2012). Essentials of Utilization-Focused Evaluation. Thousand Oaks: Sage Publications.
5 Bestimmung der interessierten Akteure und die Rolle der Evaluierenden
| Lernziele von Kapitel 5: | ||
| ❙ Unterschiedliche Positionen von Evaluierenden unterscheiden können❙ Kompetenzen für Evaluierende benennen können❙ Vorteile einer frühen Einbindung von Akteuren erläutern können❙ Verschiedene Arten von Akteuren benennen und ihre Rollen in Bezug auf den Evaluationsgegenstand einerseits und auf die Evaluation andererseits zuordnen können❙ Den Begriff «Stakeholder» erläutern und Beispiele für «Stakes» verschiedener Akteursgruppen geben können | ||
Akteure des Evaluationsgegenstandes, Akteure in Bezug auf die Evaluation