Wie Beywl (2006) ausführlich diskutiert, kommt der Stellung der Werte im Gesamtkonzept von Evaluationen eine besondere Bedeutung zu. Der diagnostische Ansatz strebt in diesem Sinne nach Wertneutralität, liegt doch der Schwerpunkt auf der Gewinnung möglichst objektiver Informationen über das zu untersuchende Programm. Der explorative Ansatz dagegen bezieht den „personalen Faktor“ (Patton 2014) ein und muss mit Beywl (2006) als „wertpriorisierend“ bzw. „wertpositioniert“ bezeichnet werden. Er ist dadurch charakterisiert, dass die Entscheidung über die zu untersuchenden Gegenstände und Fragestellungen auf einem Aushandlungsprozess zwischen den beteiligten Personen (Stakeholdern) beruht. Deren pädagogische Wertvorstellungen prägen somit den Verlauf der Evaluation entscheidend mit. Gemeinsam wird zunächst geklärt, welche Aspekte des Programms untersuchungswürdig sind. Für den Bereich der Fremdsprachenforschung bieten die Studien von Towell/Tomlinson (1999) oder Yang (2009) anschauliche Beispiele für ein solches Vorgehen.
Wenn aber die unmittelbar involvierten Lehrenden selbst als Initiatoren der Evaluation auftreten, wie es auch in der vorliegenden Studie der Fall ist, stehen sie beständig vor der Herausforderung, eine „dialektische Bewegung zwischen Engagement und Distanzierung“ (Kardoff 2006:87) bewältigen zu müssen. In diesem Punkt weist die Evaluationsforschung deutliche Parallelen mit der Aktionsforschung auf. Um angesichts dieser Schwierigkeit nicht in eine „publikumswirksame Selbstprofilierung“ (Schnell/Kopp 2001:32) abzugleiten oder ihrer „Betriebsblindheit“ (Stockmann/Meyer 2014:88) zu erliegen, sind verschiedene Gegenmaßnahmen erforderlich.
Zum ersten kann es hilfreich sein, externe bzw. nicht unmittelbar mit dem Untersuchungsgegenstand befasste Forschende einzubeziehen, wie wir es auch in dieser Studie praktizieren.5 Zum zweiten sollte ein hoher Grad an Transparenz angestrebt werden. Mit unserer Projektseite versuchen wir, diesem Anspruch gerecht zu werden. Sie ermöglicht es, alle Forschungsinstrumente und Daten einzusehen und lädt ausdrücklich dazu ein, die Ergebnisse der Analysen nachzuvollziehen und zu hinterfragen. Zum dritten schließlich halte ich es für unabdingbar, die auf die Evaluation einwirkenden Wertvorstellungen zu thematisieren und damit der reflektierten Subjektivität als einem Kernkriterium für die Güte empirischer Forschung (Steinke 2008) nachzukommen. Die eigene Rolle im Forschungsprozess und das persönliche Verhältnis zum untersuchten Gegenstand sind daher Punkte, auf die ich immer wieder zurückkommen werde.
Die Diskussion zur Rolle der Werte zeigt, dass Evaluationen – ebenso wie die Gestaltung von Curricula – als politische Prozesse verstanden werden müssen, in denen normative Überzeugungen miteinander ringen. Aber gerade aus diesen Aushandlungsprozessen kann ein besonderer Mehrwert von Evaluationen für eine Institution erwachsen. Denn die gemeinsame Verständigung darüber, welche Kriterien bei der Bewertung einzelner Aspekte des Kurses herangezogen werden sollten, kann entscheidend zu einem Klima der Offenheit und Zusammenarbeit beitragen. Patton (2008) sieht in diesem „Prozessnutzen“ sogar einen der wesentlichen Effekte: Evaluativ zu denken, sich dabei der eigenen Werte bewusst zu werden und diese mit anderen zu diskutieren, hält er für eine notwendige Alternative zur verbreiteten „Outcome-Manie“ wertdistanzierter Evaluationen, bei der die normativen Grundlagen häufig hinter vermeintlich objektiven Leistungsmaßen versteckt würden.
Aber auch Patton möchte keineswegs auf die Erkenntnisse aus bewertenden, summativen Evaluationen verzichten. In seinem Modell einer „nutzenfokussierten Evaluation“ finden der diagnostische Ansatz und der explorative Ansatz in einer Synthese zusammen. Nach diesem Verständnis, das auch für die vorliegende Studie richtungsweisend ist, schließen sich die Beschreibung der Effektivität eines Programms und das Verstehen des Geschehens vor Ort mit seinen unterschiedlichen Einflussfaktoren nicht aus (vgl. auch Kiely 2009:32ff).
Somit steht der Begriff der Evaluation hier für einen Forschungsprozess, mit dessen Hilfe Informationen über die Struktur von Programmen und die Merkmale der in ihrem Rahmen ablaufenden alltäglichen Praxis gewonnen werden, über die Erträge und Auswirkungen des Unterrichts und nicht zuletzt über die Wahrnehmung des Geschehens durch die Beteiligten.
Tabelle 2.1 gibt einen Überblick über die Vielfalt an Kriterien, die sich diesem umfassenden Ansatz von Evaluation zufolge anbieten, um die Qualität eines Programms zu beschreiben. Anhand dieser Tabelle möchte ich die Forschungsschwerpunkte verdeutlichen, die wir für die vorliegende Studie gewählt haben.
| Kriterien | Unterkriterien | Beispiele für zu untersuchende Aspekte |
| Strukturqualität | organisatorische Rahmenbedingungen | Klassengröße, Anzahl der Unterrichtsstunden, Prinzipien des Personaleinsatzes |
| Management und Qualitätssicherung | Grundsätze der Curriculumgestaltung, Lehrmethoden und -materialien, Führungssystem, Konzepte der Evaluation, Entwicklung und Dokumentation | |
| Prozessqualität | Lernkultur/ Lernklima | Unterrichtsdesign, Leistungsanforderungen, Umgang miteinander, Kurs als Lebensraum, Formen der Beteiligung |
| Lernprozesse | Interaktionsprozesse im Unterricht, Sprechanteile von Lehrenden und Lernenden, Aufgabenverteilung im Unterricht, Gestaltung der Lernzeit außerhalb des Unterrichts | |
| Professionalität der Lehrenden | berufliches Selbstverständnis, Verhalten gegenüber den Studierenden, Qualifikationsprofil, Fortbildung | |
| Ergebnisqualität | Lernergebnisse | Arbeitsergebnisse der Lernenden, Fähigkeiten, Niveaustufen, Schlüsselqualifikationen, Abschlüsse/ Qualifikationen |
| Entwicklungsprozesse | Zufriedenheit, Persönlichkeitsbildung/ Selbstkompetenz, Engagement | |
| Auswirkungen | Fluktuation/ Abbrecherquote, Vermittelbarkeit, Karrierewege |
Tab. 2.1:
Aspekte von Qualität bei der Evaluation von Bildungsprogrammen (nach Ernst 2006:194; siehe auch Noris 2016:177; Scriven 1991:277ff; Rindermann 1996:241ff).
Zunächst erscheint es an dieser Stelle wichtig, noch einmal darauf zu verweisen, dass nicht das Intensivprogramm für Deutschlandstudien an der Juristischen Fakultät der Keio Universität Tokio in seiner Gesamtheit den Gegenstand der Untersuchung bildet. Im Fokus liegt vielmehr einer der Grundstufenkurse. Er wird jedes Jahr für Studierende des ersten Studienjahres angeboten und zeichnet sich durch seine konsequente Ausrichtung an den Prinzipien des fach- und sprachintegrierten und zugleich aufgabenbasierten Lernens aus. Es handelt sich also um eine, sich über zwei Semester erstreckende Abfolge von Unterrichtseinheiten, die hier als kohärentes Ganzes gesehen wird (vgl. Graves 2008:149), auch wenn der Kurs selbst wiederum in einem größeren curricularen Rahmen eingebunden ist (ausführlicher dazu Kap. 2.3).
Wie ich bereits weiter oben darstellte, geht es uns bei der vorliegenden Studie nicht um die Frage, ob dieses fach- und sprachintegrierte Konzept für die Grundstufe funktioniert. Dem Erkenntnisinteresse von nutzenorientierten Evaluationen folgend, wollten wir vielmehr wissen, was genau funktioniert, in welcher Weise, mit welchen Konsequenzen und warum – oder auch warum nicht (vgl. Patton 2014:48). Die Prozessqualität und die Ergebnisqualität liegen somit im Zentrum der Aufmerksamkeit.
An Tabelle 2.1 lässt sich jedoch leicht ablesen, dass wir angesichts der Vielzahl von Aspekten, die