2.2.5 Evaluationsforschung
Es klang bereits mehrfach an, dass noch ein weiterer Forschungsansatz Beachtung finden muss, wenn man den Charakter der vorliegenden Studie umfassend beschreiben möchte: die Evaluationsforschung1. In jener Spielart jedoch, wie sie in diesem Forschungsprojekt eingesetzt wird, gestaltet sich die Abgrenzung zu den zuvor besprochenen Forschungsansätzen als schwierig.
Der Begriff der Evaluation steht hier für eine Forschungsmaßnahme, die das untersuchte Programm über viele Jahre hinweg begleitet und dabei Erkenntnisse für dessen kontinuierliche Weiterentwicklung hervorbringt. Sie trägt also – ebenso wie die Aktionsforschung oder die Entwicklungsorientierte Forschung – deutlich iterative Züge (vgl. Gess et al. 2014). Und da die drei Forschungsansätze zugleich die große Vielfalt an möglichen methodischen Vorgehensweisen teilen, bietet sich einmal mehr der Blick auf die Rollen der Akteurinnen und Akteure an, um sie voneinander zu unterscheiden: evaluierende Forschende bewerten zwar ein Programm, aber sie sind im Unterschied zur Entwicklungsorientierten Forschung und auch zur Aktionsforschung nicht an dessen Gestaltung beteiligt. Mit dieser Definition ist zweifellos ein häufig anzutreffendes Wesensmerkmal von Evaluationen in pädagogischen Kontexten erfasst. Sie greift jedoch für die vorliegende Studie zu kurz, weshalb ich in diesem Abschnitt unser Verständnis der Evaluation und ihrer Funktion im Projekt vor dem Hintergrund der theoretischen Diskussionen zu diesem Forschungsansatz verdeutlichen möchte.
Zwei Prämissen sollten jeder Programmevaluation zugrunde liegen: Zum einen die Gewissheit, dass es kein objektives Maß für den Erfolg pädagogischer Unternehmungen geben kann – also keine „Qualität alles in allem“, wie Kromrey (2006:251) es beschreibt; und damit zum anderen das Wissen darum, dass jede Aussage über die Qualität eines Programms das Nachdenken über Sinn und Zweck der untersuchten Lehr- und Lernprozesse voraussetzt. Ohne engen Bezug zu curricularen Überlegungen fehlt einer Evaluation also der Dreh- und Angelpunkt.
Die in einem Curriculum festgehaltenen Bildungsziele entspringen pädagogischen Werturteilen, sind mithin also immer normativer Natur. Aus ihnen wird ersichtlich, welches Bild die für die Programmgestaltung Verantwortlichen von den Lernenden haben und welche Entwicklungen und Lernprozesse sie sich von ihnen erhoffen. Auch ihre Vorstellungen über die Natur des Unterrichtsgegenstandes und seine Bedeutung im Bildungsprozess werden deutlich. Nicht zuletzt lassen sich Rückschlüsse über ihre Annahmen von erfolgreichem und effektivem (Fremdsprachen)Lernen ziehen. Und selbst wenn das Curriculum eines Programms all diese Punkte ausspart und sich auf die Angabe von Unterrichtszeiten, Lerngruppengrößen, zu bearbeitenden Lehrwerken und Prüfungsformaten beschränkt, wie es im Fall des Deutschunterrichts an japanischen Universitäten häufig der Fall ist, kommen diese Werturteile implizit zum Vorschein und entfalten als Teil des hidden curriculum im Unterrichtsalltag ihre Wirkung (vgl. Jackson [1969] 2009). In Kap. 2.3 werde ich daher ausführlich auf die curricularen Grundlagen des untersuchten Unterrichts zurückkommen.
Gleichwohl entscheidet sich die Qualität eines Programms natürlich nicht daran, ob oder wie überzeugend und umfassend Bildungsziele und Bildungsprozesse curricular vorgezeichnet wurden. Ein Curriculum kann nie mehr darstellen als eine Hypothese, denn erst im Unterricht selbst, also im Zusammenwirken von Lehrenden, Lernenden, Materialien, Aufgabenstellungen und vielfältigen weiteren Kontextfaktoren nimmt es konkrete Gestalt an. Qualität entsteht immer auf der Ebene des praktischen Handelns und genau dort muss das kritische Nachfragen ansetzen. Ohne eine kontinuierliche Begleitung durch Evaluationsforschung, so die logische Konsequenz, laufen die im Curriculum niederlegten Qualitätsansprüche Gefahr, Luftschlösser zu bleiben oder von den Routinen des Unterrichtsalltags verformt zu werden. In diesem Sinne lassen sich Evaluationen – um es mit einer Metapher von Yang (2009:77) zu beschreiben – als das Herz eines Programmes verstehen, das alle anderen Elemente miteinander verbindet und ihnen die notwendige Energie zuführt. Umso erstaunlicher ist es, dass die Evaluationsforschung innerhalb der internationalen Fremdsprachendidaktik zu jenen Forschungsansätzen gezählt werden muss, die sich derzeit eher am Rande der Aufmerksamkeit bewegen (vgl. Norris 2016:169).
Um die Funktion der Programmevaluation in diesem Forschungsprojekt zu verdeutlichen, möchte ich zunächst zwei unterschiedliche Zugangsweisen gegenüberstellen: den diagnostischen Ansatz und den explorativen Ansatz2. Ersterer rückt die summative, retrospektive Bewertung in den Vordergrund, fragt also nach dem zählbaren Ertrag von Bildungsprozessen. Die Studie von Pinheiro-Cadd (2018), in der die Auswirkungen einer grundlegenden Reform der Fremdsprachenausbildung an einer US-amerikanischen Universität anhand von Einschreibezahlen und erreichten Noten analysiert werden, ist hierfür ein anschauliches Beispiel. Der diagnostische Ansatz kann zugleich auf Theoriebildungsprozesse zielen, indem Aussagen über den Effekt bestimmter Maßnahmen (z.B. didaktischer Konzepte) getroffen werden. Zu diesem Zweck werden auf der Grundlage eines (quasi)experimentellen Designs komplexe Wirkungsmechanismen auf wenige Faktoren reduziert und ausgewählte Variablen nach Kausalzusammenhängen untersucht. Ein prototypisches Beispiel aus dem Bereich der Fremdsprachenforschung liefern Klapper/Rees (2003) mit ihrer Studie zum Grammatikerwerb bei variierenden Unterrichtsbedingungen.
Der explorative Ansatz hingegen trägt eher Züge einer formativen Evaluation. Die Lehr- und Lernprozesse im Programm begleitend sollen dessen Stärken und Schwächen aufgedeckt und Ansatzpunkte für Verbesserungen identifiziert werden (vgl. Scriven 1991:159; Stockmann/Meyer 2014:111ff).
Unbestritten ist natürlich, dass es der messbaren Erträge aus diagnostischen Evaluationen bedarf, um die Qualität eines Programms einschätzen zu können (vgl. Gräsel/Parchmann 2004; Helmke 2009). Doch gerade Bildungsziele, die sich auf die Persönlichkeitsentwicklung von Lernenden beziehen, volitionale Aspekte des Lernens ebenso berühren wie soziale, widersetzen sich einem Ursache-Wirkung-Denken und können nur langfristig und multiperspektivisch auf ihren Erfolg hin untersucht werden. Das diagnostische Modell von Evaluation tendiert hingegen dazu, Unterricht auf einen technologischen Akt zu reduzieren, der sich auf den Transfer von vermeintlich gesichertem Wissen oder von Kompetenzen richtet (vgl. die Kritik bei Schön 1983) und sich durch strukturelle Veränderungen steuern lässt. Dabei gerät leicht aus dem Blick, dass sich Bildungsprozesse vor allem durch die Komplexität des Geschehens auszeichnen, durch Widersprüche und Antinomien3. In den Hintergrund tritt die soziale Dimension von Unterricht, die Tatsache also, dass in pädagogischen Programmen Individuen mit ihren je eigenen Persönlichkeiten, Verhaltensweisen, Erwartungen und Interessen zusammenfinden. Im Miteinander bilden sich Beziehungen heraus, gemeinsame Routinen oder Rituale, die Breen (1985:142) als Kultur des Klassenraums beschrieben hat. Dieser besondere Charakter von Bildungsprozessen macht es nicht nur Lehrkräften unmöglich, Unterricht detailliert zu planen. Er erschwert es auch Forschenden erheblich, kausale Beziehungen in Lehr- und Lernprozessen aufzudecken.
Für die Evaluation von Programmen führen diese Überlegungen zu entscheidenden methodologischen und methodischen Konsequenzen: Da eine Fixierung auf ausgewählte Erträge und Ursache-Wirkungs-Zusammenhänge die Sicht auf die Vielfalt möglicher Faktoren verstellt, die den Programmalltag bestimmen, muss sie sich auch als ein „heuristisches Experiment von Forschung und Unterrichtspraxis“ (Heiner 1998:25) verstehen. Und genau diese Perspektive wird durch den explorativen Ansatz von Evaluation gestärkt; von Graves (2008:173) auch als illuminative evaluation bezeichnet. Er will nicht nur einzelne Erträge eines Programms beschreiben, sondern zugleich den Prozessen ihres Zustandekommens näherkommen (Wholey 2015).
Das Gelingen und Misslingen praktischen Handelns in sozialen Kontexten soll in seiner Vielschichtigkeit verstanden werden. Der explorative Ansatz beschränkt sich also nicht darauf zu untersuchen, was die Beteiligten zu einem bestimmten Zeitpunkt können oder wissen. Er schließt beispielsweise ebenso die Frage ein, wie sie selbst das Geschehen erleben und deuten. Und er lenkt die Aufmerksamkeit auf die im Programm ablaufenden Prozesse – etwa die Interaktion im Unterricht, die Veränderung von Einstellungen und Beziehungen oder die Etablierung von Handlungsmustern. Van Lier (2004) bezeichnet diesen umfassenden