Betrachtet man die ausgewählten Referenzarbeiten, so ist ein Großteil der Arbeiten in mindestens zwei ForschungsfelderForschungsfeldn angesiedelt: Die Referenzarbeiten von Biebricher (2008) und Marx (2005) in der Lern- und Kompetenzforschung, die von Ehrenreich (2004) in der Begegnungs- und Professionsforschung, die von Schmidt (2007) in der Materialien- und Lernforschung, die von Schart (2003) in der Kompetenz- und Professionsforschung, die von Hochstetter in der Diagnostik und der Kompetenzforschung; die Untersuchung von Doff (2002) berührt die Felder der Lernforschung, Schulforschung und Professionsforschung. Die Fokussierung dieser in mehreren Feldern angesiedelten Arbeiten erfolgt jeweils durch die Forschungsfrage. Im Gegenzug berücksichtigen die Studien, die primär in nur einem Forschungsfeld verortet sind wie z.B. die Referenzarbeiten von Arras (2007) (Testforschung), Özkul (2011) (Professionsforschung), Schwab (2009) (Interaktionsforschung) sowie Schmenk (2002) und Tassinari (2010) (Konzeptforschung), die Faktorenkomplexion z.B. bei der Einordnung bzw. Gewichtung der Ergebnisse oder der Rückbindung an den Kontext bzw. eine Theorie.
Möglicherweise ist die FaktorenkomplexionFaktorenkomplexion auch ein Grund dafür, dass in der Fremdsprachendidaktik der Theorie-Empirie-Bezug in der Form der Überprüfung von zuvor aufgestellten Modellen wenig verbreitet ist. Der Vielfalt der Lehr-/ Lernsituationen und der weiten Verbreitung von Einzelforschung könnte wiederum geschuldet sein, dass bisher insgesamt vergleichsweise wenige Studien auf repräsentative Ergebnisse abzielen. Dafür konnten in den letzten 15 Jahren durch zahlreiche Studien mit qualitativen Forschungsansätzen der Gegenstandsbereich des Lehrens und Lernens fremder Sprachen besser exploriert werden und viele Einzelfaktoren und -aspekte in ihrer Vielschichtigkeit und Komplexität erforscht und dargestellt werden.
2.3 Welche GütekriterienGütekriterien gelten für fremdsprachendidaktische Forschung?
Wissenschaftliche Forschung unterscheidet sich von der anfangs erwähnten Alltagsbeobachtung nicht zuletzt durch die Einhaltung bestimmter forschungsmethodischer Standards, den sog. Gütekriterien. Als Prinzipien verstanden, helfen sie dabei, sich der jeweiligen qualitativen Standards bewusst zu werden und sie bei der Planung und Durchführung der Untersuchung einzuhalten; als Kriterien verstanden, ermöglichen sie, im Nachhinein die Qualität und die Reichweite der gewonnenen Ergebnisse einer Forschungsarbeit zu beurteilen.
Auffällig ist, dass Gütekriterien bislang nahezu ausschließlich im Kontext empirischer Forschung diskutiert werden. Sowohl in der theoretisch-hermeneutischen wie auch in der historischen Forschung steht eine intensivere forschungsmethodologische Diskussion erst am Anfang.
Auffällig ist ebenfalls, dass sich die Diskussion über GütekriterienGütekriterien in der empirischen Forschung nach wie vor zumeist an der soziologischen, psychologischen und erziehungswissenschaftlichen Forschung orientiert. Erst seit der Etablierung der GegenstandsangemessenheitGegenstandsangemessenheit als zentralem Gütekriterium ist zu beobachten, dass in fremdsprachendidaktischen Arbeiten bei der Präsentation und Analyse der Forschungsmethodik offensiver anhand fremdsprachenforschungsspezifischer Charakteristika argumentiert wird. Trotzdem ist der Stand der Diskussion aus den genannten Disziplinen nach wie vor wegweisend.
Grundsätzlich unterscheiden sich die Gütekriterien in quantitativen und qualitativen Forschungsansätzen (vgl. Kap. 3.3). Als zentrale Kriterien quantitativer Forschung (vgl. im Folgenden Edmondson/House 2006: 39–40, Grotjahn 2006, Schmelter 2014) gelten Objektivität, Reliabilität und Validität. Unter ObjektivitätObjektivität versteht man die Intersubjektivität einer Methode, d.h. die Unabhängigkeit der Ergebnisse von den Forscher_innen, die die Untersuchung durchgeführt haben. Dabei unterscheidet man anhand der einzelnen Forschungsschritte Durchführungs-, Auswertungs- und Interpretationsobjektivität. Detaillierte Vorschriften sollen dafür sorgen, dass sowohl der Einfluss der Untersuchung auf die Untersuchungsteilnehmer_innen als auch der Einfluss der Forscher_innen auf die Untersuchung kontrolliert und möglichst gering gehalten wird. Eng mit dem Kriterium der Objektivität zusammen hängt das Kriterium der Zuverlässigkeit (ReliabilitätReliabilität). Es misst die Genauigkeit des Datenerhebungs- bzw. Messvorgangs und gibt den Grad der Verlässlichkeit der Ergebnisse an. Für ein hochreliables Ergebnis müssen bei einer Wiederholung der Untersuchung unter gleichen Bedingungen die gleichen Ergebnisse erzielt werden (Replizierbarkeit der Messergebnisse). Reliabilität umfasst drei Aspekte: die Stabilität (die Übereinstimmung der Messergebnisse zu unterschiedlichen Zeitpunkten), die Konsistenz (das Maß, mit dem die zu einem Merkmal gehörenden Items dasselbe Merkmal messen) und die Äquivalenz (die Gleichwertigkeit von Messungen, wenn z.B. durch das Wiederholen eines Tests ein Lerneffekt eintritt).
Objektivität und Reliabilität der Methoden bestimmen die ValiditätValidität, d.h. die Gültigkeit einer Variable, eines Messverfahrens bzw. der erzielten Ergebnisse. Sie bestimmt das Maß ihrer Übereinstimmung mit dem untersuchten Realitätsausschnitt. Man unterscheidet in Bezug auf Untersuchungsverfahren zum einen innere bzw. interne Validität (das Maß, mit dem ein Forschungsverfahren tatsächlich das erfasst oder misst, was es erfassen oder messen soll – und nicht z.B. durch andere Einflüsse wie z.B. Störvariablen oder systematische Messfehler beeinträchtigt wird). Hierbei unterscheidet man insbesondere die Inhaltsvalidität (die Eignung eines Verfahrens für die Erfassung bzw. Messung des Konstruktes), die Kriteriumsvalidität (die Übereinstimmung der gemessenen Ergebnisse mit einem empirischen Kriterium, z.B. den Ergebnissen, die mit einem anderen Verfahren gewonnen wurden) und die Konstruktvalidität (die Zuverlässigkeit der Ergebnisse bezüglich des gesamten untersuchten Konstruktes und nicht nur einzelner Aspekte des Konstruktes).
Zum anderen bestimmt man die externe ValiditätValidität, d.h. die Möglichkeit der Übertragung der Ergebnisse über die jeweilige Stichprobe und Situation der konkreten Untersuchung hinaus (Möglichkeit der Verallgemeinerung, RepräsentativitätRepräsentativität). Grundsätzlich ist eine hohe Reliabilität eine Voraussetzung für hohe Validität, allerdings kann sich eine zu hohe Reliabilität negativ auf die Validität auswirken, weil dann nur sehr enge Konstrukte erfasst werden können.
Während Studien mit einem quantitativen Forschungsansatz das Forschungsfeld und die Forschungsgegenstände aus einer distanzierten Außenperspektive betrachten, setzt sich qualitative Forschung das Ziel, die Untersuchungsgegenstände soweit es geht aus der Innenperspektive der Beteiligten zu erforschen (vgl. Kapitel 3.3). Diese Forschung verlangt daher andere GütekriterienGütekriterien (vgl. im Folgenden Flick 1987 und 1995, Schmelter 2014, Steinke 1999). Ein Teil dieser Kriterien stellt eine Um- oder Neudefinition der aufgeführten Gütekriterien quantitativer Forschung dar, dazu kommen spezifische Kriterien qualitativer Forschung.
Das Kriterium der Objektivität ist nicht vereinbar mit der Subjektivität der Forschungsbeteiligten, der Notwendigkeit ihrer Interaktion und der Anwendung interpretativer Auswertungsverfahren; zudem widerspricht es zentralen Charakteristika qualitativer Forschung wie z.B. den Prinzipien der Gegenstandsentfaltung, der Offenheit, der Alltagsorientierung und der Kontextualität. Als Äquivalenzkriterium führt Steinke (1999: 143) das Kriterium der Intersubjektiven intersubjektive NachvollziehbarkeitNachvollziehbarkeitNachvollziehbarkeitintersubjektive ein, für das die Reflexivität des/der Forscher_in wichtig ist. Auch das Kriterium der Reliabilität ist nicht direkt auf qualitative Forschung übertragbar, u.a. weil weder eine Standardisierung der Erhebungssituation noch eine vorgängige exakte Bestimmung und Operationalisierung des Untersuchungsgegenstandes möglich bzw. sinnvoll sind, auch ist das Untersuchungsphänomen in den meisten Fällen nicht ausreichend stabil. Stattdessen schlägt Flick (1995: 242) die Prüfung der Verlässlichkeit von Daten und Vorgehensweisen vor, für die u.a. die konsequente Dokumentation des Forschungsprozesses notwendig ist.
Daneben werden auch Verfahren der Reliabilitätsprüfung aus quantitativen Forschungsansätzen auf qualitative Designs übertragen, wenn z.B. zwei Forscher_innen die gleichen Texte kodieren und ihre unterschiedlichen Deutungen diskutieren (Inter-Coder-ReliabilitätInter-Coder-Reliabilität).
Das Kriterium der ValiditätValidität wird für qualitative Forschungsansätze dagegen teilweise übernommen und in Bezug auf den Auswertungs- und Interpretationsprozess hin erweitert. Validierung wird verstanden als – zumeist kommunikativer – Prozess, in dem das Zustandekommen der Daten, die Darstellung