Sind die Effektgrößen bestimmt und die Ergebnisse interpretiert, so schließt sich die Phase der Berichterstattung und PublikationPublikation an. Hier darf auf die APA Meta-Analysis Reporting Standards (APA 2008, American Psychological Association 2010) verwiesen werden, ebenso wie auf die Hinweise in Plonsky (2012b); letztere eignen sich auch gut zur Evaluation publizierter Meta-Analysen. Folgende Elemente sollte die Publikation minimal abdecken:
| Eingeschlossene Studien | Resultate |
| Auswahlkriterien, Publikationsstatus, Referenzen, Datenbanken; Forschungskontext; Teilnehmende: demographische Angaben, Stichprobengrößen; Forschungsdesign: experimentelles (oder anderes), Pre-/ Post, Längs-/ Querschnitt; eingesetzte Instrumente. | Effekgrößen: Datenbasis, Methode der Bestimmung, Gewichtung; Konfidenzintervalle, obere und untere Grenzen, Mittelwert, Varianz, forest plots; weiterführende Analysen (Moderatoren, publication bias); Interpretation, Kontextualisierung der Ergebnisse; Implikationen. |
Abbildung 2:
Minimale Publikationselemente von Meta-Analysen
4.5.3 Replikationsstudien
ReplikationsstudienReplikationsstudien dienen der Wiederholung bestimmter Experimente, Interventionen oder Studiendesigns, einerseits zum Zweck der Überprüfung der Generalisierbarkeit der Ergebnisse der Originalstudie für andere Zielgruppen oder Kontexte, andererseits zur ValidierungValidierung der berichteten Ergebnisse (Abbuhl 2012, Porte 2010). In empirischen Untersuchungen kommt der Replizierbarkeit einer Studie und deren Ergebnissen besondere Bedeutung zu, können doch auf diese Weise die Fehlertypen I und II (fälschliches Verwerfen bzw. Akzeptieren der Nullhypothese) kontrolliert werden (Schmidt 2009).
Abbuhl (2012) unterscheidet verschiedene Typen von Replikationsstudien, die sie auf einem Kontinuum von exakter Replikation (eher selten in den Sozialwissenschaften zu finden) über systematische oder approximative ReplikationapproximativeReplikationReplikationsystematische bis hin zur konzeptuellen oder konstruktiven ReplikationkonstruktiveReplikationReplikationkonzeptuelle anordnet. Bei der approximativen Replikation wird die Originalstudie so getreu wie möglich repliziert, doch eine der SchlüsselvariablenSchlüsselvariablen wird variiert, um etwa eine andere Zelgruppe oder einen anderen Kontext zu untersuchen. Die konzeptuelle Replikation bleibt dem Untersuchunggegenstand treu, doch verwendet sie zusätzlich zu den qualitativen der Originalstudie andere Zugänge, wie etwa andere Instrumente oder quantitative Methoden.
Replikationsstudien beginnen mit der Forschungsfragestellung und der Evaluation und Auswahl einer geeigneten Studie, welche die Forschungsfrage in relevanter Weise operationalisiert und untersucht. Es schließt sich die Entscheidung an, welche Art der Replikation für die zu untersuchende Fragestellung angemessen ist. Hierbei muss die Vergleichbarkeit und Anschlussfähigkeit zwischen Replikation und Originalstudie bedacht werden mit Hinblick auf Zielpopulationen und Stichproben, Untersuchungsgegenstand, Design, eingesetzte Instrumente und Analysemethoden. Etwaige Abweichungen sollten wohlbegründet sein (Gass/Mackey 2005). Nach der Durchführung und Analyse der Replikationsstudie erfolgt die Interpetation der Ergebnisse, immer auch in Bezug auf die Resultate der Originalstudie. Unterstützen die Replikationsbefunde die Ergebnisse der Originalstudie, so kann dies als ein weiterer Hinweis auf die Validität der ursprünglichen Befunde gedeutet werden. Widersprechen die Replikationsergebnisse denen der Originalstudie, kann dies als Anlass genommen werden, die GeneralisierbarkeitGeneralisierbarkeit bestimmter Ergebnisse kritisch zu diskutieren, oder die Parameter, die in die Studien einflossen, zu hinterfragen und gezielt in weiteren Untersuchungen zu erforschen (z.B. Eden 2002). Abschließend steht der Schritt der Publikation an, in welcher der Anlass der Replikationsstudie und etwaige Abweichungen von der Originalstudie begründet werden, die Vorgehensweise transparent dargestellt und die Ergebnisse im Vergleich zur Originalstudie diskutiert und kommentiert werden sollten.
4.5.4 Anwendung in Studien
Während es, wie Schmidt (2009) ausführt, nur wenige Replikationsstudien in den Sozialwissenschaften gibt, erfreuen sich Meta-Analysen zunehmender Beliebtheit. Hier sollen drei Meta-Analysen exemplarisch das Feld illustrieren.
Eine frühe, einflussreiche Meta-Analyse wurde von Norris/Ortega (2000) zur Effektivität von L2 Instruktionen durchgeführt. Sie verglichen die EffektstärkenEffektstärke von 49 experimentellen und quasi-experimentellen Studien, die in den Jahren 1908 bis 1998 durchgeführt wurden. Sie fanden u.a. heraus, dass explizite Formen des Unterrichtens effektiver sind als implizite und dass fokussiertes Unterrichten zu langfristigen Lernerfolgen führt. Allerdings mussten sie feststellen, dass die Effektstärke vom jeweils eingesetzten MessinstrumentMessinstrument beeinflusst wird und dass die Ergebnisse ihrer Meta-Analyse nur beschränkt generalisierbargeneralisierbar sind, da es damals dem Feld noch an empirisch rigorosen Operationalisierungen und Replikationen der Konstrukte mangelte.
Eine wesentlich umfangreichere Meta-Analyse, die eine gewisse Generalisierbarkeit aufweist, führte Hattie (2009) durch. Die so genannte ‚Hattie-Studie‘ beeinflusste die bildungspolitische Diskussion im In- und Ausland, weshalb sie hier erwähnt werden soll, wenngleich die meisten Studien, die in Hatties Meta-Analyse eingingen, nicht aus dem fremdsprachlichen Unterricht stammen. Er unterzog über 800 Meta-Analysen einer Meta-Metaanalyse und untersuchte 138 unterrichtsrelevante Variablen und ihre Effektivität auf das Lernen. Das Novum an seinem Ansatz ist, dass er die Effektstärken inhaltlich interpretiert, indem er sie in unterschiedliche Bereiche einteilt. Für den untersten Bereich (bis 0,15) behauptet Hattie, dass diese Effekte auch erzielt würden, wenn kein Unterricht stattfinde; Effektstärken im Bereich 0,15 bis 0,40 würden auch durch regulärem Unterricht einer durchschnittlichen Lehrkraft erzielt; nur Effektstärken über 0,40 würden auf tatsächliche Effekte der untersuchten Variablen deuten. Die stärksten Effekte fand Hattie in den Variablen ‚self-reported grades‘, ‚Piagetian programmes‘ und ‚providing formative evaluation‘. Es wäre interessant, diese Variablen gezielt für den fremdsprachlichen Unterricht zu untersuchen. Hattie leitet auf Basis seiner Ergebnisse ein theoretisches Modell erfolgreichen (fachunabhängigen) Lehrens und Lernens ab; er nutzt die Meta-Analyse also zur Theorie-Generierung.
Die dritte Meta-Analyse, die hier vorgestellt werden soll, wurde von Jeon/Yamashita (2014) durchgeführt für den Bereich des Leseverstehens in der Fremdsprache. Diese Studie soll die o.g. ModeratorenanalysenModeratorenanalysen illustrieren. Jeon/Yamashita (2014) untersuchten u.a. die Moderatoren Alter und Vokabelwissen. Die Befunde legen nahe, dass das fremdsprachliche Leseverständnis am höchsten mit fremdsprachlichem Grammatik- und Vokabelwissen korreliert und dass Leseverstehen vom Alter und der Distanz zwischen erster und zweiter Sprache beeinflusst wird.
4.5.5 Fazit
Die hier vorgestellten Möglichkeiten des ‚zweiten Blicks‘ auf existente Studien, sei es mittels quantitativer Meta-Analysen oder mittels Replikationsstudien, stellen eine Möglichkeit dar, existente Ergebnisse zu nutzen und zu transformieren. Auf diese Weise können, wie es beispielsweise Hattie (2009) zeigt, TheorienTheorie entwickelt und untermauert werden, oder es können Ergebnisse eines Bereichs oder Kontexts in neuen KontextenKontext überprüft werden, wie es in Replikationsstudien geschieht. Diese Herangehensweisen bieten effektive Wege, existente Ergebnisse zusammenzuführen, sie zu validierenvalidieren und etwa zur evidenzbasierten Entscheidungsfindung oder zur weiteren Forschungsplanung zu nutzen. Allerdings sollten sie in ihrem Aufwand nicht unterschätzt werden.
› Literatur
Forschungsarbeiten,