Problemstellung;
LiteraturrechercheLiteraturrecherche;
Evaluation und Kodierung der ausgewählten Kodierungvon ausgewählten StudienStudienEvaluation von ausgewählten Studien;
DatenanalyseDatenanalyse, Untersuchung der ErgebnisseErgebnisseUntersuchung der, InterpretationInterpretation;
Berichterstattung, PublikationPublikation.
Die Formulierung der Problemstellung, der zu untersuchenden Fragestellung ist von zentraler Bedeutung. Sie kann sowohl theoriegeleitet als auch empirisch begründet sein. Eng geführte Fragen eignen sich, um bekannte Hypothesen und Effekte zu prüfen, Forschungen zu dieser Themestellung zusammenzufassen oder bestimmte Populationen und Kontexte zu vergleichen. Offenere Problemstellungen eignen sich, um neue Erkenntnisse aus der Synthese zu gewinnen. Die Fragestellung bestimmt somit, welche Studien in die Meta-Analyse einfließen sollen; beispielsweise hängen die Auswahl und der Fokus auf konzeptionelle Fragen, Methoden, Probanden, Messmodelle und berichtete empirische IndizesIndizesempirische (outcome measuresoutcome measures) von der Fragestellung ab.
Die LiteraturrechercheLiteraturrecherche ist direkt von der Problemstellung geleitet. Hier gilt es, so umfassend und systematisch wie möglich vorzugehen, um möglichst viele Studien und Replikationen in der zu untersuchenden Problemstellung zu erfassen. Dabei sollten neben den einschlägigen Zeitschriften, Buch- und Kongresspublikationen und Internetrecherchen (z.B. google scholar) auch DatenbankenDatenbanken abgefragt werden (In’nami/Koizumi 2011). Bei der Recherche stellt sich das Problem des so genannten publication biaspublication bias, da in der Regel nur Studien mit signifikanten Effekten publiziert werden; dadurch gehen für die Synthese wertvolle Informationen verloren, welche zumindest teilweise durch statistische Verfahrenstatistische Verfahren abgefangen werden können (Hunter/Schmidt 2004; s. unten die Ausführungen zu Datenanalyse und Untersuchung der Ergebnisse). Darüber hinaus gibt es Datenbanken zu unveröffentlichten Studien, die herangezogen werden können. Auch auf den so genannten English language biasEnglish language bias darf verwiesen werden: Publikationen in internationalen englischsprachigen Journals berichten oft stärkere Effekte als Publikationen in anderen Sprachen; hier hilft es, auch anderssprachige Publikationen zu beachten. Es gilt, transparente Kriterien zum Einschluss (und ggf. Ausschluss) von Studien zu entwickeln; der Kriterienkatalog kann in einem iterativen Prozess während der Auseinandersetzung mit der Literatur verfeinert werden. Hierbei sollten Forschungsstandards angelegt werden, wie sie beispielsweise Porte (2010) beschreibt. Wichtig ist es, eine gesunde Balance zwischen Ein- und Ausschlusskriterien zu finden, um nicht die GeneralisierbarkeitGeneralisierbarkeit durch den Ausschluss zu vieler Studien zu gefährden, andererseits aber nicht die Qualität und ValiditätValidität der Ergebnisse der Meta-Analyse durch den Einschluss methodisch mangelhafter Studien zu riskieren. Alle Schritte der Literaturrecherche und der eingesetzten Strategien und Kriterien zur Suche und Auswahl sollten transparent dokumentiert werden.
Sind die Studien ausgewählt, müssen sie hinsichtlich ihrer Charakteristika und der berichteten EffektstärkenEffektstärke evaluiert und kodiert werden. Hier helfen ein KodierplanKodierplan und ein KodierbuchKodierbuch, um die relevanten Charakteristika und das KodierschemaKodierschema zu definieren. Idealerweise wird das KodierschemaKodierschema pilotiert und alle Studien werden von mindestens zwei Forschenden kodiert, um zu reliablen und validen KodierungenKodierung zu kommen. In’nami1 schlägt vor, mindestens die folgenden Charakteristika zu den Studien und den empirischen Daten zu kodieren:
| Studie | Empirische Datenlage |
| ID, bibliographische Angaben, Abstract; Moderatorvariablen: Population, Kontext; Kriterien zur Qualität der Studie; Informationen zu etwaigen Artefakten (Hunter/Schmidt 2004); Forschungsdesign: Probanden, experimentelles (oder anderes) Design, Manipulationen. | Effektstärke (s. Ausführungen unten):Datenbasis, Methode der Bestimmung, etwaige Gewichtung; Stichprobengröße; Gemessene(s) Konstrukt(e), Instrumente; Zeitpunkte, zu denen die verschiedenen Variablen gemessen wurden; Reliabilität der Messungen; statistische Tests, die zum Einsatz kamen; Moderatorvariablen. |
Abbildung 1:
Kodiervorschläge nach In’nami (s. Fußnote 7)
Spätestens bei der KodierungKodierung der Studien kann es sein, dass fehlende Daten zu Tage treten. Hier kann es helfen, die Autoren direkt anzuschreiben, um gezielt nach fehlenden Informationen zu fragen. Im Zweifelsfall müssen Studien, zu denen keine hinreichenden Daten vorliegen, ausgeschlossen oder die fehlenden Werte mittels statistischer Verfahren imputiert werden. Auch dies sollte dokumentiert werden.
Das Konzept der EffektstärkenEffektstärke sei hier kurz skizziert (s. auch Kapitel 5.3.10), da sie die zentrale Analyseeinheit von Meta-Analysen darstellen (s. Borenstein et al. 2011, insbesondere Kapitel 3–9, Plonsky 2012b). Die Ergebnisse empirischer Studien werden in der Regel mittels zweier Statistiken berichtet: Zum einen interessiert die Größe oder die Stärke eines untersuchten Effekts (die so genannte Effektstärke), zum anderen ist die Signifikanz der EffekteEffekteSignifikanz der wichtig – man bedenke, dass nicht-signifikante Ergebnisse ebenso bedeutsam sind wie signifikante Effekte, doch werden sie meist nicht publiziert (s. oben, publication bias). Effektstärken sind statistische Indizes, welche grundsätzlich auf zwei Wegen bestimmt werden können: mittels KorrelationenKorrelation (die Gruppe der sogenannten r Indizesr Indizes) oder mittels (standardisierter) Unterschiede in Mittelwerten oder Standardabweichungen (die Gruppe der d Indizesd Indizes). Die in den für eine Meta-Analyse ausgewählten Studien berichteten Statistiken lassen sich problemlos in die Effektstärken r oder d überführen2, je nachdem, welche Herangehensweise für die Meta-Analyse verwendet werden soll. Johnson/Eagly (2000) empfehlen r für Studien, die vorwiegend Korrelationen berichten, und d für Studien, welche ANOVA und t-tests einsetzen.
Zur eigentlichen DatenanalyseDatenanalyse und zur Untersuchung der Ergebnisse gibt es eigens für Meta-Analysen entwickelte Computerprogramme, beispielsweise das Programm Comprehensive Meta-Analysis3. Eine Evaluation verschiedener Programme ist unter http://www.um.es/metaanalysis/software.php zu finden. Es empfiehlt sich, Einführungen und Workshops zur Nutzung eines bestimmten Programms zu besuchen, um sich mit den Spezifika, Modellen, Annahmen und Anforderungen vertraut zu machen. Generell besteht die zentrale Datenanalyse einer Meta-Analyse aus der Berechnung des Mittelwerts und der Varianz der in den ausgewählten Studien berichteten EffektstärkenEffektstärke (Plonsky/Oswald 2012b: 275). Dazu gibt es verschiedene Modelle (die so genannten fixed-, random- oder mixed-effect Modelle, s. Borenstein et al. 2011, insb. Kapitel 10–14 und 19), von denen das angemessenste gewählt werden muss. Ebenso müssen Entscheidungen getroffen werden hinsichtlich der zu nutzenden EffektstärkeindizesEffektstärkeindizes (s. oben) und der Gewichtung bestimmter Studien. Zur Interpretation der Ergebnisse ist es nötig, sich die Effektstärken, Konfidenzintervalle und die Richtung der Effekte der einzelnen Studien sowie Mittelwert und Varianz der Effekte über die Studien hinweg zu betrachten, um die Homogenität der gefundenen Effektstärken beurteilen zu können. Zur Interpretation helfen neben den statistischen Indizes so genannte forest plots, graphische Darstellungen, welche von den Programmen erstellt werden. Es kann nötig sein, den erwähnten publication biaspublication bias statistisch zu korrigieren; hierzu gibt es verschiedene Möglichkeiten (s. z.B. Banks/Kepes/Banks 2012, Borenstein et al. 2011, Kapitel 30), von denen die graphische Methode des funnel plottings in der Fremdsprachenforschung die verbreiteste ist (z.B. Norris/Ortega 2000). Es empfehlen sich weiterführende Moderator-Analysen, um den Effekt bestimmter Moderatorvariablen auf die zu untersuchende Variable festzustellen; beispielsweise haben Jeon/Yamashita (2014) Befunde zum Leseverstehen in der Fremdsprache in einer groß angelegten Meta-Analyse zusammengestellt und dabei