Quantitative Methoden kompakt. Nicole Burzan

Studierenden in Deutschland verallgemeinern würde, oder wenn er suggestive Fragen formulieren und damit die späteren Antworten von Befragten beeinflussen würde (in der Operationalisierungsphase). Weiterhin wäre es eine Einschränkung, wenn bei Telefoninterviews nur diejenigen befragt würden, die beim ersten Kontaktversuch erreichbar waren (Erhebungsphase) oder wenn unangemessene statistische Verfahren genutzt oder spekulative Schlussfolgerungen gezogen würden (Auswertungsphase). »Fehler« können also in jeder Forschungsphase auftreten. Zugunsten möglichst »guter« empirischer Ergebnisse sollte der quantitativ vorgehende Forscher³ die folgenden Gütekriterien stets im Blick haben:

      1. Gültigkeit (Validität): Gültig sind Ergebnisse dann, wenn man das gemessen hat, was man messen wollte. Dies bedeutet, dass man angemessene Indikatoren verwendet hat und dass das Instrument und die Erhebungssituation (z. B. die Anwesenheit Dritter bei einer Befragung) die Ergebnisse nicht systematisch verfälschen. Was »Indikatoren« sind, wird später (Kap. 4.2) genauer erläutert. Kurz gesagt zeigen sie den Sachverhalt, den man erheben will, direkt an. Beispielsweise könnte der »Schulabschluss« ein Indikator für die Dimension »Bildung« sein. Die Gültigkeit des Indikators »Note in der letzten Mathearbeit« für die Erfassung von »Bildung« wäre dagegen wohl nicht gegeben, weil allein Mathematikkenntnisse, die lediglich im Ergebnis der letzten Klassenarbeit zum Ausdruck kommen (die leicht oder schwer gewesen sein kann und bei der der Schüler einen guten oder schlechten Tag hatte) einen zu kleinen Teil der Dimension »Bildung« messen.

      Teilweise werden verschiedene Arten von Gültigkeit (z. B. Inhalts-, Kriteriums- Konstruktvalidität) unterschieden (vgl. z. B. Diekmann 2007), die sich unter diese Grundbedeutung subsummieren lassen. Prüfen lässt sich Gültigkeit kaum durch bestimmte Verfahren, sondern nur durch die Hinterfragung des empirischen Vorgehens vor dem Hintergrund des theoretischen Konzepts der Forschungsfrage.

      2. Zuverlässigkeit (Reliabilität): Bei wiederholter Anwendung des Instruments und des Messkonzepts sollte ein Forscher das gleiche Ergebnis erzielen; die Ergebnisse der Messung sind also zuverlässig, wenn sie reproduzierbar sind. Mit anderen Worten sind Befunde (z. B. Antworten bei einer Befragung) stabil unabhängig davon, wer gemessen hat, wann genau er gemessen und prinzipiell auch, mit welchem Instrument er gemessen hat.

      So sollte es für die Ergebnisse keinen Unterschied machen, ob der Interviewer braune oder grüne Haare hat, jung oder alt ist, oder ob ein Beobachter eine Situation unter sonst gleichen Bedingungen dienstags oder mittwochs beobachtet hat. Ebenso sollte die gleiche Zahl herauskommen, wenn man jemanden fragt, wie viele Bücher er gerade aus der Universitätsbibliothek ausgeliehen hat oder dies mit seiner Zustimmung im Computersystem der Bibliothek recherchiert. Man will also Einstellungen oder typisches Verhalten und nicht unkontrollierte Situationseinflüsse bei der Erhebung messen.

      Die Zuverlässigkeit eines Instruments lässt sich etwa dadurch testen, dass man – beispielsweise bei einer Beobachtung oder Inhaltsanalyse – verschiedene Personen (oder die gleiche Person zu verschiedenen Zeitpunkten) die gleiche Situation oder Quelle in ein Kategoriensystem eintragen lässt. Eine hohe Übereinstimmung spricht für die Zuverlässigkeit, man spricht auch von Inter- bzw. Intracoder-Reliabilität.

      Es gibt einen wichtigen Zusammenhang von Zuverlässigkeit und Gültigkeit: Ein Ergebnis, das nicht zuverlässig ist, kann auch nicht gültig sein. Wenn das Ergebnis davon abhängt, dass Befragte einer jungen Frau andere Antworten zum Thema politische Einstellungen gegeben haben, als sie es gegenüber einem älteren Mann getan hätten, hat man eben nicht gemessen, was man messen wollte, und zwar die politischen Einstellungen. Andererseits ist ein zuverlässiges Ergebnis nicht zwingend gültig. Wenn eine Frage im Fragebogen suggestiv gestellt ist, kann man zuverlässig immer wieder verzerrte und damit ungültige Befunde erzielen. Somit ist Zuverlässigkeit eine notwendige, aber nicht hinreichende Bedingung für Gültigkeit.

      3. Objektivität/Intersubjektivität: Versteht man Objektivität in diesem Kontext als Unabhängigkeit von subjektiven Eigenschaften und (Wert-)Haltungen des Betrachters bzw. des Forschers, so ist es unmöglich, einen Forschungsgegenstand vollständig objektiv wahrzunehmen und zu untersuchen. Zur Annäherung an dieses Ideal können Forscher jedoch ihr Vorgehen für andere klar dokumentieren, ihre Forscherrolle dabei reflektieren und so ihre Untersuchung für andere intersubjektiv nachvollziehbar, kontrollierbar, damit kritisierbar machen.

      Die Güte der Befunde steigt danach, wenn die scientific community die Ergebnisse zustimmend nachvollzieht. Standardisierte Instrumente dienen in der quantitativen Forschung als ein Mittel, diese Intersubjektivität zu fördern.

      4. Repräsentativität: Repräsentativität richtet sich auf die Reichweite der Ergebnisse und bedeutet, dass eine Stichprobe ein verkleinertes Abbild einer Grundgesamtheit darstellt, dass die Ergebnisse aus der Stichprobe also auf diese angebbare Grundgesamtheit verallgemeinerbar sind.

      Die Grundgesamtheit umfasst alle Fälle, über die eine Untersuchung Aussagen treffen will. Ob die Ergebnisse der Stichprobe repräsentativ sind, hängt neben der Größe der Stichprobe und der Ausschöpfung zentral vom Auswahlverfahren ab, wobei insbesondere Zufallsauswahlen zu für die Grundgesamtheit repräsentativen Ergebnissen führen (s. u. Kap. 5).

      Welche Herausforderungen sich im Zuge der einzelnen Forschungsschritte stellen, um diese Gütekriterien möglichst optimal einzuhalten, zeigen die folgenden Kapitel.

      

Literatur

      Vgl. hierzu die Hinweise auf Einführungen am Beginn des Literaturverzeichnisses (z. B. Diekmann 2007).

       Zum wissenschaftstheoretischen Hintergrund:

      Chalmers, Alan F. (2007): Wege der Wissenschaft: Einführung in die Wissenschaftstheorie, 6. Aufl., Berlin/Heidelberg: Springer.

      

Übungsaufgabe

      Entwerfen Sie eine Forschungsskizze anhand der Schritte in Tab. 3.2 zum Thema »Ist die Wohnungseinrichtung von der sozialen Lage (z. B. Einkommen, Bildung oder Alter) abhängig?«

3	Diese Gütekriterien sind nicht umstandslos auf qualitative Methoden übertragbar, vgl. Steinke 2000.