Die folgende Checkliste kann Ihnen bei der Gestaltung einfacher Multiple-Choice-Fragebogenstudien helfen. Idealerweise sollten Sie natürlich zusätzlich Fachliteratur zur Erstellung von Fragebögen insbesondere aus der quantitativen Sozialwissenschaft heranziehen (z.B. Bradburn et al. 2004, Porst 2014), um verbreitete Fehler zu vermeiden.
✓ | Achten Sie darauf, dass die Fragen klar und verständlich formuliert sind. |
✓ | Versetzen Sie sich in die Lage der Teilnehmerinnen und Teilnehmer und denken Sie daran, dass diese Ihre Fragen ohne das spezifische Vorwissen, über das Sie verfügen, verstehen sollten. Nicht jeder Laie weiß beispielsweise, was Termini wie Plusquamperfekt oder Linksversetzung bedeuten. Denken Sie auch daran, dass die Teilnehmer Ihre Fragen zwangsläufig interpretieren (vgl. Groves et al. 2004: 204). Um die Vergleichbarkeit der Antworten zu gewährleisten, versuchen Sie, den Interpretationsspielraum so gering wie möglich zu halten. |
✓ | Stellen Sie dem eigentlichen Fragebogen knappe, aber klare Instruktionen voran. Denken Sie daran, dass die Teilnehmenden eher geneigt sein werden, die Umfrage vor dem eigentlichen Beginn abzubrechen, wenn die Instruktionen allzu lang ausfallen. Daher gilt für die Instruktionen: So kurz wie möglich, so lang wie nötig. |
✓ | Die Reihenfolge der Fragen sollte randomisiert (zufallsgeneriert) sein. Gerade bei Grammatikalitätsurteilen haben viele Studien etwas gezeigt, was man salopp als „Abstumpfungseffekt“ bezeichnen könnte – wenn man viele Sätze bewertet, werden sie immer akzeptabler (vgl. Schütze 2016: 132f.). Doch auch bei Studien, in denen es nicht um Grammatikalitätsurteile geht, können solche Sukzessionseffekte – also Effekte, die sich aus der Reihenfolge der Fragen ergeben – auftreten. Ein bekanntes Problem sind beispielsweise Ermüdungseffekte (vgl. Ben-Nun 2008). Durch die Randomisierung der Fragenreihenfolge erreicht man, dass dieselbe Frage von manchen Teilnehmern sehr früh, von anderen später beantwortet wird. |
Das gilt natürlich nicht, wenn der Aufbau Ihres Fragebogens einer bestimmten inneren Logik oder „Dramaturgie“ (Porst 2014) folgt, etwa wenn die Fragen aufeinander aufbauen oder wenn Sie „heikle“ Fragen stellen möchten, die man eher am Ende des Fragebogens platzieren sollte (vgl. Porst 2014: 147). | |
✓ | Versuchen Sie, Störvariablen soweit wie möglich auszuschalten. Grob gesagt, sind Störvariablen alle Faktoren, die das Ergebnis einer Untersuchung beeinflussen, ohne dass sie für Ihre Fragestellung relevant sind. Angenommen, Sie wollen erfragen, wie akzeptabel jemand weil mit Verbzweitstellung findet (weil das ist halt so statt weil das halt so ist). Wenn Sie als Stimulus nun einen Satz verwenden wie Die Amigos find ich knorke, weil die sind voll cool und sexy und so, dann ist es möglich, dass die Probanden den Satz nicht wegen seiner Syntax ablehnen, sondern wegen der darin enthaltenen umgangssprachlichen Formulierungen oder wegen seiner verstörenden Gesamtaussage. Ganz vermeiden lassen sich solche Inteferenzeffekte zwar nie, aber ein Satz wie Ich mag meinen Nachbarn, weil er ist immer nett zu mir würde hier den Zweck insgesamt besser erfüllen. |
✓ | Am Ende der Umfrage sollten Sie demographische Daten erheben. Auch das trägt dazu bei, Störvariablen zu kontrollieren: Wenn beispielsweise an einer Umfrage zum am-Progressiv (ich bin am lesen) überwiegend Menschen aus dem hauptsächlichen Verbreitungsgebiet dieser Form teilnehmen, dann ist die Aussagekraft dieser Studie eine andere, als wenn Sprecherinnen aus dem gesamten deutschen Sprachraum teilnehmen. Ebenso kann z.B. die Akzeptanz eines noch recht jungen Phänomens davon abhängen, wie alt die Personen sind, die an meiner Studie teilnehmen. Alter und Region (genauer: Ort der sprachlichen Sozialisation) sollte man daher stets erfragen. Häufig wird auch das Geschlecht erfragt, auch wenn hier bei Fragestellungen zur deutschen Gegenwartssprache nur in wenigen Fällen Unterschiede zu erwarten sind. Da es sich hier um recht persönliche Daten handelt, empfiehlt es sich, sie auf freiwilliger Basis zu erheben. |
Experimente
Schlobinski (1996: 31f.) weist darauf hin, dass Experimente im Vergleich zu anderen Methoden nur eine geringe Rolle in der Sprachwissenschaft spielen. Zieht man in Betracht, dass auch eine Korpusuntersuchung durchaus als Experiment gelten kann, also als „[s]ystematische Beobachtung von veränderlichen Merkmalen unter kontrollierten oder künstlich geschaffenen Bedingungen“ (Meindl 2011: 33), so trifft diese Einschätzung mittlerweile nur noch bedingt zu. Auch Experimente im landläufigen Sinne, also behaviorale Studien, bei denen das Verhalten von Probandinnen und Probanden unter systematisch manipulierten Bedingungen untersucht wird, spielen eine immer größere Rolle in der Sprachwissenschaft. Für die Psycholinguistik gehört das Experiment von Anfang an zum unentbehrlichen Handwerkszeug (vgl. Knobloch 2008). Doch auch die historische Linguistik greift immer häufiger zu experimentellen Methoden, sodass sogar der Terminus „Historische Psycholinguistik“ kein Oxymoron mehr ist (vgl. z.B. Bergs & Pentrel 2014). Zwar kann es naturgemäß keine psycholinguistischen Experimente mit, sagen wir, Sprecherinnen und Sprechern des Frühneuhochdeutschen geben, doch kann zwischen historischer Sprachwissenschaft und Psycholinguistik insofern ein fruchtbarer Austausch stattfinden, als sie ähnlichen Fragen nachgehen und sich dabei oft auch auf die gleichen Grundannahmen stützen. Eine wichtige Grundannahme ist das uniformitariane Prinzip, also die Hypothese, dass sich die Funktionsweise der menschlichen Kognition in den letzten Jahrhunderten bzw. Jahrtausenden nicht wesentlich verändert hat.4 Daraus folgt, dass die gleichen Faktoren, die im synchronen Sprachgebrauch eine Rolle spielen, auch die diachrone Entwicklung von Sprache beeinflussen können. Das gilt insbesondere für kognitive Prinzipien, die in vielen Fällen synchrone und diachrone Phänomene gleichermaßen erklären können. So bringt Köpcke (1988) die Wahl von Pluralformen im Deutschen mit der Fähigkeit zur Prototypenabstraktion und Schemabildung in Verbindung: Im Deutschen gibt es bekanntlich verschiedene Möglichkeiten der Pluralkennzeichnung (sog. Pluralallomorphe), z.B. -en in Frauen, -er in Männer, Nullplural in Tunnel etc. Köpcke (1988) geht davon aus, dass Sprecherinnen und Sprecher aus den Pluralformen, denen sie begegnen, prototypisch organisierte Schemata ableiten. Mit „prototypisch organisiert“ ist dabei gemeint, dass es Kernmitglieder gibt, die dem Muster in besonderem Maße entsprechen, aber auch eher randständige Klassenmitglieder. An einem nicht-sprachlichen Beispiel: Wir können die Farbkategorie „rot“ als prototypisch