Weir, Cyril J. (2005). Language testing and validation: An evidence-based approach. New York: Palgrave Macmillan.
Wirtz, Markus A. & Caspar, Franz M. (2002). Beurteilerübereinstimmung und Beurteilerreliabilität: Methoden zur Bestimmung und Verbesserung der Zuverlässigkeit von Einschätzungen mittels Kategoriensystemen und Ratingskalen. Göttingen: Hogrefe.
Xi, Xiaoming & Davis, Larry. (2016). Quality factors in language assessment. In Dina Tsagari & Jayanti Banerjee (Hrsg.), Handbook of second language assessment (S. 61–76). Boston: De Gruyter.
Yu, Guoxing. (2014). Performance assessment in the classroom. In Antony J. Kunnan (Hrsg.), The companion to language assessment. Vol. II: Approaches and development (S. 617–630). Chichester: Wiley-Blackwell.
5 TestkonstruktTestkonstrukt und TestspezifikationenTestspezifikation
Rüdiger Grotjahn
Was mit Hilfe der AufgabenAufgaben und BewertungskriterienBeurteilungskriterien eines Tests gemessen werden soll, wird auch als TestkonstruktTestkonstrukt bezeichnet (vgl. American Educational Research Association et al., 2014, S. 11). Dabei kann sich der Begriff „Konstrukt“ sowohl auf nicht direkt beobachtbare theoriebasierte Merkmale als auch auf direkt beobachtbare Verhaltensaspekte beziehen. Eine adäquate Definition des TestkonstruktsTestkonstrukt ist in mehrfacher Hinsicht von zentraler Bedeutung. Zum einen ist eine genaue Spezifikation des TestkonstruktsTestkonstrukt eine wichtige Voraussetzung, dass bei der Entwicklung von Aufgaben und BewertungskriterienBeurteilungskriterien auch wirklich die Merkmale des Konstrukts „Schreiben“ erfasst werden, die erfasst werden sollen. Zum anderen kann eine begründete Aussage zur ValiditätValidität der Interpretation von Testergebnissen und zur AngemessenheitAngemessenheit der mit einem Test verbundenen Entscheidungen nur dann getroffen werden, wenn man das jeweilige TestkonstruktTestkonstrukt und dessen mögliche Teilkomponenten und Dimensionen hinreichend spezifiziert (vgl. auch Grotjahn, 2003, S. 11ff.; 2007).1TestkonstruktAufgabenPrüfungsaufgabenTestkonstruktTestkonstrukt
Im Folgenden gehe ich relativ ausführlich auf das Thema „TestkonstruktTestkonstrukt“ ein. Dazu thematisiere ich zunächst einige Merkmale der Evaluation von Schreibkompetenz anhand (weitgehend) authentischer SchreibaktivitätenSchreibaktivitäten. Sodann gehe ich kurz auf den bereits häufig verwendeten und für den vorliegenden Band wichtigen Begriff der KompetenzKompetenz ein. Im Anschluss beschreibe ich unterschiedliche Vorgehensweisen bei der Konstruktdefinition und spreche auch die Struktur und Dimensionalität sowie die potenzielle (zeitliche) Instabilität des Konstrukts „Schreibkompetenz“ an. In einem nächsten Schritt wird gezeigt, wie das jeweilige TestkonstruktTestkonstrukt unter Berücksichtigung der Adressaten und Zielsetzungen anhand theoretischer Annahmen und empirischer Befunde zur Schreibfähigkeit als Komponente kommunikativer KompetenzKompetenzkommunikativ spezifiziert werden kann. Darauf aufbauend wird angedeutet, wie auf der Basis des TestkonstruktsTestkonstrukt Test- und AufgabenspezifikationenTestspezifikation formuliert werden können, die ihrerseits einen Rahmen für die Aufgabenerstellung (siehe Kapitel 7) und die Bewertung von Schreibleistungen (siehe Kapitel 6 und 8) abgeben. Abschließend stelle ich heraus, dass im Hinblick auf die faktische ValiditätValidität eines Schreibtests neben den eingesetzten AufgabenAufgaben auch die zugrunde gelegten BewertungskriterienBeurteilungskriterien und deren Verwendung durch die Rater von entscheidender Bedeutung sind.
5.1 Aufgabenbasierte Evaluation von Schreibkompetenzen
In Kapitel 4.1 wurde bereits darauf hingewiesen, dass im Rahmen einer kompetenz- und handlungsorientierten Überprüfung von Schreibfähigkeiten in der Regel AufgabenAufgaben zum Einsatz kommen, die Merkmale lebensweltlicher Schreibhandlungen simulieren oder zumindest prototypisch abbilden. Von den SchreibaktivitätenSchreibaktivitäten in der Testsituation – in diesem Zusammenhang auch als Performanz (engl. performance) bezeichnet – soll dann auf die Fähigkeit zur Realisierung ähnlicher SchreibaktivitätenSchreibaktivitäten außerhalb der Testsituation und/oder auf hierfür wichtige Kompetenzen zurückgeschlossen werden.
Ein solches performanzbasiertes Vorgehen wird auch als performanzbasierte EvaluationEvaluationperformanzbasiert (performance-basedassessmentperformance-based assessment/testing) und das eingesetzte Instrument als PerformanztestPerformanztest (performance assessment/test) bezeichnet. Zur performanzbasierten EvaluationEvaluationperformanzbasiert sind auch Formen der aufgabenbasierten Evaluation (task-basedassessmenttask-based language assessment) zu zählen. Dies gilt insbesondere dann, wenn die Lösung der AufgabenAufgaben als funktionale Aktivität konzipiert wird, mit deren Hilfe ein Individuum in einem bestimmen sozio-kognitiven Kontext im Rahmen einer bedeutungszentrierten Kommunikation ein bestimmtes Ziel erreichen möchte (vgl. Bachman, 2007; Brindley, 2013; Bygate, Norris & Van den Branden, 2015; Fischer, Chouissa, Dugovičová & Virkkunen-Fullenwider, 2011a, 2011b; Norris, 2016; Purpura, 2016, S. 195f.; Van Gorp & Deygers, 2014). Ein entsprechendes Aufgabenkonzept liegt auch den Beiträgen im vorliegenden Band als Zielvorstellung zugrunde.
AufgabenAufgaben mit den genannten Merkmalen werden häufig auch als „authentisch“ charakterisiert. Der Einsatz (weitgehend) authentischer Aufgaben zur Messung von Schreibkompetenzen und die Bewertung der Leistung anhand geeigneter kriterialer Raster hat u.a. folgende Vorteile: a) Die Bearbeitung der TestaufgabenAufgabenTestaufgaben selbst kann bereits eine positive Lernerfahrung darstellen. b) Der Einsatz authentischer Aufgaben verbessert die Möglichkeiten einer lernorientierten, formativen EvaluationEvaluationformativ. c) Es verringert sich die potenzielle Distanz zwischen TestaufgabenAufgabenTestaufgaben und den in einem aufgabenbasierten oder aufgabenunterstützten Fremdsprachenunterricht eingesetzten (komplexen) LernaufgabenAufgabenLernaufgaben. Der Einsatz authentischer TestaufgabenAufgabenTestaufgaben kann damit auch einen Beitrag zu einer besseren Übereinstimmung zwischen Prüfungs- und Lehr-Lern-Aktivitäten leisten und einen positiven Washback-Effekt auf den Unterricht haben (vgl. Bygate, Norris & Van den Branden, 2015; Jones & Saville, 2016; Norris, 2016; Turner & Purpura, 2016; Yu, 2014).
Authentische AufgabenAufgaben weisen allerdings – verglichen mit objektiv auswertbaren geschlossenen AufgabenformatenAufgabenformate wie etwa Ankreuzaufgaben – auch eine Reihe von Nachteilen auf. So erfordert die Bearbeitung authentischer Aufgaben in der Regel vergleichsweise viel Zeit, und die adäquate Beurteilung der gezeigten Leistung ist relativ aufwändig (vgl. hierzu auch Kapitel 4.1).
Bei einer Evaluation anhand weitgehend authentischer Schreibaufgaben handelt es sich um eine relativ direkte Messung von Schreibleistungen. Diese steht im Gegensatz zu einer indirekten Messung von Schreibkompetenzen anhand von geschlossenen AufgabenAufgaben wie etwa Multiple-Choice-Items zu GrammatikGrammatik und LexikLexik. Während mit einer indirekten Messung in erster Linie überprüft werden kann, ob für die Realisierung von SchreibaktivitätenSchreibaktivitäten wichtige Ressourcen überhaupt vorhanden sind, ermöglicht eine direkte Messung anhand authentischer Schreibaufgaben zusätzlich eine Aussage darüber, inwieweit die vorhandenen sprachlichen und nichtsprachlichen Ressourcen in kommunikativen Situationen genutzt werden können.
Obwohl performanzbasierte Formen der EvaluationEvaluationperformanzbasiert die jeweils fokussierten SchreibaktivitätenSchreibaktivitäten vergleichsweise direkt repräsentieren, ist auch bei einer performanzbasiertenEvaluationperformanzbasiert Überprüfung von Schreibleistungen anhand authentischer AufgabenAufgaben bei der Konstruktion der Aufgaben und der Entwicklung der BewertungskriterienBeurteilungskriterien stets genau zu klären, welche Merkmale des Konstrukts „Schreiben“ die Aufgaben und die zugehörigen BewertungskriterienBeurteilungskriterien bei den jeweiligen Testteilnehmenden erfassen sollen. Außerdem ist stets zu prüfen, ob die Aufgaben und BewertungskriterienBeurteilungskriterien dann letztendlich auch tatsächlich das erfassen, was sie erfassen sollen.
Diese Argumentation steht im Widerspruch zu der Annahme, dass authentische TestaufgabenAufgabenTestaufgaben, die lebensweltliche Aktivitäten direkt repräsentieren, zugleich automatisch valide seien. Brindley (2013) nennt u.a. folgende Gründe dafür, dass auch authentische TestaufgabenAufgabenTestaufgaben nicht automatisch valide