Ein entsprechendes performanzbasiertes Vorgehen wird auch als performanzbasierte Evaluation (performance-basedassessmentperformance-based assessment/testing) bezeichnet und das eingesetzte Instrument als PerformanztestPerformanztest (performance assessment/test). Zur performanzbasiertenEvaluationperformanzbasiert Evaluation sind auch Formen der aufgabenbasierten Evaluation (task-basedassessmenttask-based language assessment) und der aufgabenzentrierten Evaluation (task-centeredassessmenttask-centered language assessment) zu rechnen (vgl. Purpura, 2016, S. 195f.). Dies gilt insbesondere dann, wenn die Bearbeitung der AufgabenAufgaben als eine funktionale Aktivität angesehen wird, in der ein Individuum Sprache in einem bestimmten Kontext zur Erreichung eines Ziels einsetzt (vgl. Van Gorp & Deygers, 2014, S. 579 sowie Bachman, 2007; Brindley, 2013; Fischer, Chouissa, Dugovičová & Virkkunen-Fullenwider, 2011a, 2011b und Norris, 2016).
Performanzbasierte Evaluationsformen zielen auf eine (relativ) direkte Messung von Schreibleistungen und stehen damit im deutlichen Gegensatz z.B. zu einer indirekten Messung von Schreibleistungen anhand von geschlossenen AufgabenAufgaben zu GrammatikGrammatik und LexikLexik. Mit Hilfe einer performanzbasierten EvaluationEvaluationperformanzbasiert soll zum einen eine höhere ValiditätValidität (Gültigkeit) der Messung von Schreibleistungen erreicht werden (vgl. Kapitel 4.2.3 sowie Kapitel 5). Zum anderen ist häufig auch eine positive RückwirkungRückwirkung auf den Unterricht und eine intrinsische Motivierung der Testteilnehmenden intendiert (vgl. Yu, 2014). Dem steht allerdings u.a. als Nachteil gegenüber, dass eine zuverlässige und gültige Messung von Fähigkeiten und Fertigkeiten anhand von PerformanztestsPerformanztest in der Regel relativ aufwändig ist. Dies gilt z.B. im Hinblick auf die zur Testdurchführung benötigte Zeit oder bezüglich der Beurteilung der gezeigten Leistung (vgl. die Hinweise zur PraktikabilitätPraktikabilität und Ökonomie in Kapitel 4.2.4.4). Aus den genannten Gründen müssen in der Praxis u.a. bei der Zahl der eingesetzten Aufgaben und bei der Beurteilung der erbrachten Leistungen in der Regel Abstriche gemacht werden.
Bei einem PerformanztestPerformanztest zur Messung von Schreibkompetenzen kann es sich z.B. um ein durch Vorgaben gesteuertes Schreiben einer Anfrage bei einem Hostel (zu Zimmern, Leistungen und Aktivitäten), um eine komplexe Argumentation auf der Basis einer vorgegebenen Grafik oder auch um das Ausfüllen eines Formulars handeln. Die Schreibleistungen werden anhand von vorher festgelegten Kriterien durch entsprechend ausgebildete Beurteilende (z.B. Lehrerinnen und Lehrer) bewertet. Die von den Testteilnehmenden gezeigte Leistung und das abschließende Urteil über die Schreibkompetenz hängen damit nicht nur von der zu messenden KompetenzKompetenz und zusätzlichen konstruktirrelevanten Merkmalen der Testteilnehmenden (z.B. Prüfungsangst, soziokultureller Hintergrund) selbst ab. Vielmehr spielen u.a. auch Merkmale der Schreibaufgabe (z.B. kognitive Anforderungen), die verwendeten BeurteilungskriterienBeurteilungskriterien (z.B. fokussierte Bewertungsaspekte, Präzision, Eindeutigkeit) sowie Merkmale der Beurteilenden (z.B. Strenge/Milde, Verhaltenskonsistenz, Ausmaß an Schulung) eine Rolle. Diese komplexen Wechselwirkungen insbesondere zwischen den Merkmalen der verwendeten AufgabenAufgaben, BeurteilungskriterienBeurteilungskriterien und Beurteilenden machen die Bewertung von Schreibkompetenzen zu einem anspruchsvollen Unterfangen und stellen hohe Ansprüche an die eingesetzten Aufgaben, die verwendeten Kriterienraster und die Kompetenzen der Beurteilenden.
4.2 Typen und Funktionen von GütekriterienGütekriterien
Es gibt eine Vielzahl von Kriterien zur Einschätzung der Qualität der eingesetzten AufgabenAufgaben, der verwendeten BeurteilungskriterienBeurteilungskriterien, der Beurteilenden, der AngemessenheitAngemessenheit des Vorgehens bei der Evaluation sowie der Güte der auf der Basis der Evaluationsergebnisse gezogenen Schlüsse und getroffenen Entscheidungen. Von zentraler Bedeutung sind in diesem Zusammenhang die GütekriterienGütekriterien der ValiditätValidität (Gültigkeit), ReliabilitätReliabilität (Zuverlässigkeit) und ObjektivitätObjektivität, wobei ReliabilitätReliabilität und ObjektivitätObjektivität allerdings nicht immer als eigenständige GütekriterienGütekriterien gesehen werden. So wird häufig die ObjektivitätObjektivität auch als ein spezieller Aspekt der ReliabilitätReliabilität gesehen (siehe Kapitel 4.2.2.1).
Ebenso kann wiederum ReliabilitätReliabilität als ein spezieller Aspekt bzw. als Grundvoraussetzung von ValiditätValidität betrachtet werden (siehe Kapitel 4.2.3.1). Schließlich wird in der jüngeren Diskussion zunehmend auch FairnessFairness als wichtiges (eigenständiges) GütekriteriumGütekriterien hervorgehoben. Neben diesen „HauptgütekriterienGütekriterien“ werden als weitere mehr oder minder eigenständige „NebengütekriterienGütekriterien“ z.B. Nützlichkeit,Nützlichkeit Ökonomie, Praktikabilität,Praktikabilität Normierung, Skalierung, Zumutbarkeit, Schwierigkeit,Schwierigkeit Trennschärfe,Trennschärfe Standardisierung,Standardisierung RückwirkungRückwirkung auf den Unterricht (Washback/Backwash), AuthentizitätAuthentizität, TransparenzTransparenz sowie Handlungs- und KompetenzorientierungKompetenzorientierung genannt, wobei allerdings vor allem die NützlichkeitNützlichkeit zuweilen als zentrales GütekriteriumGütekriterien gesehen wird.
Im Folgenden werden eine Reihe der genannten Kriterien im Hinblick auf ihre Relevanz für die (unterrichtliche) Prüfungspraxis kurz beschrieben – mit einem Schwerpunkt auf wichtigen Aspekten von ObjektivitätObjektivität, ReliabilitätReliabilität und ValiditätValidität. Dabei werden wir auch eine Reihe von nützlichen terminologischen Differenzierungen vornehmen, auf die wir dann in den weiteren Kapiteln des vorliegenden Buches zurückgreifen können (vgl. zum Folgenden auch Grotjahn, 2008; Grotjahn & Kleppin, 2008; Grotjahn & Kleppin, 2015, Kap. 3.4).
4.2.1 ObjektivitätObjektivität und StandardisierungStandardisierung
Das Kriterium der ObjektivitätObjektivität kann sich auf die Durchführung der Schreibprüfung (DurchführungsobjektivitätObjektivitätDurchführungsobjektivität), die Beurteilung der Schreibleistung (BeurteilungsobjektivitätObjektivitätBeurteilungsobjektivität) und die Interpretation der Ergebnisse (InterpretationsobjektivitätObjektivitätInterpretationsobjektivität) beziehen (vgl. auch Moosbrugger & Kelava, 2012, S. 8–10). Entsprechend sind die schriftlichen AufgabenAufgaben so zu konstruieren, einzusetzen und auszuwerten, dass die anhand der Ergebnisse gezogenen Schlussfolgerungen u.a. unabhängig sind von den Personen, die a) die Prüfung durchführen, b) die Schreibleistung z.B. anhand einer Punktzahl beurteilen und c) letztendlich eine Interpretation der Ergebnisse z.B. in Form einer Benotung vornehmen. Beim unterrichtsbezogenen schulischen Evaluieren handelt es sich zumeist um dieselbe Person, nämlich die jeweilige Lehrkraft.
Die Forderung nach DurchführungsobjektivitätObjektivitätDurchführungsobjektivität bedeutet konkret, dass beim Einsatz des Tests z.B. darauf zu achten ist, dass die Lehrkräfte alle Schülerinnen und Schüler in der Prüfungssituation prinzipiell gleich behandeln. Eine hohe DurchführungsobjektivitätObjektivitätDurchführungsobjektivität kann man u.a. erreichen, indem beim Test alle Teilnehmenden die gleichen Arbeitsanweisungen erhalten und auf die gleichen Hilfsmittel (z.B. Wörterbücher) zurückgreifen können (vgl. Kapitel 7). Sollten Schülerinnen und Schüler signalisieren, dass sie einen Begriff in der Aufgabenstellung nicht verstehen, dann sollte zur Wahrung der DurchführungsobjektivitätObjektivitätDurchführungsobjektivität eine eventuelle Klärung des Begriffs für alle Testteilnehmenden erfolgen.
Um dem Kriterium der BeurteilungsobjektivitätObjektivitätBeurteilungsobjektivität zu genügen, d.h. um die notwendigerweise auftretende Subjektivität der Messung von Schreibleistungen anhand von PerformanztestsPerformanztest möglichst gering zu halten, gilt in Bezug auf die zu stellenden AufgabenAufgaben, dass z.B. klare Vorgaben zu formulieren sind, an denen sich die Schülerinnen und Schüler beim Schreiben orientieren. So sollte z.B. im Fall offener Schreibaufgaben angegeben werden, welche inhaltlichenInhalt Punkte von den Schülerinnen und Schülern anzusprechen sind und welche ungefähre Wortzahl das Schreibprodukt aufweisen sollte (vgl. Kapitel 7).
Weiterhin sind