Darüber hinaus ist auch das Stellen der betreffenden Frage nach der Darlegung der Prüfungsziele an sich problematisch. Einerseits, weil diese Art der Fragestellung generell sehr differenzierte Ergebnisse fördert, die in der Praxis schwer nutzbar gemacht werden können, ein Phänomen, auf welches bereits Kromrey (vgl. 1996) hinweist, und andererseits, weil das Verstehen der Erklärung der Lehr- und Prüfungsziele zu sehr auf die Lehrperson zentriert wird. Dies bedeutet im konkreten Kontext bei ersterem, dass einige LernerInnen die betreffende Frage positiv und andere negativ beantworten werden, wie dies oben bereits angeführt wurde, und diese Inkonsistenz nicht nur zwischen verschiedenen Lehrveranstaltungen zu bemerken ist, sondern ebenso innerhalb jeder (oder fast jeder) Veranstaltung, die eine bestimmte TeilnehmerInnenzahl von ca. 20 überschreitet, wie Kromrey (vgl. ibid.) expliziert.
Dieser Umstand wurde auch in meinen eigenen Lehrveranstaltungen mehrfach beobachtet, wenn von mir exakt der gleiche Unterrichtsstoff anhand identer Lehrmethoden in Parallelgruppen vermittelt, aber von diesen unterschiedlich aufgenommen bzw. evaluiert wurde. Das bestätigt die Annahme, dass es folglich nicht nur an der Art und Weise liegen kann, wie die jeweilige Lehrperson Inhalte vermittelt, sondern auch daran, wie die LernerInnen diese aufnehmen und verarbeiten. Dies wiederum verdeutlicht die unterschiedliche Auffassung der Studierenden über gutes Lehrverhalten und man sieht sich als Lehrperson mit der Tatsache konfrontiert, dass, wenn man verstärkt auf Vorschläge einer Interessensgruppe eingeht, bei dieser Pluspunkte sammelt, während man u.U. bei anderen mit derselben Methode für Unmut sorgt – eine Feststellung, auf die auch eine Lehrende1 in den im Rahmen dieser Arbeit durchgeführten qualitativen Interviews hinwies:
Weil da ist ein Mensch, schreibt das und will über Bolivien reden, aber das ist wirklich … so extrem individuell. Und das ist eben wo manchmal die Evaluierungen vom Ende vom Kurs … ist ein bisschen dieses … gleicher Punkt, komplett auseinander. […] Also komplett die Meinung. Ich hätte lieber mehr davon, ich hätte lieber mehr davon. Und der andere sagt, ich hätte lieber weniger davon. Und es ist schwer irgendwie … [LP007: 230–236]
Ein weiteres Problem ist im Bereich der Auswertung der Fragen zu finden. Kromrey (vgl. 1996) expliziert, dass bei vielen Evaluationen lediglich die Mittelwerte aus den Angaben aller Befragten betrachtet werden, was oftmals ein für die Lehrperson durchaus zufriedenstellendes Resultat liefern kann, jedoch im Endeffekt ein »statistisches Artefakt« (ibid.) darstellt. Konkret ist damit gemeint, dass, wenn die Lehrleistung einer Lehrperson in einer bestimmten Lehrveranstaltung beispielsweise als durchschnittlich bewertet wurde (also die Leistung der Lehrperson auf fast allen Items ungefähr mit »3« bewertet wird) und man in dieser Kursgruppe danach sucht, wie groß die Anzahl der Studierenden ist, die die betreffende Lehrveranstaltung mit »3« bewertet hat, dann zeigt sich, dass eine solche Gruppe in diesem Kurs vielfach nicht vorhanden ist. Vielmehr gibt es Studierende, die die Lehrleistung besser beurteilen, schlechter beurteilen, und andere, die teils positiv, teils negativ bewerten. Dadurch ergibt sich, wie Kromrey (1996) folgert, kein statistisch befriedigendes Ergebnis mit ausreichend homogenen Clustern, welches »hinreichend große Gleichartigkeit der Urteile innerhalb der jeweiligen Gruppen von Befragten bei zeitgleich möglichst deutlichen Unterschieden zwischen den Gruppen« erlaubt.
Für die unmittelbare Praxis des Fremdsprachenunterrichts im Rahmen von universitären Sprachenzentren sind für die meisten Lehrenden viele statistische Auswertungen meiner Erfahrung nach ohnehin eher sekundär. Zweifelsfrei kann man sich ein ungefähres Bild über die Qualität des Unterrichts machen, wenn z.B. 20 von 25 LernerInnen einen Kurs mit »sehr gut« bewerten, die Frage, die für mich als Lehrperson jedoch brennender scheint, ist, zu erfahren, warum die verbleibenden 20 % diesen Kurs z.B. mit »eher gut« oder vielleicht sogar »weniger gut« bis »nicht gut« bewertet haben. Dies kann aus den untersuchten Fragebögen nicht erfahren werden.
Ein weiterer Kritikpunkt, der zwar nur auf eines der untersuchten Fremdsprachenzentren zutrifft, aber dennoch Brisanz aufweist, ist die Tatsache, dass an einer Universität die Fremdsprachenkurse zum Untersuchungszeitpunkt ausschließlich mit dem universitätsweiten Evaluationsbogen evaluiert wurden. Dies ist auf die Tatsache zurückzuführen, dass die Fremdsprachenkurse dort fix in den Rahmen der Lehrveranstaltungen fielen und die Studierenden für diese nicht bezahlten, wie dies an den externen Sprachenzentren der Fall war. Die primäre Kritik an Globalfragebögen ist, dass diese per se üblicherweise, und allem Anschein nach auch im konkreten Fall, für einen Lehrveranstaltungstyp wie etwa eine Vorlesung oder Übung konzipiert wurden und in der Regel sehr allgemein gehalten sind, damit sie für möglichst viele Veranstaltungen verwendet werden können. Daher wird in derartigen Evaluationsfragebögen kaum auf die Besonderheiten des Sprachenunterrichts eingegangen, was eine wirkliche Optimierung desselben mit diesen Mitteln somit eher unwahrscheinlich macht.
Darüber hinaus wurde im besagten Fragebogen auch die fachlich-inhaltliche Qualität der Lehrveranstaltung erfragt, die die fachliche Kompetenz der Lehrenden beurteilen soll, was, wie bereits Marques et al. (vgl. 1979:848) konstatieren, nicht durch Studierende beurteilt werden kann, denn wenn sie dies könnten, besuchten sie, wie Rindermann (2009:71) folgert, »aufgrund der Redundanz die falsche Veranstaltung«.
Ähnlich verhält es sich mit Fragen, ob die Lehrperson nach Ansicht der Studierenden gut vorbereitet wirke bzw. die Lerninhalte sicher vortrage, wie dies im Fragebogen einer anderen Universität erfragt wurde. Aus der Perspektive der Lehrperson stellt sich nun die Frage, wie die Studierenden beurteilen wollen, wie intensiv man sich als Lehrperson auf die einzelnen Unterrichteinheiten vorbereitet bzw. was dies letztendlich über das tatsächliche Gelingen und über die Qualität der Veranstaltungen aussagt. Viele KollegInnen werden mir an dieser Stelle wahrscheinlich zustimmen, dass sie schon oft sehr genau und gut vorbereitet waren und eine bestimmte Einheit dennoch nicht oder weniger zufriedenstellend verlief, während man an anderen Tagen vom vorbereiteten Konzept vielleicht völlig abwich, spontan handelte, und der Unterricht sehr erfolgreich war. Erfahrene Lehrende werden zudem in vielen Fällen weniger Vorbereitungszeit benötigen als DebütantInnen. Dies bedeutet jedoch nicht, dass ihr Unterricht dadurch weniger Qualität aufweist. Des Weiteren generiert die besagte Frage keine wirklich brauchbare Information für die Optimierung des Unterrichts, sondern stiftet meiner Ansicht nach bei den Studierenden eher zu Spekulationen an und sorgt bei den Lehrenden nicht selten für Unmut.
Ein weiterer Punkt, der im Zusammenhang mit Evaluationsmodellen genannt werden muss, die nur am Ende des Kurses evaluieren, ist, wie im Kapitel zur Qualität noch im Detail erörtert wird, die Tatsache, dass man sich, bevor man irgendetwas (beispielsweise eine Lehrveranstaltung) hinsichtlich der Qualität beurteilen möchte, zu Beginn Beurteilungskriterien festlegen muss, nach denen man im Endeffekt evaluiert. Nur wenn unter allen Beteiligten ein gewisser Konsens herrscht, was für diese Gruppe unter Qualität, also unter gutem Unterricht zu verstehen ist, und man sich darauf einigt, in welche Richtung während des Kurses gesteuert werden soll, kann man am Ende beurteilen, ob und wie gut man dort angekommen ist. Um es frei nach Seneca (vgl. epist. 71:3) zu sagen: Kein Wind ist demjenigen günstig, der nicht weiß, welchen Hafen er anstrebt. Diese initiale Bestimmung der Ziele und Festlegung der Beurteilungskriterien stellt einen zentralen Standard qualitativ hochwertiger Evaluationen dar und wurde zum Untersuchungszeitpunkt von keinem der analysierten Evaluationsansätze berücksichtigt.
Auch hinsichtlich der Distribution bzw. Auswertung der Fragebögen ist bei einigen Instituten/Zentren leise Kritik gerechtfertigt, vor allem bei jenen, an welchen die Fragebögen von den Lehrenden in Papierform während einer Unterrichtseinheit (üblicherweise gegen Ende des Kurses/Semesters) an die LernerInnen ausgeteilt, danach eingesammelt und im Anschluss daran mühsam ausgewertet werden. Dies kann im 21. Jahrhundert aus zumindest drei Gründen nicht mehr gerechtfertigt sein: Erstens bedeutet die Auswertung für die Lehrenden einen erheblichen zeitlichen Zusatzaufwand, der in der Regel nicht extra vergütet wird und bei der vielfach schlechten Bezahlung der LektorInnen