Tab. 2: Evaluationsstandards im Detail (vgl. Sanders 2006)
Um die im folgenden Abschnitt diskutierten Probleme bei den untersuchten Lehrveranstaltungsevaluationen beim Entwurf des in diesem Band vorgestellten Modells weitgehend zu vermeiden, werden sämtliche der hier genannten Standards bei dessen Konzeption berücksichtigt.
1.3 Optimierungspotential bei Evaluationsmodellen
Um nun wieder auf jene Aspekte zurückzukommen, die bei vielen Lehrveranstaltungsevaluationen optimiert werden können, werden, ausgehend von den Evaluationsstandards, in Folge einige zentrale Punkte angeführt, die vor allem mit den Nützlichkeitsstandards, Durchführbarkeitsstandards und Genauigkeitsstandards in Konflikt stehen. Die Korrektheitsstandards wurden in den analysierten Lehrveranstaltungsevaluationen meiner Ansicht nach nicht verletzt, da alle, soweit von außen nachvollziehbar, zum Zeitpunkt der Analyse rechtlich und ethisch korrekt durchgeführt wurden.
Als ein Hauptkriterium für das erfolgreiche Durchführen von Evaluationen wird im Handbuch der Evaluationsstandards unter den Nützlichkeitsstandards festgehalten, dass Evaluationen »informativ, zeitgerecht und wirksam« sein sollen (vgl. Sanders 2006:31). Dies ist eine zentrale Forderung, denn mit jeglicher Evaluation stehen gewisse Ziele in Verbindung. Werden Nützlichkeitsstandards nicht erfüllt, sind die Ergebnisse der Evaluation für bestimmte Absichten, wie etwa die Qualitätsoptimierung des Fremdsprachenunterrichts, kaum relevant und der Aufwand steht in keiner vertretbaren Relation zum Informationsgehalt.
Wenngleich der Informationsgehalt, den die untersuchten Evaluationsfragebögen generieren, den Lehrenden bei der Optimierung der Lehre in der einen oder anderen Form durchaus behilflich sein könnte, so ist bei den analysierten Modellen der Zeitpunkt sehr ungünstig, zu welchem die Lehrenden an die jeweiligen Informationen gelangen. Ausnahmslos alle analysierten Evaluationen wurden zum Untersuchungszeitpunkt in Form einer summativen Evaluation am Ende des Kurses/Semesters durchgeführt.
Summative Evaluationen werden im Gegensatz zu formativen Evaluationen nach der Durchführung eines Programms (z.B. Fremdsprachenkurs) oder einzelner Maßnahmen eingesetzt und sollen zusammenfassende Aussagen über deren Wirksamkeit tätigen (vgl. Gollwitzer/Jäger 2009:16). Das bedeutet, sie sollen in Erfahrung bringen, wie wirksam bestimmte Maßnahmen/Programme waren. Das Ziel formativer Evaluationen hingegen besteht darin, Maßnahmen zu optimieren bzw. Rahmenbedingungen zu schaffen, die die Wirksamkeit einer Maßnahme eher wahrscheinlich machen (vgl. ibid.). Bei formativen Evaluationen werden somit in regelmäßigen Intervallen Zwischenergebnisse erstellt, die das Ziel verfolgen, laufende Interventionen zu modifizieren oder zu verbessern (vgl. Bortz/Döring 2006:110).
Im konkreten Fall der Lehrveranstaltungsevaluationen bedeutet dies, dass die betreffenden Lehrpersonen mit den eingesetzten Methoden jene Informationen, die ihnen beim Optimieren des Unterrichts behilflich sein könnten, zu einem Zeitpunkt erhalten, zu welchem es ihnen nicht mehr möglich ist, auf diese Informationen einzugehen und eventuell notwendige Veränderungen durchzuführen, die potentielle Verbesserungen für den jeweiligen Kurs nach sich ziehen könnten, ein Suboptimum, welches u.a. auch von Stieger/Burger (vgl. 2010:163) in einer ähnlichen Analyse kritisiert wird. Wenngleich nicht negiert werden kann, dass einige Informationen durchaus auch für kommende Semester bzw. für die Optimierung der Lehre einzelner Lehrpersonen generell von Relevanz sein können, so ist die Unterrichtsoptimierung für die betreffende Gruppe, die an der Evaluation teilnahm, nicht mehr möglich und es stellt sich die Frage, ob durch diese Herangehensweise nicht das eigentliche Ziel verfehlt wird, welches man mit der Evaluation initial intendierte.
Ein weiterer Grund, warum Evaluationen nicht ihr volles Wirkungspotential ausschöpfen können, wenn sie ausschließlich am Ende des Kurses/Semesters durchgeführt werden, ist, dass die Lehrenden auch nicht mehr direkt zum Handeln angehalten werden, da sie ja im darauffolgenden Semester oftmals mit einer völlig neuen Gruppe konfrontiert sind und eventuell auch bei gleichen Unterrichtsmethoden unterschiedliche Evaluationsergebnisse erwarten können. Dadurch ist fraglich, wie sinnvoll die Lehrenden diese Art der Evaluation einstufen und wie ernst sie die Ergebnisse nehmen bzw. wie motiviert sie sind, Dinge zu verändern. Dies trifft natürlich umgekehrt auch auf die Studierenden zu. Mit welcher Ernsthaftigkeit werden sie die Fragebögen ausfüllen, wenn sich für sie keine unmittelbaren Verbesserungen mehr abzeichnen? Vielfach resultiert diese Methode daher rein in einer Bewertung, die wenige bis keine Konsequenzen in Form einer Optimierung nach sich zieht.
Ein dritter Grund, warum sich die Wirkung der analysierten Evaluationen in einigen Bereichen in Grenzen hält, ist vielfach der Aufbau der Fragebögen selbst, der zwar für eine statistische Auswertung hervorragend geeignet ist, jedoch genau jene Informationen nicht erhebt, die für die Lehrenden in Hinblick auf eine weitreichende Verbesserung der Lehre interessant und notwendig wären. Die in den Bögen gestellten Fragen analysieren vielfach einen von den Studierenden empfundenen Zustand, regen die LernerInnen jedoch nicht dazu an, sich an der Verbesserung aktiv zu beteiligen bzw. konkrete Informationen Preis zu geben oder hilfreiche Vorschläge zu unterbreiten, die zu einer Optimierung führen würden, wie dies auch in den ESG explizit vorgeschlagen wird.
Ein Beispiel stellt etwa folgende Frage aus einem der untersuchten Fragebögen dar: Hat der/die Lehrende die Lern- und Prüfungsziele klar dargelegt? Abgesehen von der Tatsache, dass das Explizieren der Lern- und Prüfungsziele, wenn überhaupt dezidiert, dann zu Beginn des Semesters erfolgt, kann bezweifelt werden, dass sich alle LernerInnen mehrere Monate danach noch im Detail daran erinnern können, was genau die Lehrperson wie mitteilte. Des Weiteren waren u.U. in der Lehrveranstaltungseinheit, in welcher die Lern- und Prüfungsziele expliziert wurden, nicht alle LernerInnen anwesend und werden nun dennoch zu einer Antwort gezwungen, da alle Fragen zu beantworten sind, damit die Evaluation gültig ist. Darüber hinaus gibt diese geschlossene Frage lediglich Auskunft darüber, wie einzelne LernerInnen diesen Sachverhalt in der jeweiligen Gruppe empfanden, wie die Analyse der Fragebögen zeigt. Während es für manche auf der Likert-Skala nicht klar war, war es für andere LernerInnen sehr klar. Sie offeriert der Lehrperson jedoch keine Anhaltspunkte darüber, wo genau die Probleme lagen, wenn diese Frage etwa mit nicht klar beantwortet wurde. Auch bietet der Fragebogen den Studierenden keine Möglichkeit, Vorschläge zu unterbreiten, die für sie eine Verbesserung der Situation bewirken würden. Das bedeutet, die Lehrperson weiß zwar Bescheid darüber, dass für einige LernerInnen in diesem Bereich ein Problem war bzw. dass einige dies rückwirkend so empfanden, sie kann jedoch aufgrund fehlender Information, wo genau das Problem lag und wie dies für die LernerInnen gelöst werden könnte, verhältnismäßig wenig verändern. Diese Tatsache bewahrheitet sich bei sämtlichen Fragen in allen untersuchten Fragebögen.
Man könnte dies nun mit der Sektion der offenen Fragen