5.5 Vorgesetzte, Arbeitgebende, Arbeitskollegen
Vorgesetzte, Arbeitgebende, Arbeitskollegen als entfernt «Betroffene»
Vorgesetzte und Arbeitgebende und noch eher Arbeitskolleginnen und -kollegen der Teilnehmenden sind meist nicht unmittelbar mit der zu evaluierenden Bildungsmaßnahme vertraut. Sie nehmen nicht oder nur oberflächlich von ihr Kenntnis, es sei denn, sie sind konzeptionell in das Bildungsprogramm einbezogen, aber in irgendeiner Art und Weise dennoch betroffen. Dabei sind die möglichen Konstellationen sehr unterschiedlich und müssen jeweils für das zu evaluierende Bildungsangebot genau analysiert werden.
Vorgesetzte und Arbeitgebende entsenden Mitarbeitende in Bildungsmaßnahmen oder stellen sie dafür auf Antrag frei. Grundsätzlich sind sie an Lernerfolg, verwertbarem Wissen und Können im Arbeitsalltag oder gar finanziellen Erträgen interessiert. Wie weit sie dies mit ihren Mitarbeitenden klären, gar schriftlich fixieren, wie weit sie Interesse an der Evaluation und ihren Ergebnissen haben, fällt sehr unterschiedlich aus. Oft sind die Evaluierenden gefordert, dieses Interesse und ein Commitment von Arbeitgebenden für die Evaluation zu wecken. Ansonsten droht die Gefahr, dass Evaluationsergebnisse nicht genutzt werden.
Arbeitskollegen von Teilnehmenden können vom erworbenen Know-how derer, die an der Bildungsmaßnahme teilgenommen haben, profitieren (oder sie geraten ins Hintertreffen, da ihnen die entsprechenden Kompetenzen fehlen).
Andere Mitarbeitende in der Institution, in der das Bildungsangebot stattfindet, können ebenfalls betroffen sein. Sind die Angebote erfolgreich, nutzt das der Institution und deren Mitarbeitenden. Schlechte Angebote können hingegen zu einem schlechten Ruf und in der Folge zu Wettbewerbsnachteilen führen.
5.6 Sonstige Akteure
Sonstige Akteure als potenziell «Betroffene»
Wird der Kreis ausgeweitet, kann man weitere Betroffene identifizieren.
Einerseits kommen Kooperationspartner oder Zuliefernde in den Blick. Bildungsmaßnahmen, z.B. im Rahmen von Arbeitsmarktförderung, finden in einem komplexen Geflecht von Trägern und Diensten statt. Neben den Anbietern (Schulen, Bildungseinrichtungen etc.) sind dies z.B. Sozialämter und Arbeitsverwaltungen, soziale Dienste, Rehabilitationseinrichtungen bis hin zu Wohn- und Betreuungseinrichtungen. Für die Evaluierenden stellt sich jeweils die Frage, wie sehr der Kreis von Beteiligten und Betroffenen bei der Identifizierung auszuweiten ist und wo man aufhören sollte. Auch «die Gesellschaft» kann ein Stakeholder sein, z.B. im Falle der lokalen Volkshochschule, die ihre Kursangebote evaluieren lässt. Hier sind die Interessen der lokalen Politik oder der Bevölkerung vor Ort unmittelbar tangiert, und Evaluationsergebnisse werden dann bedeutsam, wenn sie auch von diesen Gruppen wahrgenommen, akzeptiert und womöglich genutzt werden.
Ein anderer Fall ist ein Anbieter von Standardsoftware, zu der Schulungen stattfinden. Da die Qualität der Schulung von z.B. Office-Produkten mitentscheidet, wie gut die Software verstanden und schlussendlich auch verkauft wird, besteht hier ein nachhaltiges Interesse an guten und passenden Schulungsangeboten.
5.7 Evaluierende
Die zentralen Rollen der Evaluierenden
Evaluationen können nicht von irgendjemandem durchgeführt werden, sondern nur von Personen, die für diese Aufgabe besonders qualifiziert sind: den professionellen Evaluierenden (Russ-Eft, Bober, de la Teja, Foxon & Koszalka, 2008; Scriven, 1996, S.158). Nachfolgend werden deren Rollen und Eigenschaften näher beschrieben.
Evaluierende können sehr viele verschiedene Rollen übernehmen, was bedeutsame Auswirkungen auf die Ausrichtung der gesamten Evaluation hat.
Nach Wottawa (1991, S.154) können vier typische Rollen unterschieden werden:
❙ der «Faktensammler», der primär für das Bereitstellen von Ergebnissen verantwortlich ist;
❙ der «Gutachter», der auch Bewertungen vornimmt;
❙ der «Entwickler», der hilft, aus den gewonnenen Ergebnissen Neues zu gestalten;
❙ der «Moderator», der namentlich die Zielfindung unterstützend begleitet.
Evaluative Beratung
Evaluierende arbeiten häufig mit Gruppen zusammen, die sich aus einer oder mehreren der vorgenannten Akteurskategorien zusammensetzen. Für solche Begleit- oder Steuergruppen leisten sie die «evaluation facilitation», eine evaluativ qualifizierte Fach- und Prozessberatung. Die Gruppen werden dabei unterstützt, gemeinsam Klärungsprozesse durchzuführen, und dabei evaluative Denkweisen anzuwenden (vgl. Patton, 2018b, S. 7–16).
Interne und externe Evaluation
Darüber hinaus können Evaluierende eine interne oder externe Position einnehmen (interne bzw. externe Evaluation). Widmer spricht in diesem Zusammenhang von Organisationsinternen versus Organisationsexternen (2004, S.85). Interne Evaluation wird von Personen gesteuert, die Mitglieder der die Bildungsmaßnahme tragenden Organisation sind. Externe Evaluationen führen hingegen Evaluierende durch, die von außerhalb kommen, z.B. aus Evaluationsinstituten oder -büros (Berkemeyer, Müller & van Holt, 2016, S.212). Diese Positionierung der Evaluierenden zu der den Evaluationsgegenstand tragenden Organisation fordert ihnen ab, immer wieder Transparenz über ihre Aufgaben und Zuständigkeiten herzustellen (Stufflebeam, Madaus & Kellaghan, 2000 S.28; Widmer, 2004, S.85).
Inhouse-Evaluation als Unterform der internen Evaluation
Wird eine interne Evaluationsstelle des Bildungsanbieters, die nicht auch hauptverantwortlich für das zu evaluierende Bildungsangebot ist, mit der Evaluation des Angebotes der eigenen Institution beauftragt, handelt es sich um eine Inhouse-Evaluation, einer Unterform der internen Evaluation.
Merkmale interner Evaluation
Internen Evaluationen wird oft zugeschrieben, dass sie schneller seien und weniger Aufwand erforderten, da hier die Evaluierenden mit den organisatorischen und personellen Gegebenheiten besser vertraut seien und über gesicherte Sachkenntnis zum Evaluationsgegenstand verfügten. Sie arbeiteten ohnehin vor Ort und hätten einfachen Zugang auch zu vertraulichen Informationen (Kromrey, 2001, S.118). Damit verbunden ist die Erwartung sowohl einer kostengünstigeren Evaluationsdurchführung, einer größeren Akzeptanz von Ergebnissen als auch einer (potenziell) gesicherten Umsetzbarkeit von Schlussfolgerungen in die Praxis. Doch geraten sie eher in Rollenkonflikte, da sie täglich Umgang mit den Mitarbeitenden der evaluierten Programme haben (Volkov & Baron, 2011, S.107–108), und nicht selten werden die für eine professionelle interne Evaluation erforderlichen Ressourcen und Kompetenzen unterschätzt (Meyer, 2017). Wenn interne Evaluationen – wie in vielen Bundesländern im Schulbereich – als extern auferlegt und mit zusätzlichen Arbeitsbelastungen verbunden werden, kann dies ihren produktiver Beitrag zur Entwicklung von Bildungsangeboten deutlich schmälern (Rückmann, 2016a).
Merkmale externer Evaluation
Hingegen müssen sich extern Evaluierende erst in die das Bildungsprogramm tragende Organisation einfinden, sind aber wegen ihrer weniger stark voreingenommenen Perspektive eher vor Betriebsblindheit geschützt. Ihre Berichte gelten eventuell mehr als diejenigen der «Propheten im eigenen Land», bei denen auch Abhängigkeiten bestehen können (Stockmann, 2002a, S.225). Extern Evaluierenden wird größere Objektivität, manchmal auch größere Evaluationsexpertise zugeschrieben. Dabei können sie allerdings je nach Ferne zum Feld und der dort geforderten fachlichen Expertise grobe Kunstfehler übersehen,