1 Evaluation – was ist das?
Notwendigkeit klarer Begriffsverwendung
In der Einleitung wurde bereits angedeutet, dass der Begriff „Evaluation“ mit seiner zunehmenden Verbreitung Gefahr läuft, zu einer unspezifischen Formel zu verkommen, die man immer dann ins Spiel bringt, wenn ein Sachverhalt „irgendwie“ bewertet werden soll. Auf diese Weise wird aus Evaluation schnell so etwas wie Modeschmuck: Man trägt ihn, weil er aktuell gern gesehen wird – und man legt ihn wieder ab, wenn etwas anderes zur Mode wird. Bisweilen werden bereits ein einfacher Sach- oder ein Jahresbericht oder schlichte statistische Angaben über Besucher bzw. Nutzer von Angeboten als „Evaluation“ bezeichnet.
„In der pädagogischen Praxis fungiert Evaluation derzeit als Ausweis professioneller Fortschrittlichkeit, sodass nahezu alles, was früher als Teamsitzung, Nachbereitung, Reflexion oder Auswertung bezeichnet wurde, nun als Evaluation auftritt.“ (Lüders / Haubrich 2003, 306)
Die unklare Begriffsverwendung führt z. B. zu dem erstaunlichen Ergebnis, dass bei einer Befragung mehr als zwei Drittel der Jugendämter angaben, dass in ihrem regionalen Zuständigkeitsbereich evaluiert werde. Da nicht genauer nach Modalitäten der vermeintlichen Evaluation gefragt wurde, vermuten auch die Autoren der Studie, dass bei näherem Hinsehen „Evaluationsverfahren“ praktiziert wurden, „die zum Teil auch nur bedingt den Namen verdienen“ (Pluto et al. 2007, 382). Die Beliebtheit des Begriffs und seine inflationäre Verwendung ziehen die Notwendigkeit nach sich, sich erst einmal darüber zu verständigen, was „Evaluation“ bedeutet. Daher werden in Kapitel 1.1 zunächst einige zentrale Definitionselemente benannt, die Evaluation von anderen Bewertungsmodalitäten unterscheiden. Da in diesem Buch von Evaluation in der Sozialen Arbeit die Rede ist, also der praxisorientierte Kontext von Evaluation im Mittelpunkt steht, bedarf es zur Vermeidung von Missverständnissen einiger kurzer Anmerkungen zum Verhältnis von Evaluation und Evaluationsforschung einerseits und Evaluation und methodischem Handeln andererseits (Kap. 1.2). Einen weiteren Schwerpunkt bilden Ausführungen zu möglichen Gegenständen von Evaluation in der Sozialen Arbeit (Kap. 1.3).
1.1 Definitionselemente von „Evaluation“
Systematisierte Bewertung
Evaluation als eine (teil-)professionelle Praxis beginnt dort, wo ein Bewertungsvorgang methodisch systematisiert wird mit dem Ziel, ein verbessertes Handlungswissen für die Praxis bzw. für Entscheidungen in der Praxis zu gewinnen. Eine solche, mit professionellem Impetus vollzogene Evaluation setzt sich ab von einem alltäglichen Bewerten, auch wenn dieses auf der Grundlage eines bewussten, an Kriterien ausgerichteten Abwägens oder Prüfens stattfindet. Das Bewerten eines Films nach technischen oder künstlerischen Kriterien oder das mehrmalige Abschmecken einer Suppe während eines Kochvorgangs sollte man sinnvollerweise nicht als „Evaluation“ etikettieren. Denn ansonsten ließen sich vielfältige und unermesslich zahlreiche Geschichten unter dem Titel „Mein evaluativer Alltag“ schreiben. Wenn demgegenüber der Evaluationsbegriff mit einem systematisierten Vorgehen und einem professionellen Impuls in Verbindung gebracht wird, so kann man mit Lüders / Haubrich (2004, 324 ff) unterscheiden zwischen
• Evaluation als Bestandteil beruflichen Handelns und
• Evaluation als Teil des Wissenschaftssystems (Evaluationsforschung).
In der beruflichen Praxis und für die strukturierte Weiterentwicklung professionellen Handelns steht eine Vielzahl von Konzepten und Strategien zur methodischen Bewertung von Maßnahmen, Konzepten, Organisationen etc. zur Verfügung, die unmittelbar an Entscheidungen und Handlungsmuster der professionellen Akteure angekoppelt sind, also unmittelbar pragmatische Zwecke verfolgen. Evaluationsforschung hingegen markiert denjenigen Teilbereich von Evaluation, der sozialwissenschaftliche Forschungsverfahren als Mittel der Erkenntnisgewinnung einsetzt und sich dabei stringent an Standards der empirischen Sozialforschung orientiert (Lüders / Haubrich 2003, 309). Mit der Ankoppelung von Evaluation an eine „professionelle Praxis“ ist zweierlei gemeint: die Bindung von Evaluation an Zwecke, die in einem professionellen Kontext verfolgt werden, und die – zumindest in Ansätzen – professionelle Methodik, mit der Evaluationsverfahren realisiert werden.
Charakteristika zu „Evaluation“
Somit lassen sich zunächst drei allgemeine Charakteristika von Evaluation festhalten (Lüders / Haubrich 2004, 318 ff):
1) Evaluation ist eine Form des Bewertens, und dies setzt voraus, dass dafür Kriterien oder Maßstäbe herausgearbeitet werden.
2) Die Bewertung erfolgt auf der Basis einer systematisierten Informationsgewinnung.
3) Die systematisierte Informationsgewinnung dient einem spezifischen praktischen Erkenntnis- und Verwertungsinteresse. Es gilt das „Primat der Praxis vor der Wissenschaft“ (Kromrey 2000, 22).
Mit diesen drei Charakteristika gehen zwei weitere Elemente von Evaluation einher:
4) Evaluation ist in der Regel eingebettet in einen organisationalen Zusammenhang; sie erfolgt in einer Organisation oder in Verbindung zu mehreren Organisationen.
5) Evaluation ist mit Qualitätsentwicklung verbunden; sie zielt auf das Erzeugen von Wissen, um professionelles Handeln und daraus folgende Ergebnisse zu verbessern.
Im Folgenden sollen diese fünf Merkmale von Evaluation näher erläutert werden.
Bewertungsmaßstäbe
Zu 1:
Die praktische Zweckorientierung von Evaluation schließt immer einen Bewertungsvorgang ein. Das durch Evaluation erzeugte Wissen dient der Bewertung des zu evaluierenden Sachverhalts, und auch der Evaluationsvorgang selbst impliziert eine Fülle von Bewertungen: von der Auswahl des Gegenstandes über die Festlegung der Evaluationsziele, die Erarbeitung und Auswahl der genauen Fragestellung, die Art der Datensammlung und die Form der Datenauswertung bis hin zur Diskussion der Ergebnisse und Schlussfolgerungen. Um Evaluationsergebnisse praxisorientiert verwerten zu können, bedarf es der Festlegung von Kriterien oder Maßstäben, die für die bewertende Erörterung der Evaluationsergebnisse zugrunde gelegt werden. Der Zusammenhang, in dem die Evaluation und deren Ergebnisse verwertet werden, macht Evaluation immer zu einem „politischen“ Vorgang: ein Prozess, in dem Wertmaßstäbe zur Geltung gebracht werden, in dem Interessen und darauf bezogene Hoffnungen und Befürchtungen aktualisiert werden und in dem daher mit strategischen Kalkülen verschiedener Interessenträger gerechnet werden muss. Evaluation löst deswegen in der Regel eine soziale Dynamik aus, weil Interessen von Beteiligten angesprochen werden, Handlungsmöglichkeiten von Einzelnen oder Gruppen möglicherweise in Frage stehen (eingeschränkt oder ausgeweitet werden können), Gewinne oder Verluste von materiellen und nichtmateriellen Ressourcen (finanzielle Förderung, Ausstattungen mit Arbeitsmaterial, Ansehen, Geltung etc.) drohen. Daher ist Evaluation nicht nur als ein sachlicher Vorgang, sondern auch als ein Prozess mit einem hohen sozial dynamisierenden Potenzial zu betrachten, was auch bei der Gestaltung des Rahmens für Evaluationen zu berücksichtigen ist (vgl. Kap. 6). Aus dem für Evaluation konstitutiven Wertbezug ist die Notwendigkeit zu schlussfolgern, dass die an einem Evaluationsprozess Beteiligten ihre Positionen offenlegen und einen