Maßstäbe, die als Bewertungshintergrund und als Begründung für Wertsetzungen in einer Evaluation herangezogen werden können, sind u.a.:
• Richtwerte,
• Ziele,
• Zielgruppenerwartungen,
• Erwartungen von Interessenträgern („stakeholder“),
• in der Profession geltende und durch die Profession legitimierte Standards,
• Vergleiche zu vorherigen Verläufen / Ergebnissen (Zeitreihenvergleiche),
• definierte Mindestansprüche (Minimalanforderungen),
• maximal erreichbare Werte (Definition eines Optimums) (Stockmann / Meyer 2010, 78 f).
Systematisierte Informationsgewinnung
Zu 2:
Die für die Bewertung eines Sachverhalts erforderlichen Informationen werden nicht zufällig erhoben, sondern in systematischen, methodisch angeleiteten und transparenten Verfahren. So werden z. B. in einer Kindertageseinrichtung die einzelnen Erzieherinnen in einer Teamsitzung nicht nur nach dem Eindruck gefragt, ob sich nach ihrer Einschätzung durch das Sprachförderungsprogramm, das in den letzten sechs Wochen realisiert worden ist, in den einzelnen Gruppen „etwas verbessert“ habe, sondern zur „Evaluation“ wird eine solche Bewertung erst dann, wenn genauer definiert worden ist, welche Effekte man mit dem Sprachförderungsprogramm erzielen wollte, wenn darauf ausgerichtete Beobachtungsbögen erarbeitet worden sind, und wenn Verfahren verabredet worden sind, in welchen Situationen und durch wen die Beobachtungsbögen eingesetzt werden und wie die Auswertung der dokumentierten Beobachtungen vonstattengehen soll. Um von „Evaluation“ sprechen zu können, bedarf es somit der kriteriengeleiteten, im Hinblick auf ein Wissensziel strukturierten Auswahl von Informationen, die durch diese Kriterien zu „Daten“ werden. Die gewonnenen Daten sind nur dann tauglich, wenn sie in einer an wissenschaftlichen Mindeststandards orientierten Weise gewonnen wurden: nach bestimmten Verfahrensregeln, in einem transparenten, überprüfbaren Vorgehen und nach fachlich akzeptierten Gütekriterien (z. B. Validität, Verlässlichkeit etc.). Die Datensammlung muss mittels intersubjektiver und für den zu evaluierenden Sachverhalt aussagefähiger Kriterien und Messverfahren erfolgen. Dabei muss jedoch im Blick behalten werden, dass Messen eine Voraussetzung darstellt, Evaluation jedoch darüber hinausgeht: „Messen“ ist Deskription (auf der Grundlage vorgängiger Entscheidungen), Evaluieren als darauf gegründeter Bewertungsvorgang zielt darüber hinaus auf Lernprozesse im Praxisfeld (Abs et al. 2006, 106). Mit dieser methodischen Systematisierung sorgt Evaluation für eine Distanz zum unmittelbaren Handeln in der Praxis, die Voraussetzung ist für tragfähige Prozesse des Bewertens. Damit wird es möglich, eine „Randposition“ einnehmen zu können, die eine bessere Beobachtung der Praxis erlaubt.
Praktisches Erkenntnis- und Verwertungsinteresse
Zu 3:
Evaluation erfolgt immer im Hinblick auf bestimmte Verwendungszwecke. Es werden Daten erhoben, die als Planungs- und Entscheidungshilfen genutzt werden zur Überprüfung und Verbesserung des untersuchten Gegenstandsbereichs. Es sollen Handlungen, Maßnahmen, Handlungsprogramme, Verfahrensweisen überprüft und verbessert, Entscheidungsalternativen verdeutlicht, Folgen und Nebenfolgen von Handlungen genauer in den Blick genommen, Grundlagen für eine rationalere Entscheidungsfindung gefunden werden. Dies setzt voraus, dass die Akteure der Sozialen Arbeit, die eine Evaluation in ihrem Handlungsbereich initiieren, dafür Ziele definieren. Ohne genau festgelegte Ziele ist keine sinnvolle Evaluation möglich; erst über definierte Ziele erhält Evaluation eine Richtung. In dieser praxisbezogenen Ziel- und Zweckorientierung unterscheidet sich Evaluation einerseits von anderen, in der Sozialen Arbeit praktizierten Bewertungsmodalitäten wie z. B. Supervision, kollegiale Fallberatung, Problemgespräche, „runder Tisch“, und andererseits von „gewöhnlicher“ empirischer Forschung, bei der die praxisbezogene Verwendbarkeit der Forschungsergebnisse in der Regel nicht so deutlich im Mittelpunkt steht. Weil die Akteure der Sozialen Arbeit an pragmatischen Verfahren und an der Lösung praktischer Probleme interessiert sind, wird die Gültigkeit der Ergebnisse von Evaluationen häufig mit ihrer praktischen Bewährung gleichgesetzt – anders als in der wissenschaftlichen Evaluationsforschung, die stärker an „soweit wie möglich verallgemeinerbaren Aussagen interessiert“ ist (Lüders / Haubrich 2004, 326).
Weil Evaluation „mitten im Leben“ angesiedelt ist, somit die Gegenstände der Evaluation und die Konstellationen, die auf diese Gegenstände einwirken, so vielfältig und komplex sind, kann es kein allgemeingültiges Evaluationsdesign und keine speziell auf Evaluation ausgerichteten Methoden geben. Das Evaluationsdesign muss immer wieder neu auf den Gegenstand und auf die spezifische Situation abgestimmt werden. Dabei kann man zurückgreifen auf hilfreiche und erprobte Verfahrensregeln und auf Methoden und Instrumente, die aus der empirischen Sozialforschung transferiert werden können und auf die man sich beim „Erfinden“ eines adäquaten Evaluationsdesigns stützen kann. Doch „jede Erwartung, es könne einen allgemeinen und weitgehend verbindlichen methodologischen und / oder theoretischen Rahmen, eine Art Rezeptbuch für gute Evaluationen geben, ist eine Illusion“ (Kromrey 2000, 22).
Technologische und reflexive Nutzenerwartungen
Die mit dem Verwertungsinteresse einhergehende Nutzenerwartung kann in zwei unterschiedlichen Varianten auftreten:
• in einer technologischen Variante: Hier wünschen sich die Akteure empirische Hinweise, die möglichst kausale Bezüge deutlich machen (also: was genau dafür verantwortlich ist, dass etwas so und nicht anders funktioniert oder solche und keine anderen Ergebnisse mit sich bringt). Die Hinweise auf Kausalitäten sollen die Aspekte für eine Verbesserung genau identifizieren und die Wirksamkeit einer Maßnahme kalkulierbar verbessern. In dieser Erwartungsvariante ist das Ideal: ein hoher Grad der Festlegung von Entscheidungen durch Evaluation. Die Güte der Evaluation erweist sich an ihrer Prägekraft im Hinblick auf Entscheidungen.
• in einer reflexiven Variante: Dabei erhofft man sich von einer Evaluation empirische Hinweise, die auf Differenzen zwischen Ziel und erreichtem Zustand verweisen und die dementsprechend Anlass geben zu einer Suche nach Optimierungsmöglichkeiten – ohne eine Erwartung hinsichtlich genauer Handlungsanweisungen. Man verspricht sich von der Evaluation eine Reflexionshilfe in der Hoffnung, dass die Güte der Reflexion die Wahrscheinlichkeit einer guten Entscheidung erhöht.
Die skizzierten Erwartungsmuster markieren zwei Tendenzen, die im Alltag meist eher unausgesprochen, implizit wirksam sind und zwischen denen sich Akteure der Sozialen Arbeit bewegen, wenn sie die Mühen einer Evaluation auf sich nehmen wollen. Im Vorfeld einer Evaluation sollten sich die Beteiligten klar darüber werden, welchem dieser Erwartungsmuster sie zuneigen und ob mit dem Evaluationsdesign mitsamt den Evaluationsmethoden, die sie entwerfen, ihre Erwartung realistischerweise eingelöst werden kann.
Organisationaler Zusammenhang
Zu 4:
Soziale Arbeit als helfendes und / oder kontrollierendes Handeln bei sozialen Problemen ereignet sich immer in Organisationszusammenhängen. Anders als spontanes und lebensweltliches Helfen erfolgt Soziale Arbeit in organisierter Form: Grundlage ist ein gesellschaftlicher Auftrag, sie muss sich an darauf ausgerichteten Zielen orientieren und handelt in bestimmten methodischen Mustern. Soziale Arbeit wird durch mehr oder weniger komplizierte und politisch-administrativ festgelegte Finanzierungsformen am Leben erhalten, erfordert Kooperationen und erwartbare Handlungsketten von Akteuren. Sie ist also organisiertes Handeln sowohl im Hinblick auf Abläufe als auch im Hinblick auf die Einbindung in organisationale Strukturen. Vor diesem Hintergrund ist Evaluation nicht nur als ein methodisches Arrangement, sondern immer auch im Zusammenhang einer Organisation (oder auch mehrerer Organisationen) zu sehen. Organisationen sind auf systematische Informationen angewiesen: etwa über den Grad der Zielerreichung, über die Effektivität ihrer Handlungsprogramme, über das Verhältnis von Aufwand und Nutzen ihres Handelns, über den bei ihren Adressaten und / oder Interessenträgern wahrgenommenen Nutzen ihrer Aktivitäten etc. Ohne solche Informationen sind Entscheidungen zur innengerichteten Steuerung, differenzierte Beurteilungen zur Leistungsfähigkeit von Organisationsteilen etc. und glaubwürdige Aktivitäten zur außengerichteten