Lernskript Prüfungsfragen PDF

Fragen zur Evaluation (mündliche Prüfung) 1. Nennen und erläutern Sie kurz die fünf Charakteristika von Evaluation. Charakteristika o 1. Evaluation ist eine Form des Bewertens anhand von dafür ausgearbeiteten Kriterien und Maßstäben o 2. Bewertung anhand systematisierte...

Fragen zur Evaluation (mündliche Prüfung) 1. Nennen und erläutern Sie kurz die fünf Charakteristika von Evaluation. Charakteristika o 1. Evaluation ist eine Form des Bewertens anhand von dafür ausgearbeiteten Kriterien und Maßstäben o 2. Bewertung anhand systematisierter Informationsgewinnung o 3. Informationen werden für ein praktisches Erkenntnis- und Verwertungsinteresse gewonnen. o 4. Evaluation ist eingebettet in eine Organisation o 5. Evaluation ist mit Qualitätsentwicklung verbunden Evaluation ist eine Form des Bewertens anhand von dafür ausgearbeiteten Kriterien und Maßstäben Bewertung findet während der gesamten Evaluation statt. Dies beginnt mit der Auswahl der Fragestellung, Bewertung des Sachverhalts, Art der Datensammlung, Diskussion über Schlussfolgerungen Daher braucht es Kriterien und Maßstäbe für die Bewertung Evaluation ist politisch und löst soziale Dynamik aus. Interessen, Befürchtungen und Hoffnungen treffen aufeinander. Handlungsmöglichkeiten einzelner stehen womöglich in Frage, Gewinne/Verluste von Ressourcen drohen. Die sozialen Dynamiken müssen bei der Gestaltung der Evaluation mit berücksichtigt werden. o Evaluation ist daher immer Aushandlung + Diskussion o Werte und Positionen der Beteiligten werden in der Evaluation offen gelegt bzw. in dem Prozess Maßstäbe die als Begründung für Wertsetzungen in einer Evaluation verwendet werden sind: o Richtwerte o Ziele o Zielgruppenerwartungen o Erwartungen von Stakeholdern o Standards der Profession o Vergleiche zu vorherigen Ergebnissen o Minimalanforderungen o Maximalwerte Bewertung anhand systematisierter Informationsgewinnung Infos werden in systematischen, methodengeleiteten Verfahren gewonnen Evaluation bedeutet: an Kriterien orientierte und strukturierte Auswahl von Informationen mit einem Wissensziel, die durch diese Kriterien zu Daten werden. Die Daten sind nur tauglich wenn wissenschaftliche Standards und Gütekriterien wie z.B. Verlässlichkeit und Validität eingehalten wurden. Es müssen Mindeststandards und Verfahrensregeln eingehalten werden. o Datensammlung nach Messverfahren  o Aber nicht nur messen und damit nur beschreiben, sondern auch Lernprozesse im Praxisfeld ableiten können. o Evaluation sorgt für eine Distanz zum unmittelbaren Handeln. o Nur durch Distanz ist Bewerten möglich. Durch Randposition besser beobachten können. Informationen werden für ein praktisches Erkenntnis- und Verwertungsinteresse gewonnen. Vewendungszwecke: Erhebung Daten, um untersuchten Gegenstandsbereich/Handlungsprogramme zu überprüfen oder zu verbessern Daher müssen Ziele definiert werden. Evaluation erhält dadurch eine Richtung. Ohne Ziele keine Evaluation Evaluation in Sozialer Arbeit ist immer an pragmatischen Verfahren und Praxisnähe interessiert Evaluation findet mitten im Leben statt. Daher kein allgemeingültiges Design. Evaluationsdesign wird immer neu an die Situation, Frage und Gegenstand angepasst. Dafür dienen Methoden und Instrumente aus der Sozialforschung. 2 Nutzenerwartungen o Technologische Variante: Empirische Hinweise für kausale Zusammenhänge (A funktioniert nicht weil B). Wirksamkeit einer Maßnahme soll gemessen werden. Situation soll kalkulierbar werden. Entscheidungen auf Grundlage von Evaluation. o Reflexive Variante: Suche nach Optimierungsmöglichkeiten durch Differenzen zwischen Ziel und aktueller Situation. Konkrete Handlungsanweisungen werden nicht gesucht. Gute Reflexion soll die Wahrscheinlichkeit einer guten Entscheidung erhöhen. Vor Evaluation sollte eine Auseinandersetzung mit diesen Erwartungen stattfinden und ob die Evaluation diese erfüllen kann. Evaluation ist eingebettet in eine Organisation o Soziale Arbeit immer in Organisation eingebettet. Helfen in organisierter Form. Grundlage gesellschaftl. Auftrag. Muss sich an Zielen orientieren, erfordert Kooperation mit Akteuren. Evaluation ist daher immer im Zusammenhang mit der Organisation zu sehen. o Organisationen benötigen systematische Informationsgewinnung. ▪ Effektivität der Handlungsprogramme ▪ Verhältnis Aufwand/Nutzen ▪ Grad der Zielerreichung ▪ Perspektive der Klient*innen hinsichtlich Nutzen  o Infos sind wichtig für Legitimierung nach außen (z.B. Fördermittelgeber) aber auch nach innen für die nach innengerichtete Steuerung o Evaluation nimmt zu in Sozialer Arbeit wegen Legitimierungs- und Wirtschaftlichkeitsdruck Evaluation ist mit Qualitätsentwicklung verbunden o Evaluation untrennbar mit Qualitätssicherung und Qualitätsentwicklung verbunden. o Ziel Evaluation Infos zur Bewertung der Qualität der Arbeit und Hinweise für Verbesserungen von Strukturen, Programmen, Abläufen zu erhalten. o Nicht immer explizit Qualität das Thema der Evaluation. Qualität wird aber immer implizit mit bearbeitet. Bezug zum Thema Güte der Arbeit ist immer da. o Qualitätsmanagement ist immer auf Evaluation angewiesen. o Infos werden bspw. benötigt ob die Verfahrensstandardisierungen des QM angewendet werden, mit welchen Schwierigkeiten die Anwendung verbunden ist, wann sie nicht angewendet werden o Evaluation Voraussetzung für QM  2. Erläutern Sie anhand eines selbstgewählten Beispiels den Unterschied zwischen Selbstevaluation, interner und externer Evaluation. Was spricht jeweils für, was gegen diese methodischen Arrangements? Beispiel: In einem Verein, der mehrere psychosoziale Zentren für Geflüchtete betreibt, soll die Wirksamkeit der Stabilisierung der psychisch belasteten Klient*innen im Rahmen der offenen Sprechstunden evaluiert werden. Das Ziel ist es herauszufinden, ob in diesem Format bei dem ein Wechsel der Behandler*innen gegeben ist, die Stabilisierungstechniken greifen. Im Rahmen einer Selbstevaluation würden die Mitarbeitenden gemeinsam mit der Leitung die Evaluation selbst vorbereiten, durchführen und auswerten. Im Rahmen der Selbstevaluation ist die Bearbeitung praxisrelevanter Themen zu erwarten. Außerdem stellt es ein günstiges Kosten- Nutzen-Verhältnis dar. Es ist mit einer hohen Akzeptanz der Ergebnisse im Team zu rechnen. Allerdings ist eine Betriebsblindheit und damit verbunden das Ausbleiben eines kritischen Blicks, kritischer Fragen und Auswertung der Ergebnisse möglich. Sollte dieses Evaluationsvorhaben von einer internen Fremdevaluatorin untersucht werden, dann würde es sich hierbei um ein Organisationsmitglied handeln, dass nicht als Berater*in/Behandler*in in den offenen Sprechstunden tätig ist. Es wäre eine somit vom Handlungsalltag unabhängige Person aus der Organisation (z.B. Stabsstelle Kommunikation, Beirats- oder Vorstandsmitlied/er). Diese bringt Organisationswissen, wie bspw. alltägliche Herausforderungen und Stärken des Vereins mit, kann aber eine relative Distanz wahren. Diese Distanz in Verbindung mit den internen Kenntnissen kann bei der Konzeption des Evaluationsprojekts sowie bei der Erhebung, Auswertung und Formulierung von Schlussfolgerungen, praxisnahe und relevante Ergebnisse erzeugen. Dennoch könne Ergebnisse auch verzerrt werden, da die interne Evaluatorin aufgrund der Praxisnähe aus kollegialer Rücksichtnahme nur begrenzt zu kritischen Interpretationen bereit ist. Die kritische Interpretation der Ergebnisse ist wiederum eine der Stärken der externen Evaluation. Hierbei handelt es sich um ein Evaluationsarrangement bei dem die Evaluatorin kein Organisationsmitglied ist. Im geschilderten Fallbeispiel könnten dies bspw. Forscher*innen aus der Psychologie und Sozialwissenschaft sein. Neben der Distanz bringen diese Evaluator*innen eine hohe Methodenkompetenz mit. Der unabhängige Blick sorgt zudem für eine hohe Glaubwürdigkeit die wichtig sein kann, wenn es um die Legitimierung der Arbeit gegenüber dem Fördermittelgeber geht. Die Distanz kann allerdings auch als Nachteil betrachtet werden, da mangelnde Kenntnisse vom untersuchten Gegenstand (der Stabilisierungstechniken in der psychosozialen offenen Sprechstunde) bestehen können, die zu mangelnder Akzeptanz bei den Fachkräften und Praxisrelevanz hinsichtlich der Schlussfolgerungen führen können. Selbstevaluation: zählt zur internen Evaluation. Evaluator innerhalb der Organisation. Evaluatoren, die im Projekt bzw. im zu evaluierenden Gegenstand handelnden Personen. Selbstperspektivisch. Wird parallel von Mitarbeitenden zu ihrer Arbeit durchgeführt. Vorteile:  o Forscher in eigener Sache. Es werden keine Objekte, sondern Subjekte untersucht o Bearbeitung praxisrelevanter Fragen mit unmittelbaren Nutzen für die Praktiker*innen o Förderung von Selbstreflexion und konzeptioneller Kompetenz bei den beteiligten Fachkräften o Günstiges Kosten-Nutzen-Verhältnis, geringe Zusatzkosten o Zeitnahe Rückmeldung unterstützt produktiv als Prozessbegleitung o Höhere Akzeptanz bei den Fachkräften Nachteile: o Geringe Distanz zum untersuchten Gegenstand. Daher eingeschränkte Erkenntnismöglichkeiten, da nicht neutral wie externe Evaluation o Begrenzung auf Wissens- und Erfahrungshorizont der Praxisakteure o Gefahr des Ausblendens kritischer Fragen o Betriebsblindheit o Relativ geringe Außenwirkung o Überforderung durch mangelnde methodische Kompetenz in Evaluationsfragen möglich o Dominanz der Mitarbeitendenperspektive. Adressat*innen und andere Interessenträger Perspektiven nachrangig Interne Fremdevaluation: Evaluator innerhalb der Organisation. Evaluator nicht am Projekt bzw. am zu evaluierenden Gegenstand beteiligt. Fremdperspektivisch. Kann z.B. von Stabsstelle in der Organisation (Qualitätsbeauftragte), von Leitungsebene, interne Fachberater*innen ausgehen. Person aus der Organisation, die evaluiert, aber in den Handlungsalltag nicht/kaum integriert ist. Können als Unterstützer*innen oder als Kontrolleur*innen wahrgenommen werden. Vorteile: Relativ hohe Sachkenntnis vom Arbeitsfeld und von der Organisationsdynamik Relative Distanz zu den internen Handlungs- und Interpretationsmustern der Praxisakteure Möglichkeit anschlussfähige Interpretation der Ergebnisse herzustellen und daraus passende Handlungsempfehlungen abzuleiten (aufgrund Kenntnis interne Strukturen) Produktive Ergebniskommunikation aufgrund des internen Wissens Verbesserte Möglichkeiten Evaluationskompetenz in der Organisation auszubilden Nachteile: Begrenzung der Bereitschaft zu kritischer Interpretation aufgrund „kollegialer Rücksichtnahme“ Eingeschränkte Unabhängigkeit aufgrund der Einbindung in die interne Organisationsdynamik Eingeschränkte Unabhängigkeit durch die Auftragsmodalitäten (von Mitarbeitenden oder Leitung) Externe Evaluation: Evaluation außerhalb der Organisation. Fremdevaluation. Vorteile: Soziale Unabhängigkeit: unbelastet von der internen Dynamik einer Organisation. Fachliche Unabhängigkeit: kritischer Blick möglich, da nicht in Handlungsalltag und in das Team eingebunden. Glaubwürdigkeit nach außen aufgrund der Unabhängigkeit Gute methodische Evaluationskompetenz, dadurch Untersuchung komplexer Fragestellungen möglich Nachteile: Mangelende Akzeptanz der Ergebnisse und Handlungsempfehlungen aufgrund geringer Kenntnis des Handlungsfelds/der Organisation Hindernisse bei der Formulierung von Schlussfolgerungen Hindernisse bei der praktischen Umsetzung der Ergebnisse Zusätzlich Kosten Dauert u.U. länger Ergebnisse zu erhalten Einschränkung in der Unabhängigkeit durch die Auftragsvergabe durch Leitung oder externe Interessenträger  3. Benennen und erläutern Sie kurz die fünf Gegenstände der Evaluation. o Politikevaluation: Untersuchung von Auswirkungen pol. Handelns, Auswirkungen von Hart IV-Gesetzen etc. o Programmevaluation: Maßnahmen, Handlungsprogramme von Organisationen, die ein spezielles Ziel erreichen wollen. Z.B. Evaluation einer Seminarreihe eines Trägers/ Personalentwicklung/ Hilfeplanung eines Jugendamts. Programme unterschiedl. Größe und Komplexität von mit kleinen Veränderungen in der Einrichtung (neues Therapiematerial), mittlere Veränderung (Umstellung neues Kiwo-Verfahren) bis hin zu infrastrukturellen Veränderungen o Personalevaluation: Personen mit ihren Einstellungen, Kompetenzen und Handlungsweise, z.B. Einstellung der Mitarbeitenden gegenüber Geflüchteten im ASD o Organisationsevaluation: Daten zur Bewertung einer gesamten Organisation hinsichtlich Strukturen, Prozessen und Ergebnissen. Z.B. ein Jugendzentrum, Beratungsstelle. Wichtig konkrete Zielsetzung und Beschränkung auf zentrale Kriterien o Produktevaluation: nur marginaler Stellenwert, da vorrangig personenbezogene soziale Dienstleistung in sozialer Arbeit. Aber in Werkstätten für Menschen mit Behinderung werden Produkte erzeugt oder man könnte Spielzeuge in Kita evaluieren. => Schwerpunkt in Sozialer Arbeit sind Programmevaluationen => Politikevaluation eher im Rahmen von Forschungsprojekten. => Organisationevaluation eher im Kontext von Organisationsentwicklung => Personalevaluation eher selten, Zurückhaltung Personen zu evaluieren 4. Bei einer Programmevaluation lassen sich verschiedene Aspekte differenzieren, die in unterschiedlicher Intensität bei einer solchen Evaluation zum Tragen kommen können. Welche sind es und was ist damit jeweils gemeint? Bedarfsbewertung: Hier sollen Fragen beantwortet werden hinsichtlich der Art der Probleme, auf die ein Programm einwirken soll – ob und welche Zielgruppe einen Bedarf hat, ob und wie weit Interventionen benötigt werden. Bewertung der Programmtheorie: Die Evaluation soll Antworten auf die Frage ermöglichen, ob die Interventionen auf angemessenen theoretischen Annahmen gründen, ob die Ziele des Programms adäquat verfasst worden sind (z. B. überhaupt evaluierbar formuliert worden sind) und ob die Ziele in einer angemessenen Verbindung zu den Interventionen stehen. Bewertung des Programmprozesses: Hier geht es um die Untersuchung und Bewertung der tatsächlichen operativen Prozesse – ob und wie weit die Durchführung mit dem geplanten Programm übereinstimmt, ob und welche Beeinträchtigungen durch externe Einmischungen oder durch interne Unstimmigkeiten stattgefunden haben, ob die Kooperationsbereitschaft der Akteure ausreichend war etc. Wirkungsmessung / Ergebnisevaluation: Die Evaluation legt offen, ob und in welchem Ausmaß die mit dem Programm erwünschten Ergebnisse erreicht wurden. Möglicherweise können durch die Evaluation auch Anhaltspunkte markiert werden, die eine Erörterung der Gründe für die Ergebnisausprägung anregen (z. B. im Hinblick auf die für die Soziale Arbeit erforderliche Bereitschaft zur „Koproduktion“ auf Seiten der Adressaten). Bei der Ergebnisevaluation sollte es nicht nur um die Erhebung von Daten zur beabsichtigten Wirkung gehen, sondern es sollten auch mögliche, nicht beabsichtigte Nebenwirkungen in den Blick genommen werden. Bewertung der Programmeffizienz: Dieser Evaluationsaspekt richtet sich auf das Verhältnis von Aufwand und Nutzen des Programms oder einzelner Phasen der Programmgestaltung. Dabei bedarf es der Wahrnehmung und der Abwägung zwischen verschiedenen Auffassungen beteiligter Akteure zu dem, was als „Aufwand“ im Rahmen eines Programms gelten soll und an welchen Parametern „Nutzen“ zu messen ist.  5. Nennen Sie vier zentralen Funktionen von Evaluation und erläutern Sie diese kurz. Erkenntnisgewinn für Steuerungsentscheidungen: Evaluation soll Daten liefern, die Entscheidungen ermöglichen, mit denen Strukturen und Prozesse zielgerichteter gestaltet werden können. Kontrolle: Erkenntnisse aus Evaluationen werden nicht nur zur Planung und zur Entscheidungsfindung eingesetzt, sondern auch zur Kontrolle. Kontrollevaluationen können sich auf den Grad der Zielerreichung, auf das Aufwand-Nutzen-Verhältnis, auf die Aufgabenerfüllung der an einem Programm Beteiligten, auf die Kompetenz der Akteure etc. richten. In der Evaluation ist immer auch ein Kontrollaspekt vorhanden, auch dann, wenn die Akteure bemüht sind, durch breite Mitarbeiterpartizipation, durch demonstrative Hervorhebung der sachbezogenen Ausrichtung o. ä. diesen Kontrollaspekt in den Hintergrund zu drängen. Ganz ausschalten lässt sich der Kontrollaspekt bei Evaluationen nicht. Förderung von Entwicklungen: Die entwicklungsfördernde, tendenziell innovative Funktion resultiert daraus, dass Evaluation Transparenz erweitert und dadurch Dialogmöglichkeiten zwischen verschiedenen Beteiligten und Interessenträgern eröffnet. Evaluation wird eingesetzt, wenn Akteure sich für Lernvorgänge öffnen wollen, ist also Bestandteil von Lernprozessen. Gleichzeitig evoziert sie selbige, weil Evaluation Prozesse der Reflexion und des Bewertens beinhaltet, die im logischen Verlauf die Erörterung von Konsequenzen nach sich ziehen bzw. mit solchen Erörterungen verbunden sind. Legitimation durchgeführter Maßnahmen: Mithilfe von Evaluation lassen sich Ergebnisse und Wirkungen von Programmen darstellen, wodurch ein Programm mit seinem Ressourceneinsatz und seinen Resultaten nach außen präsentiert werden kann – Heiner (2001b, 42) spricht hier von einer „demonstrativen Funktion“ – und Perspektiven der weiteren Realisierung begründet werden können. 6. Weshalb behauptet Jochen Merchel, Evaluation sei ein zentrales Element zur Herausbildung professionellen Handelns? Ohne Evaluation bleibt das Handeln in professioneller Hinsicht lückenhaft, es zeigt Einbußen an Professionalität. Evaluation ist Teil methodischen Handelns Professionelles Handeln ist methodisch angeleitetes Handeln; dazu zählt die systematische Überprüfung der dem Handeln zugrunde liegenden Annahmen, der einzelnen Handlungsschritte und der mit den praktizierten Verfahren und Handlungsschritten hervorgerufenen Effekte und Nebenfolgen. Mindestvoraussetzungen für professionelles Handeln o zielorientierte Handlungsstrategien, die während und nach der Umsetzung auf ihre Angemessenheit und die erzielten Ergebnisse überprüft und gegebenenfalls in Hinblick auf bessere Zielerreichung optimiert werden. o geplant und methodisch systematisiert Schritte, nicht „zufällig und gefühlt aus dem Bauch heraus“. o Insofern bildet Evaluation ein zentrales Element und bedeutsames Instrumentenbündel zur Herausbildung professionellen Handelns in der Sozialen Arbeit o Evaluation ist kein Synonym für unterschiedliche Prüfungs- und Bewertungsvorgänge, sondern ein eigener, abgegrenzter methodischer Arbeitsschritt. ▪ Dazu passt die Definition der Evaluation nach Böttcher/Lüders.. ▪ Evaluation kann man als ein organisational verankertes, systematisiertes, transparentes Vorgehen der Datensammlung zu einem bestimmten Sachverhalt/Gegenstandsbereich mittels intersubjektiver und gültiger Erhebungsverfahren charakterisieren, das auf Basis zuvor formulierter Kriterien eine genauere Bewertung des Sachverhalts/Gegenstandsbereichs ermöglichen soll. In der Praxis soll Evaluation verwertbare Diskussions- und Entscheidungshilfen liefern zur Verbesserung bzw. Weiterentwicklung des Sachverhalts/Gegenstandsbereichs. o Das Ziel der Evaluation ist es ein verbessertes Handlungswissen oder Entscheidungen für die Praxis zu gewinnen. Dabei wird der Bewertungsvorgang methodisch systematisiert  7. Unter welchen Voraussetzungen würden Sie sich für eine summativen Evaluation entscheiden, wann würden sie eine formative bevorzugen? Ich würde eine summative Evaluation einsetzen, wenn ich am Ende oder nach Abschluss einer Maßnahme einen Sachverhalt methodisch untersuchen wollen würde. Mit der summativen Evaluation würde ich systematisch Daten in Form von Erfahrungswerten von Beteiligten Personen an dem Programm/Untersuchungsgegenstand sammeln, um Einschätzungen zum Verlauf den Ergebnissen und den Wirkungen des Programms zu treffen. Sollte ich eine Entscheidungshilfe dafür benötigen, ob das Programm fortgesetzt werden kann z.B. weil ich es beim Fördermittelgeber legitimieren muss, dann wäre eine summative Evaluation nach Ende des Programms anzuwenden. Ich könnte damit überprüfen, ob die intendierten Effekte eingetreten sind und auch hinsichtlich der Wirtschaftlichkeit überprüfen. Die formative Evaluation würde ich einsetzen in einem laufenden Programm, um Zwischenergebnisse zu gewinnen. Diese Zwischenergebnisse können die Beteiligten Personen dabei unterstützen Verbesserungen oder Veränderungen im Programm vorzunehmen. Zwischenergebnisse können ebenfalls wichtig im Kontext von Legitimierung sein, s. Pilotprojektphasen, die in Abhängigkeit von der Erfüllung von Meilensteilen/Projektindikatoren stehen. o Typus der summativen (bilanzierenden) Evaluation o eine Einschätzung zu Verlauf, Ergebnissen und Wirkungen eines Programms. o Sachverhalte werden am (vorläufigen) Ende einer Maßnahme oder eines Programms untersucht o Systematische Datensammlung von Erfahrungswerten von Beteiligten Personen an einem Programm o Mögliche Untersuchungsgegenstände ▪ Angemessenheit der strukturellen Bedingungen des Programms; ▪ Übereinstimmung des realen Verlaufs mit dem geplanten Verlauf und Bewertung der einzelnen Prozesselemente (im Hinblick auf sachliche Kriterien und die Zufriedenheit der jeweils im Verlauf beteiligten Personen/ Gruppen); ▪ (intendierte und nicht intendierte) Effekte des Programms im Hinblick auf die Adressaten, die Organisation selbst und das Umfeld der Organisation; ▪ Wirtschaftlichkeit hinsichtlich der Durchführung und der erzielten Effekte, also Aufwand-Nutzen-Verhältnis. o Entscheidungshilfen für die Diskussion zur Fortführung, Modifikation oder Beendigung des Programms zu erhalten. o Bsp: Abgeschlossenes Projekt. Haben sich durch die Umstellung der Arbeitstruktur die Arbeitsanforderungen und die Zufriedenheit der Mitarbeiter verbessert? Welche Nebeneffekte hat die Umstellung der Arbeitsstruktur mit sich gebracht?  o Typus der formativen (gestaltenden) Evaluation. o Rückmeldung innerhalb des Programmverlaufs o Zwischenergebnisse o Zwischenergebnisse für Beteiligte um sie hinsichtlich Verbesserung oder Veränderung ihres Handelns zu unterstützen o den Veränderungsprozess begleitende Evaluation o Bsp: Haben sich unsere Annahmen über die Entwicklung der Probleme und die Wünsche unserer Adressaten, die zur Veränderung der Angebote in unserem PSZ geführt haben, als richtig erwiesen? Traumastabi-Gruppe anstelle von Musikgruppe, Mehr Einzel als Gruppe => es kann auch Überlagerungen geben. So wird Bilanz in einem Projekt zur Sprachförderung gezogen = summativ, wenn aber Gesamtorganisatorisch auf den Bereich Sprachförderung geschaut wird, kann es ein fortlaufender und somit formative Evaluation sein. 8. Erläutern Sie an einem selbstgewählten Beispiel die einzelnen Verfahrensschritte einer Evaluation. o Festlegung der Evaluationsfragestellung o Festlegung von Praxiszielen und darauf ausgerichteten Indikatoren. Die Indikatoren operationalisieren die Praxisziele o Auswahl und Erstellung der Instrumente zu Datenerhebung wie z.B. Fragebogen, Interviews, Beobachtungen o Durchführung der Datenerhebung o Auswertung der Daten und Zusammenführen zu Ergebnissen + Handlungsempfehlungen/Schlussfolgerungen o Präsentation der Ergebnisse o Reflexion Ich würde zunächst festlegen welche Organisationsmitglieder beteiligt werden in der Evaluationsgruppe. Danach erfolgt die Festlegung der Fragestellung. Da ich in einem Verein tätig bin der Psychosoziale Zentren für Geflüchtete betreibt, würde ich in diesem Feld eine Evaluation erstellen. Mich würde bspw. interessieren welchen Einfluss die verwendeten Therapiematerialien (z. B. Arbeitsblätter, kreative Materialien, Achtsamkeitsübungen) auf die psychische Gesundheit der Teilnehmenden der Traumastabilisierung haben? Im Rahmen der Konzeptionsphase würde ich überlegen was unsere Vorannahmen zu dieser Fragestellung sind und die Wünsche und Ideen für die Evaluation z.B. von Fachkräften, Leitung, Vorstand, Klient*innen aufnehmen. Daran anschließend werden Praxisziele festgelegt und daraus ausgerichtete Indikatoren, um die Praxisziele messbar abbilden zu können. Im nächsten Schritt wird festgelegt. Ein Praxisziel könnte bspw. sein Die Förderung von Selbstreflexion und Selbstwirksamkeit durch den Einsatz kreativer Therapiematerialien. Mögliche Indikator 1. Ordnung Erstellung individueller Reflexionsmaterialien Indikator 2. Ordnung gestärktes Gefühl der Selbstwirksamkeit, Kontrolle über ihre eigenen Reaktionen und Prozesse. Im nächsten Schritt werden die Instrumente zur Datenerhebung ausgewählt. Zum einen würde ich bei dem Beispiel eine Beobachtung durchführen bei der im Fokus steht, ob und wie individuelle Reflexionsmaterialien im Rahmen der Traumastabilisierungsgruppe mit Unterstützung der Fachkräfte und Therapiematerialien erstellt werden. Zu Beginn der Traumastabilsierungsgruppe würde ich die Teilnehmenden zu ihren psychischen Belastungen mit einem Fragebogen befragen und ob sie bereits Reflexionsmaterialien nutzen. Nach der Verwendung der Therapiematerailien in der Gruppe würde ich nach Abschluss der Gruppensitzungen (summativ) in einer zusätzlichen Befragung mit einem schriftlichen in verschiedene Sprachen übersetzen Fragebogen die Indikatoren 2. Ordnung erheben. Außerdem würde ich erneut die Selbsteinschätzung der psychischen Verfassung abfragen, um herzuleiten, ob die Therapie-Reflexionsmaterialien Anschließend erfolgt die Datenerhebung. Dabei ist es wichtig die Anonymität zu wahren und die Befragten Danach die Auswertung und Analyse der Ergebnisse. Durch die 2 Fragebögen kann die psychische Verfassung zu Beginn und nach der Gruppe miteinander verglichen werde. Es können Rückschlüsse gezogen werden, ob die Therapiematerialien die zu Selbstreflexion anregen, die psychische Verfassung verbessert, verschlechtert haben oder keinen Einfluss hatten. Es sollten Schlussfolgerungen und Handlungsempfehlungen für die Praxis formuliert werden Am Ende folgt die Präsentation der Ergebnisse (vollständig, korrekt, verständlich). Transparenz ist wichtig. Ich würde auch den teilnehmenden Geflüchteten das Ergebnis zurückmelden. Anschließend Reflexion der Evaluation. Was beibehalten, was besser machen für die Zukunft?  9. Praxis funktioniert meistens ganz gut – auch ohne Ziele. Trotzdem behauptet J. Merchel, Praxisziele seien zentral für jede Evaluation. Was meinen Sie, weshalb vertritt er diese Meinung? Praxisziele besitzen eine elementare Bedeutung nach Merchel, da in Evaluationen untersucht wird, ob und wenn ja in welchem Maß ein Zustand eingetreten ist, den man mit Programmen in der Praxis realisieren wollte. Die zentrale Frage bei Praxiszielen lautet somit: Was wollen die Praxisakteure mit ihren Konzepten, Methoden, Maßnahmen, Handlungen erreichen? Ein Vorteil von Evaluation mit Praxiszielen ist, dass die Praxisakteure angeregt werden, sich ihrer Ziele klarer zu werden, sich über ihre Ziele zu verständigen und vor diesem Hintergrund möglicherweise ihre Handlungen, die teilweise zu Routinehandlungen geworden sind, neu zu bewerten. Aus impliziten Zielen werden somit explizite Ziele. Die Praxisziele fördern somit die Reflexion und Optimierung der Praxis. Die Ergebnisse geben Orientierung, an der sich die Praxis ausrichten kann. Praxisziele werden gefasst als anzustrebende Zustände, die sich positiv von einem als „defizitär“ empfundenen Ist-Zustand abheben und bei dem die Akteure davon ausgehen, dass die Veränderungen vom Ist- zum Sollzustand zumindest teilweise auf ihre Interventionen (Maßnahmen, Angebote, Handlungsweisen) zurückgeführt können. Praxisziele = Sollzustand, der mit Interventionen in einen defizitären Ist-Zustand erreicht werden soll Praxisziele sind entweder Ergebnisziele (Soll-Zustand) oder Prozessziele (Welche Interventionen?) Praxisziele sollen: positiv formuliert werden, eine Herausforderung für die Praxisakteure darstellen, Zielzustand, Zielgruppe und Zeitpunkt der Zielerreichung muss deutlich sein, ethisch vertretbar sein, den fachlichen Erkenntnissen des Arbeitsfeldes entsprechen konkret formuliert sein, so dass sie eine Richtung für Indikatoren geben  10. Erläutern Sie an einem selbst gewählten Beispiel die einzelnen Schritte vom Praxisziel zur Erhebungsfrage in einem Fragebogen. Welche Praxisziele Akteure, Prozessziele, Ergebnisziele Formulierung der Praxisziel Operationalisierung und Bildung der Indikatoren Erhebungsfragen In einem ersten Schritt wird das Praxisziel formuliert. Dabei handelt es sich um einen Soll-Zustand. Interventionen sollen dazu beitragen diesen Soll-Zustand zu erreichen und den derzeitig defizitären Zustand zu überwinden. Ein Beispiel für ein Praxisziel aus der Psychosozialen Arbeit mit traumatisierten Geflüchteten könnte Folgendes sein: Praxisziel 1: Die Kunsttherapie führt zu einer Reduktion der psychischen Belastung der teilnehmenden Frauen. Praxisziel 2: Die Kunsttherapie stärkt das Gefühl der Selbstwirksamkeit und das Vertrauen in die eigene Fähigkeit zur Veränderung. Im zweiten Schritt erfolgt die Operationalisierung der Praxisziele: Vorgang bezeichnet, bei dem die eher relativ abstrakten Praxisziele durch messbare oder beobachtbare Ereignisse oder Zustände konkretisiert werden. Es werden Indikatoren gebildet, die abbilden zu welchem Grad das Ziel erreicht wurde. Dabei wird zwischen Indikatoren erster Ordnung und zweiter Ordnung unterschieden. Die Indikatoren der zweiten Ordnung stellen hierbei eine Verfeinerung der Messung der Zielerreichung dar. Die Auswahl der Indikatoren ist eine Bewertung durch die Evaluatorin welche Faktoren wichtig sind zu untersuchen und welche vernachlässigt werden können/müssen. Über die daraus entstehenden Konsequenzen sollte sich die Evaluatorin bewusst sein und die Indikatoren im Team diskutieren. In nicht jedem Fall sind Indikatoren zweiter Ordnung notwendig. Dies hängt von der Aussagekraft der Indikatoren erster Ordnung ab. Bei den folgenden Beispielen wird deutlich, dass bei dem ersten Praxisziel aus fachlicher Sicht zwei Indikatoren notwendig sind, da neben der Selbstbewertung der psychischen Verfassung durch den Fragebogen auch eine Beobachtung durch die Fachkraft erfolgen muss, bei der sich u.U. Übereinstimmung oder Abweichung der Ergebnisse zeigen. Beim zweiten Beispiel müsste der zweite Indikator noch näher definiert werden, da die Kunstanalyse subjektiv sein kann. Es müssten konkrete Bewertungsmaßstäbe angesetzt werden. In diesem Beispiel könnte auf diesen Indikator 2. Ordnung verzichtet werden. Praxisziel 1: Die Kunsttherapie führt zu einer Reduktion der psychischen Belastung der teilnehmenden Frauen. Indikator erster Ordnung: Verringerung der psychischen Belastung, gemessen durch Fragebögen zu Ängstlichkeit und Depression („Perceived  Stress Scale“ (PSS) oder „Hospital Anxiety and Depression Scale“ (HADS)) vor und nach der Teilnahme an der Kunsttherapie. Indikator zweiter Ordnung: Beobachtungen der Gruppeninteraktionen und Gespräche, bei denen eine positive Veränderung der emotionalen Ausdrucksfähigkeit und ein Rückgang von Ängsten oder Stresssymptomen sichtbar werden (z. B. durch weniger Rückzug und mehr positive verbale Äußerungen im Gespräch). Praxisziel 2: Die Kunsttherapie stärkt das Gefühl der Selbstwirksamkeit und das Vertrauen in die eigene Fähigkeit zur Veränderung. Operationalisierung: Indikator erster Ordnung: Zunahme des Gefühls der Selbstwirksamkeit, gemessen durch eine Befragung zur Wahrnehmung von Kontrolle und Veränderungsmöglichkeiten, wie etwa die Frage: „Inwieweit glauben Sie, dass Sie durch die Teilnahme an der Kunsttherapie Veränderungen in Ihrem Leben bewirken können?“ Indikator zweiter Ordnung: Analyse der Kunstwerke, bei denen Veränderungen in der Selbstwahrnehmung oder positive Darstellungen von Empowerment und Kontrolle sichtbar werden (z. B. durch stärkere Ausdruckskraft, symbolische Darstellungen von Stärke oder Handlungsmacht). Im dritten Schritt werden die Erhebungsfragen gebildet. Für diesen Schritt muss überlegt werden welche Informationen zur Messung der Indikatoren abgefragt werden können und wie man dies in Fragen übersetzen kann. Somit wird entschieden welche Informationen/Daten erhoben werden. Mit der Ableitung der Erhebungsfragen aus den Indikatoren, die aus den Praxiszielen operationalisiert wurden, wird der methodisch systematische Prozess deutlich in dem nur relevante Fragestellungen/Daten erhoben werden, um dem Evaluationszweck gerecht zu werden. Welche Praxisziele verfolgen die Akteure in der Organisation? Welche dieser Prozessziele und / oder Ergebnisziele sollen in die Evaluation einbezogen werden? Formulierung der einzubeziehenden Praxisziele unter folgenden Kriterien: positiver sprachlicher Duktus; Markieren einer Herausforderung; möglichst konkrete Benennung von Zielzustand, Zielgruppe und angestrebtem Zeitpunkt der Zielerreichung. Operationalisierung der Praxisziele / Indikatorenbildung: An welchen Hinweisen (Indikatoren) lässt sich erkennen / beobachten / messen, ob und in welchem Ausmaß ein Praxisziel erreicht ist? Formulierung der Erhebungsfragen und damit Festlegung des Datenbedarfs: Zu welchen, aus den Indikatoren abzuleitenden Fragen werden Daten benötigt, die erhoben werden sollen, um die Ausprägung der Indikatoren untersuchen und bewerten zu können? 11. J. Merchel nennt fünf Kriterien, die für die Entscheidung, welche Erhebungsmethode für eine in die Praxis eingebundene Evaluation, ausgewählt wird, relevant sind. Nennen und erläutern Sie diese. Angemessenheit und Tragfähigkeit der mit der Erhebungsmethode erzeugten Ergebnisse für das Erhebungsziel: o Erhebungsmethode auswählen die zu Zielsetzung, Gegenstand und Erhebungsfrage passt o Eine reine Anwesenheitsliste bei der Kunstgruppe sagt nichts über die Zufriedenheit der Teilnehmenden oder die Wirksamkeit der Angebote aus. ▪ Besser wären eine Befragung und Beobachtung ▪ Bsp. Jugendgruppe Ernährungsprotokolle ▪ Bsp. Psychoedukationsgruppe zur Verbesserung des Schlafs, Passende Erhebung Schlafprotokolle der Teilnehmenden Glaubwürdigkeit der mit der Erhebungsmethode erzeugten Ergebnisse beim Zielpublikum: o Besteht ein Vertrauen ggü. der Erhebungsmethode des Zielpublikums wenn Ergebnisse vorgetragen werden. Wichtig ist die Zielgruppe miteinzubeziehen, damit sich bspw. das Personal angemessen repräsentiert wird im Fragebogen (z.B. Interventionstechniken). o Frage vorab sollte sich Evaluatorin stellen, wird die Erhebungsmethode von meinem Zielpublikum akzeptiert werden? Aufwand, zeitliche Perspektiven und vorhandene Ressourcen: o Abwägung Fragebogen oder Beobachtung. Beobachtung braucht mehr Ressourcen. Ähnlich kurzzeit-/Langzeiterhebung. o Aufwand- Nutzen im möglichst besten Verhältnis einsetzen o Bewusste Entscheidung für oder gegen externe Evaluatorin o Pragmatische Entscheidungen: keine Aufwendige Videoaufzeichnung und Auswertung, sondern Fragebogen, damit ein sachlich akzeptable Daten erhoben werden können. Akzeptanz der Erhebungsmethode bei den „Datenlieferanten“: o Kooperationsbereitschaft der Befragten o Befragte müssen sich öffnen und einverstanden sein o Bsp. Beobachtung Gruppentherapie und Therapeutin/Kursleiterin ist nicht einverstanden. Beobachtung wird mit Machtwort der Leitung durchgesetzt. Probleme hinsichtlich der Akzeptanz sind vorprogrammiert. Widerstände. o Dahinter kann liegen, dass Kolleg*innen sich nicht in den Fall einzumischen haben und damit eine Organisationsnorm vertreten wird hinsichtlich Fallverantwortung bei der maximal die Leitung Einsicht hat. Sollte dies der Fall sein muss erstmal im normativen Management über diese Norm/Praxis diskutiert werden. Kompetenz im Umgang mit der Erhebungsmethode – auf Seiten der Evaluationsakteure und auf Seiten der „Datenlieferanten“: o Befragte müssen in der Lage sein mit der Erhebungsmethode umgehen zu können. Analphabet*innen können nichts mit einem schriftlichen  Fragebogen anfangen. Das denken/bewerten in den Kategorien 1-5 ist nicht in allen sozialen Schichten und Ländern üblich, kann zu Überforderung führen. o Haben Fachkräfte die Kompetenz die Erhebungsmethode vorzubereiten, durchzuführen und auszuwerten Die für die Wahl von Erhebungsmethoden entscheidenden Fragen sind somit: Liefert die Erhebungsmethode tragfähige und ausreichend verlässliche Daten, um die Erhebungsfrage sachlich gehaltvoll beantworten zu können? Wird die Erhebungsmethode bei denen, die mit den Ergebnissen konfrontiert werden, als sachlich plausibel und sozial akzeptabel bewertet? Ist das konzipierte Erhebungsverfahren vom Aufwand und von den zeitlichen Perspektiven her praktikabel? Werden mit vertretbarem Aufwand relativ schnell Ergebnisse erzeugt? Wird die gewählte Erhebungsmethode bei denen, die die Daten liefern sollen, akzeptiert? Besteht eine störende Spannung zu den Normen und Traditionen, also zur Organisationskultur in derjenigen Organisation, in der die Erhebung stattfinden soll? Sind die Kompetenzen, die für die Anwendung der Erhebung auf Seiten der „Datenlieferanten“ erforderlich sind, vorhanden? Verfügen auch die Evaluationsakteure über die für die Erhebung erforderlichen Kompetenzen? 12. Was spricht für, was gegen eine schriftliche (standardisierte) Befragung? Erläutern Sie … Zielgruppe kann nicht mit dem Erhebungsinstrument umgehen bspw. Analphabet*innen, kognitive Einschränkung Selbstauskunft kann von der realen Situation abweichen bspw. aus Scham vor psychischen Erkrankungen Bsp. PSZ Kann evtl. nicht ernst genommen werden Bsp. Jugendzentrum Fraglich ob der Fragebogen alleine ausgefüllt wird (bsp. Fragebogen zuhause/Arbeit ausfüllen) und ob somit die Ergebnisse vefälscht werden können Die standardisierte Befragung macht zwar die Auswertung leichter aber es kann sein, dass Fragen zu schwierig formuliert wurden/nicht verstanden werden und dann nicht angekreuzt wird. Außerdem laden offene Fragen zum Nachdenken ein, geben mehr Raum für Antworten, fördern qualitative Betrachtung. Standardisierte Bögen engen den Blick wiederum ein. Es fehlen vielleicht Antwortmöglichkeiten, da sie von den Evaluator*innen nicht wahrgenommen wurden vorab. Diese Vorannahmen können falsch sein und dazu führen, dass der Fragebogen nicht akzeptiert wird. ▪ Expertenmacht was ist wichtig abzufragen und was nicht Abbruchquote Geringe Rücklaufquote, Repräsentativität dadurch eingeschränkt Missverständnisse, die die Datenqualität negative beeinflussen können Fragebögen können nur begrenzt tief fragen. Im Interview kann tiefer nachgefragt werden.  13. Wenn Sie die Wahl hätten zwischen einem Gruppeninterview und einer teilnehmenden Beobachtung in der Gruppe, welche Argumenten würden Sie für das eine, welche für das andere ins Feld führen? Argumente für die teilnehmende Beobachtung in der Gruppe: Bei Betrachtung von Verhaltensweisen, Interaktionen, Gruppendynamiken, Prozesse Unmittelbarer Einblick in Praxisverläufe und Verhaltensweisen (aber wenn eine externe Person die sonst nicht dabei ist, verändert dies die Situation, verdeckte Beobachtung geht ethisch nicht) o Kann durch Fragebögen erhobene Einschätzugen/Meinungen korrigieren Sie ist besonders hilfreich, wenn die Beteiligten Schwierigkeiten haben, ihr eigenes Verhalten zu reflektieren oder ihre Meinung, Gefühle auszudrücken. Argumente für das Gruppeninterview: Erhebungen von Meinungen, Motiven, Gefühlen Interviews eignen sich generell gut, wenn exploriert wird. Wenn die Evaluator*innen den untersuchten Gegenstand selbst nicht gut kennen. Interviews können ggü. Fragebögen in die Tiefe gehen. Kausale Zusammenhänge werden sichtbar. Nachfragen können gestellt werden, um das Verständnis zu erhöhen. Wenn Schlüsselpersonen befragt werden können, die besonders wichtig für die Beantwortung der Fragestellung sind. Ein Gruppeninterview eignet sich, wenn es darum geht, Meinungen und Einstellungen in einem interaktiven Kontext zu erheben. Die Teilnehmenden können aufeinander reagieren, was zu differenzierten Diskussionen führt. Zudem ermöglicht es eine direkte und zeitökonomische Datenerhebung. In wertschätzender Gruppe können sich die Offenheit einzelner Gruppenmitglieder auch positiv auf die Dynamik auswirken. Andere Personen, die eher still sind, stimmen zu oder werden ermutigt sich zu äußern, was sie im Einzelsetting nicht geschafft hätten. o Es muss aber beachtet werden, dass durch die Dynamiken in der Gruppe Verzerrungen der Meinungen entstehen können und die Befragten weniger offen sein können. Außerdem tragen vermutlich nicht alle gleich viel bei dominant, devot. o Gruppengrößer kleiner 4-5 Personen. Herausfordernd durchzuführen und auszuwerten 14. Was spricht für, was gegen eine Standardisierung von Beobachtungskategorien bei einer Beobachtung oder Dokumentenanalyse? Pro Standardisierung von Beobachtungskategorien Beobachtung: o Vergleichbarkeit: Standardisierung ermöglicht, dass verschiedene Beobachter*innen relevante Daten für die Beantwortung der Forschungsfrage erheben. Gibt einen Rahmen vor. Es werden dieselben Sachverhalte/Beobachtungskategorien untersucht o Strukturierung, Fokussierung, bessere Ergebnisse o Effizienz o Subjektivität der Beobachter*in eingrenzen durch Kategorien Dokumentenanalyse: o Struktur, wenn eine Vielzahl von Dokumenten durch unterschiedliche Evaluator*innen untersucht wird o Vergleichbarkeit o Auswertungsbögen mit Analysekategorien kann subjektiver Bewertung vorbeugen (aber nicht ganz ausschalten) Contra Standardisierung von Beobachtungskategorien Beobachtung: o Wenige Kategorien können berücksichtigt werden, da die beobachteten Situationen komplex sind und sich daher die Beobachtung auf verlässliche Kategorien begrenzen muss (Beobachtungsschema/Protokollbogen) o Konkretisierungshilfen werden benötigt, um die Variationsbreite der Einschätzungen zu reduzieren. o Strukturierung schwierig, da Beobachter subjektive Einflussfaktoren mitbringen. Wichtig vorab Beispielsituationen zu diskutieren und wie erwähnt in Kategorien vorzubereiten. o Aus Subjektivität kann ein Mangel an Akzeptanz hervorgehen, Subjektivität lässt sich eingrenzen aber nicht ganz ausschalten o Begrenzte Flexibilität o unerwartete Beobachtungen können leicht übersehen werden Dokumentenanalyse: o relevante, aber unvorhergesehene Aspekte werden nicht erfasst o Subjektivität bei der Bewertung 15. Stellen Sie sich vor, Sie hätten die Aufgabe, einen Evaluationsprozess zu evaluieren, den Sie eben mit einer Kollegin zusammen durchgeführt hätten. Erläutern Sie, welche Reflexionsfragen für Sie aus welchen Gründen vordringlich wären. ▪ Leitfrage aus: Welche Erfahrungen wurden bei den einzelnen Verfahrensschritten gemacht und was kann man daraus für weitere Evaluationen lernen? ▪ Konnten die Ziele und Erwartungen, die mit der Evaluation verbunden waren, realisiert werden? ▪ Welche Personen- oder Interessengruppe konnte ihre spezifischen Erwartungen besonders stark zur Geltung bringen und welche Personen- oder Interessengruppe hatte hier deutlich geringere Möglichkeiten? ▪ Fühlten sich alle Beteiligten und Betroffenen während und durch die Evaluation ausreichend fair behandelt? ▪ An welchen Stellen des Verfahrens traten Schwierigkeiten auf? Waren diese Schwierigkeiten eher durch vorhandene Strukturen, durch Fehleinschätzungen in der Planung, durch zu geringe Kompetenzen der Akteure oder durch andere Unzulänglichkeiten bedingt? ▪ Was ging in dem Verfahren besonders gut und sollte für weitere Evaluationen festgehalten werden? ▪ Haben sich die praktizierten Erhebungsmethoden bewährt? ▪ Wie ist das Verhältnis zwischen Aufwand und Ertrag bei der Evaluation zu bewerten? ▪ Was sollte man aus der Sicht nach Projekt-Abschluss geändert werden, wenn man das gleiche Evaluationsprojekt noch einmal beginnen würde? ▪ Worauf sollte man bei der Planung 16. Zwar haben Diskussionen um Wirkungsforschung und –evaluationen etwas von ihrer Aufgeregtheit verloren, trotzdem wird diese Debatte noch immer sehr kontrovers zwischen Gegnern und Befürwortern geführt. Auf welche Seite würden Sie sich mit welchen Argumenten schlagen? (Gegenposition wäre einfacher zu formulieren, da es viele Herausforderungen gibt.) Ich würde mich für die Wirkungsevaluation aussprechen, da in der Praxis der Legitimationsdruck von staatlichen Fördermittelgebern steigt. Träger der Sozialen Arbeit müssen verstärkt nachweisen wie ihre Arbeit wirkt. In der Psychosozialen Arbeit wird dies bspw. an dem Grad der psychischen Belastung/Stabilisierung gemessen. Hinzu kommen u.U. stabilisierende Faktoren, wie die Arbeitsaufnahme oder Besuch eines Sprachkurses, ehrenamtliche Mitarbeit in einem Nachbarschaftszentrum oder Teilnahme an Aktivitäten eines Sportvereins. Die Wirkungsevaluation kann die Arbeit der Psychosozialen Zentren durch Prä- und Postmessungen abbilden. Dabei werden zu Beginn einer Einzelfallberatung (bspw. nach Sitzung 3) ein erster Fragebogen, der die psychische Gesundheit abbildet (Depression, Ängstlichkeit, Postmigrationsstressoren, Trauma, Psychismus), durchgeführt. Nach Sitzung 12 zum Abschluss der Beratung/Kurzzeittherapie wird die Postmessung mit demselben Fragebogen durchgeführt. Dieser kann noch ergänzt werden durch mehrere Fragen als Selbsteinschätzungsbogen zur Wirkung des Programms und zur Durchführung des Programms (Bsp. Zusammenarbeit mit Dolmetschenden). Allerdings ist hierbei zu beachten, dass bspw. mit einer Abfrage der Zufriedenheit nicht die Wirkung gemessen wird. Wenn eine Klient*in die Berater*in mag und deshalb zufrieden ist wegen der angenehmen Gesprächsatmosphäre und Empathie bedeutet dies nicht, dass sie dadurch ihre Ziele (Selbstständigkeit, Reflexion, Tool Box/Skills in Krisensituationen) erreichen kann. Die Zufriedenheit kann im Rahmen einer Ergebnisevaluation gemessen werden und kann eine Vorbereitung für eine Wirkungsevaluation sein. Durch den Abgleich des Prä-&Post-Fragebogens mit dem klinischen Eindruck der Berater*in und der Selbsteinschätzung kann eine Analyse der Daten hinsichtlich der Wirkung erfolgen. Für die Prä-/Postmessung spricht, dass es ein professionelles, zielorientierte Handlungslogik der Sozialen Arbeit ist einen defizitären Zustand anhand von Interventionen mit der Klient*in gemeinsam zu bearbeiten (Ko-produktion) um ein definiertes Ziel zu erreichen. Bsp. PSZ: Wert für Ängstlichkeit bei Ausfüllen erster Fragebogen hoch. Ziel nach 12 Sitzungen einen niedrigeren/mittleren Wert zu erreichen. Allerdings muss bedacht werden, dass die Interventionen nur eine Plausibilität und keine Kausalität darstellen. Die psychosoziale Arbeit hat nur Einfluss auf einen Ausschnitt der Lebenswelt der Klient*in. Es kann plausibel erscheinen, dass die Interventionen einen Anteil an der Verbesserung haben. Ein kausaler Zusammenhang besteht nicht zwingend und daher bleibt die Wirkungsmessung von Interventionen zu Teilen eine Black Box. Dennoch geben sie wichtige Impulse zur Überprüfung von Handlungsprogrammen und Bewertungen durch Klient*innen. Soziale Arbeit ist damit konfrontiert die Arbeit zu legitimieren Soziale Arbeit muss die Wirksamkeit darstellen (evaluieren) Handlungen verfolgen die Erreichung eines Effekts. Ob dies eingetreten ist nennt man Wirkungsmessung Neben der fachlichen Auseinandersetzung, ob die Handlungen in der Sozialen Arbeit anhand der prozessbezogenen Anforderungen gestaltet sind, sondern auch welche Wirkung erzielt wurde. Stimmt die Wirkung mit den Vorannahmen überein? Im Sinne der Professionalisierung der Sozialen Arbeit (Drittes Mandat) ist der systematische Nachweise der Effekte und Wirkung der Programme relevant zur Legitimierung Sozialpolitische Erwartung, dass Soziale Arbeit durch Professionalität Effektivität erreicht wird. Neue Erwartung Gesellschaft Soziale Arbeit muss wirksam sein. o Designs: ▪ randomisierte Experiment mit Kontrollgruppe, ethisch nicht vertretbar und in Praxis nicht umsetzbar, da Soziale Arbeit nicht im Labor stattfindet, Einflüsse der Lebenswelt der Klient*innen ▪ quasi-experimentelles Verfahren mit Vergleichsmessungen mit der Annahme, dass sich die Gruppen nicht stark voneinander unterscheiden ▪ Prä/Post-Messungen: Vorher-Nachher Zustände Programme, Keine Vergleichsgruppe. Einschätzungen der Wirkung durch Programm-TN: Selbsteinschätzung zu Wirkung und zu Durchführung der Programme, Handelt sich eher um Meinungsumfragen, da ungenau, eher keine Evaluation nach Böttcher  17. Wenn Sie gezwungen wären, eine Wirkungsevaluation durchzuführen, auf welche Herausforderungen müssen Sie sich einstellen und wie würden Sie damit umgehen? Quasi-experimentelle Situationen sind höchstens in Ausnahmesituationen herstellbar. Hierbei handelt es sich um Vergleichsmessungen von ähnlichen Gruppen. 3 Gruppen 3 SPFH, die dieselben Programme durchführen und am Ende schaut man welche Intervention die wirksamste ist. Probleme in Sozialer Arbeit sind vielschichtig. Es kann sich bspw. um Intersektionalität (Diskriminierung auf mehreren Ebenen) handeln. Außerdem unterliegt Soziale Arbeit einer Dynamik. Daher ist es schwierig Wirkungsparameter (Kriterien) zu formulieren. Kausalität von Interventionen ist schwierig abzuleiten, da in der Lebenswelt der Klient*innen viele Einflüsse sind. Bsp. Hat sich der Wert für Depressivität verbessert wegen der Interventionen im PSZ oder weil das BAMF positiv im Asylverfahren entschieden hat? Es muss zwischen beabsichtigten Wirkungen und nicht intendierten Folgen und Nebenfolgen eines Programms unterschieden werden. Bsp: Durch Empowerment fühlt sich Klient*in gestärkt und vertritt ihre Meinung ggü. Ehemann (in patriarchalen System sozialisiert). Nebenfolge mehr Streit und dadurch zunächst Verschlechterung der psychischen Gesundheit. Zeitpunkt, wann die Wirkung im Programm/nach dem Programm einsetzen soll. Wann soll wie lange die Beobachtung stattfinden. Herausfordernd diese Punkte zu erörtern. Wie damit umgehen? Soziale Arbeit muss den Unterschied zwischen Wirken und nicht intendierten Folgen im Blick dies im Blick haben. Es braucht daher mehrdimensionale Ansätze und ein Verständnis für die Komplexität und Vielschichtigkeit von einzelnen Problemen. Es braucht eine besondere Sorgfalt in Evaluationsvohaben, die Wirkungsaspekte berücksichtigen. Die Wirkungsparameter und -Kategorien sollten gut begründet werden. Die Zeiträume in der die Wirkung untersucht wird und der Zeitpunkt an dem die Wirkung eingetreten werden soll, sollten sorgfältig abgewogen und gut begründet werden. Es sollten bei den Nutzer*innen nicht nur die Akzeptanz gemessen werden, sondern auch die Wirkungen im Hinblick auf die Einstellungen, das Verhalten, die Wahrnehmungen Das Verhalten sollte nicht vernachlässigt werden, obgleich es nur erfragt und nicht beobachtet werden kann 18. Was meint J. Merchel, wenn er schreibt Evaluation sei „eine Arena von Interessen und Strategien“ und was bedeutet das ggf. für Sie als Evaluator:in? Evaluationen findet in Organisationen statt Organisationsmitglieder können unterschiedliche Interessen haben Evaluation kann in einer konfliktreichen oder-armen Situation erfolgen. Unterschiede werden spürbar sein. Auswirkungen auf Evaluation können entstehen wenn Befragte feste oder befristete Verträge haben Entscheidung für die Evaluation nur von Leitung oder partizipativer Ansatz mit Team Evaluation darf nicht unabhängig von dem Organisationsrahmen und deren Mitglieder betrachtet werden. Wichtig dies einzubinden auch hinsichtlich der Gestaltung und Bewertung der Evaluation und Übernahme der Schlussfolgerungen/Handlungsempfehlungen Evaluation ist eine Zumutung für Befragte, sie fühlen sich bewertet. Kann auch Zumutung für eine Organisation sein neues aus der Evaluation zu lernen, dadurch sich zu destabilisieren, Erkenntnisse zu hören, die man nicht hören will. Programme ändern, die man nicht ändern will. Widerstände. Es kann immer einen „guten“ Grund dafür geben, dass man keine Zeit für Evaluation hat Evaluation ist immer einer soziale Intervention mit einem Zumutungscharakter. Evaluation kann als Arena von sozialen Interessen und darauf ausgerichteten Strategien verstanden werden. Evaluation hat einen politischen Charakter. Z.B. Ergebnisse dafür nutzen, um ein Programm loszuwerden, eine Abteilung besser oder schlechter darstehen zu lassen, den eigenen Zielen näher zu kommen. Ergebnisse lassen Interpretation zu. Die Schlussfolgerungen müssen mit der Kostenfrage zusammen gebracht werden. Wird wirklich alles umgesetzt was empfohlen wurde? Kann es überhaupt umgesetzt werden? Werden Entscheidungen auf Grundlage von sachlichen Daten oder aufgrund von Erfahrung, Intuition getroffen. Bereits die Planung der Evaluation hat Einfluss auf die Organisation. Erste Widerstände wegen Mehrarbeit kann es geben. Es kann auch Auswirkungen auf Kommunikation der Organisationsmitglieder haben. Wer hat welche Interessen an der Evaluation und warum? Wer hat welchen Einfluss?  19. Welche organisationskulturellen Faktoren können Sie positiv oder negativ auf die Durchführung einer Evaluation auswirken? Hinderliche Haltungen: Abwehr gegenüber Transparenz und Kontrolle („Jeder sollte die eigene Arbeit gewissenhaft machen, sich auf die eigene Arbeit konzentrieren und die anderen Kollegen ihre Arbeit machen lassen.“ „Meinen Arbeitsbereich halte ich für mich, ich gucke ja auch nicht den Kollegen immer auf die Finger.“); Gefühl der Überforderung durch Anforderungen zur Evaluation („Was sollen wir denn noch alles machen – unsere normale Arbeit ist doch schon anstrengend genug!“); Abwehr aufgrund eigener methodischer Unsicherheiten und methodischer Unzulänglichkeiten („Ich bin mir doch schon selbst in vielen Situationen so unsicher, ob ich es richtig mache – da muss ich doch nicht noch andere reingucken lassen wollen!“); Abwehr mit dem Hinweis „Evaluation als Modeerscheinung“ („… vieles kommt und geht auch wieder, und mit Evaluation wird jetzt wieder eine neue Sau durchs Dorf getrieben …“); Furcht vor Konflikten bzw. vor dem Sichtbarmachen latenter Konflikte („Wir haben uns mittlerweile im Team so gut eingependelt – wollen wir jetzt wirklich unsere Unterschiede wieder auf die Tagesordnung setzen und neue Auseinandersetzungen provozieren?“); Meinung, dass sozialpädagogisches Handeln grundsätzlich nicht messbar sei („Das Wichtigste in der Sozialen Arbeit sind die Beziehungen. Die sind im Grunde nicht messbar, und deswegen kann sich Evaluation auch nur auf Randphänomene unserer Arbeit beziehen. Das Wesentliche muss bei Evaluation sowieso außen vor bleiben.“); Auffassung, Evaluation sei lediglich eine Zusatzaufgabe zum alltäglichen Handeln („Wichtig ist unsere Aufgabenerledigung, das ist die Pflicht. Wenn wir dann noch Zeit, Energie und Lust haben, können wir uns mal der Kür ‚Evaluation‘ widmen.“). Förderliche individuelle Haltungen: reflexive Haltung („Ich wollte immer schon Rückmeldungen zu dem, was ich hier mache. Wenn Evaluation diese Rückmeldungen gibt und wir darüber ins Nachdenken kommen, was wir eigentlich hier machen und wie wir unsere Arbeit machen, kann das doch ganz nützlich sein.“); Offenheit gegenüber Entwicklungsimpulsen („Eigentlich finde ich ja, dass wir gute Arbeit machen. Aber ich sehe schon das Problem, dass wir mit der Zeit im eigenen Saft schmoren und ein paar Impulse gut brauchen könnten. Mal sehen, was bei der Evaluation so rauskommt – vielleicht die eine oder andere Anregung, was wir anders machen könnten.“); Eingeständnis, sich in einem strukturell durch Unsicherheit geprägten Arbeitsfeld zu bewegen und dabei auf Informationen zur Bewältigung dieser Unsicherheit angewiesen zu sein („Ich bin manchmal unsicher, was eigentlich das Problem meines Klienten ist und ob die eine oder andere meiner Methoden überhaupt die Situation meines Klienten richtig treffen. Wenn ich dazu etwas mehr erfahren könnte, wäre das schon gut.“);  relative Selbstsicherheit, die es ermöglicht, das eigene Handeln partiell in Frage zu stellen oder in Frage stellen zu lassen („Ich finde schon, dass ich mit meinen Erfahrungen hinreichend kompetent bin und eigentlich ganz gute Arbeit mache. Auch wenn die Evaluationsergebnisse kritische Punkte bei meiner Arbeit zutage fördern würden, haut mich das nicht um. Ich kann das schon verkraften – es würde mich sogar weiterbringen.“); tendenzielle Auffassung, dass Evaluation zum kompetenten und professionellen Handeln gehört („Ja sicher ist Evaluation anstrengend, und wir haben ja eigentlich auch so schon genug zu tun. Aber schließlich gehört es zu unserem Anspruch an uns selbst, dass wir uns mal genauer angucken, was wir machen. Wir müssen uns doch fachlich Rechenschaft geben. Und außerdem: Wie sollen wir sonst nach außen hin erklären, was wir machen und warum wir es machen!?“). => Bei vielen Einzelpersonen und in vielen Teams liegen die Meinungen und Haltungen dazwischen oder in einer Kombination von verschiedenen, zum Teil widersprüchlichen Statements. Mit der Gegenüberstellung soll auf die Bedeutung der individuellen Haltungen aufmerksam gemacht werden, die meist implizit oder vorbewusst sind und ihre Wirkungen bei einem Evaluationsvorhaben entfalten, ohne dass sie ausgesprochen und zum Gegenstand der Erörterung gemacht werden. 20. Was muss gegeben sein, damit eine Evaluation als „gute Evaluation“ gelten kann? Erläutern Sie … Gütekriterien nach der Deutschen Gesellschaft für Evaluation DegEval o Fairness o Genauigkeit o Nützlichkeit o Durchführbarkeit Spiegel 1997 o Plausibilität: überzeugende Begründung von Praxiszielen sowie von Kriterien und Indikatoren der Zielerreichung; o Nachvollziehbarkeit: Transparenz und Dokumentation des Untersuchungsverfahrens; Differenz zu Gütekriterien der empirischen Sozialforschung o Relevanz: Bedeutsamkeit für Weiterentwicklung und / oder Legitimation der Organisation bzw. der jeweiligen Organisationssegmente; Effizienz: Vertretbarkeit des Aufwands für die Erhebungen; o Flexibilität: Anpassung der Erhebungen an Arbeitsabläufe und Ausrichtung der Erhebungen auf die Veränderungen in den Arbeits- und Organisationsbedingungen. König 2007 o Regelgeleitetheit: Offenlegung und Dokumentation des Verfahrens; o Realisierbarkeit: Bedingungen und angemessene Ressourcen für Selbstevaluation; o Verhältnismäßigkeit: angemessener Bezug zwischen Verfahrensaufwand und Ergebnisertrag; o Angemessenheit: Auswahl und Handhabung der Methoden und Datenquellen; o Verwertbarkeit: Nutzung der Ergebnisse für die Praxis. Merchel ▪ Vorbereitung: o … Gegenstände, auf die sich Evaluation richtet, klar benannt und in o einer für alle Beteiligten transparenten Weise abgegrenzt sind; o … Chancen und Risiken bzw. Vorteile und Nachteile verschiedener o Evaluationsarrangements sorgfältig abgewogen worden sind und die o Entscheidung für ein bestimmtes Evaluationsarrangement bewusst und o im Hinblick auf den mit einer Evaluation verbundenen Sinn getroffen o worden ist; o … bei allen Beteiligten Klarheit über die inhaltlichen Schwerpunkte der o Evaluation geschaffen worden ist; o … bei Auftraggebern, Evaluatoren und Beteiligten der Verwendungszusammenhang o transparent ist. ▪ FESTLEGEN DER ZENTRALEN FRAGESTELLUNG FÜR DIE EVALUATION o … die Ziele der Evaluation klar benannt sind und der Auftrag transparent ist;  o … bei den Zielen der Evaluation unterschiedliche Beteiligte ihre Interessen in die Aushandlung einbringen konnten; o … bei der Interpretation des der Evaluation zugrunde liegenden o Sachverhalts und bei der Evaluationsfragestellung mehrere Hypothesen einbezogen und abgewogen werden; o … die erforderlichen Ressourcen und der organisatorische Rahmen o erörtert sind, die für einen befriedigenden Evaluationsverlauf benötigt o werden. ▪ ERKUNDEN VON PRAXISZIELEN UND DARAUF AUSGERICHTETEN INDIKATOREN o … die Praxisziele, auf die sich Evaluation bezieht, aus der Sicht verschiedener Beteiligter erkundet werden; o … die Praxisziele durch beobachtbare oder erfrag- und messbare Indikatoren konkretisiert wurden; o … die für die Untersuchung konstruierten Erhebungsfragen durch die vorher definierten Indikatoren begründet sind; o … die Erhebungsfragen so formuliert sind, dass aus ihnen der Datenbedarf deutlich wird. ▪ AUSWAHL UND KONSTRUKTION DER DATENERHEBUNGSINSTRUMENTE o … die ausgewählten Erhebungsmethoden zu den Indikatoren bzw. Erhebungsfragen passen; o … die Evaluationsakteure sich Rechenschaft darüber abgelegt haben, ob die Erhebungsmethode bei denen, die mit den Ergebnissen konfrontiert werden, voraussichtlich als sachlich plausibel und sozial akzeptabel bewertet wird; o … die gewählte Erhebungsmethode von denen, die die Daten liefern sollen, akzeptiert wird; o … die Erhebungsmethoden im jeweiligen Kontext mit geringen methodischen Risiken und Nebeneffekten eingesetzt werden; o … die Erhebungsinstrumente und -methoden nach den „Regeln der Kunst“ für empirische Untersuchungen konstruiert und angewendet werden; o … das konzipierte Erhebungsverfahren hinsichtlich des Aufwands und der zeitlichen Perspektiven her praktikabel ist; o … die Kompetenz zum Umgang mit den Erhebungsinstrumenten bei denjenigen geprüft und ausgebildet worden ist, die die Erhebung durchführen sollen. ▪ DURCHFÜHRUNG DER DATENERHEBUNG … das Verhältnis der Personen, die die Erhebung durchführen sollen, zu denen, die die Daten geben sollen, eingeschätzt worden ist und daraus Konsequenzen für die Erhebung gezogen worden sind; … günstige Zeitpunkte und Situationen für die Datenerhebung ausgewählt worden sind, die ein relativ hohes Maß an Datenqualität erwarten lassen; … mögliche oder wahrscheinliche Designeffekte von Evaluation reflektiert worden sind. ▪ AUSWERTUNG DER DATEN / ZUSAMMENFÜGEN ZU ERGEBNISSEN  … die Interpretationsaussagen zu den Daten nachvollziehbar dargestellt worden sind; … in der Auswertung und im Bericht Bewertungen transparent gemacht und begründet werden; … nicht nur auf eine bestimmte Aussage ausgerichtete, sondern verschiedenartige Interpretationsmöglichkeiten aufgezeigt worden sind; … Schlussfolgerungen (für die nachfolgende Auswertungsdiskussion) hypothetisch formuliert und gut begründet sind im Hinblick auf die Daten und deren Interpretation sowie in einer diskussionsförderlichen Weise formuliert werden. ▪ PRÄSENTATION DER ERGEBNISSE … überlegt wird, welche Form und welcher Rahmen für eine produktive Verarbeitung der Ergebnisse förderlich sein kann; … im Grundsatz alle Ergebnisse einer Evaluation öffentlich gemacht werden; … die Präsentation so rechtzeitig erfolgt, dass die mit der Evaluation angestrebten Zwecke realisiert werden können; … die Ergebnisse inhaltlich vollständig, verständlich, transparent nachvollziehbar, auf die jeweilige Zielgruppe ausgerichtet, in inhaltlicher und sprachlicher Form diplomatisch präsentiert werden; … bei der Präsentation und bei der schriftlichen Darstellung der Ergebnisse die Perspektiven der Adressaten (Zuhörer, Leser) und deren pragmatische Erwartungen ausreichend einbezogen werden. ▪ REFLEXION DES EVALUATIONSVERLAUFS … Erfahrungen aus den einzelnen Verfahrensschritten bewertet und daraus Schlussfolgerungen für weitere Evaluationen abgeleitet werden. ▪ REFLEXION / GESTALTUNG DES ORGANISATIONALEN RAHMENS (DIE PROZESSELEMENTE ÜBERGREIFEND) … die Leitung die relevanten externen Interessen bedacht und in ihrer Bedeutung für den Evaluationsverlauf reflektiert hat; … die Leitung den mikropolitischen Kontext für ein Evaluationsvorhaben (Konflikte, Interessen, Strategien, Gewinn- und Verlustoptionen etc.) ausreichend in den Blick genommen hat und im Prozess beobachtet; … die Leitung verschiedene Verfahrenselemente unter der Leitorientierung einer „evaluationsförderlichen Organisationskultur“ reflektiert und ihre Handhabung an dieser Leitorientierung ausrichtet; … Transparenz und dadurch intendierte Akzeptanz einer Evaluation als leitende Prinzipien bei der Verfahrensgestaltung zum Tragen kommen; … Evaluation so konzipiert wird, dass der größte Teil der Beteiligten den Aufwand akzeptiert und erlebt als in einem angemessenem Verhältnis stehend zum erwartbaren Nutzen; … die Beteiligten methodische Anleitung und Hilfen erhalten können bei der Konzipierung und Durchführung einer Evaluation; … Unzulänglichkeiten und Fehler nicht nur personenbezogen, sondern auch als Ausdruck eines Systemzustandes der Organisation untersucht werden.