Lernskript Kurz Prüfungsfragen 6-10

1. Nennen Sie vier zentralen Funktionen von Evaluation und erläutern Sie diese kurz. Legitimation Maßnahmen: nach außen Programm präsentieren, Soziale Arbeit muss Effektivität gegenüber Geldgebern nachweisen, zusätzlich zunehmende gesellschaftliche Erwartung der Wirkung...

1. Nennen Sie vier zentralen Funktionen von Evaluation und erläutern Sie diese kurz. Legitimation Maßnahmen: nach außen Programm präsentieren, Soziale Arbeit muss Effektivität gegenüber Geldgebern nachweisen, zusätzlich zunehmende gesellschaftliche Erwartung der Wirkung Kontrolle: Ziele erreicht? Aufwand/Nutzen, wie gut werden die Programme umgesetzt? Kontrolle lässt sich nicht ausschalten in Evaluationsprojekten Förderung Entwicklung: Innovation, Verbesserung der Handlungsprogramme, Lernprozesse, Förderung prof. Reflexion der Handlungspraxis, Professionalisierung Soziale Arbeit Erkenntnisgewinn für Steuerungsentscheidungen: Daten als Grundlage für Entscheidungen und Steuerung und Gestaltung zielgerichtete Prozesse 2. Weshalb behauptet Jochen Merchel, Evaluation sei ein zentrales Element zur Herausbildung professionellen Handelns? Professionelles Handeln in Sozialer Arbeit bedeutet Reflexion des eigenen Handelns/ ob Bedarfe der Klient*innen adressiert/ Zusammenarbeit Ko- Produktion erfolgt und auf welche Art und Weise Professionelles Handeln strebt Verbesserung, Qualitätssteigerung an Professionelles Handeln ist methodisches Handeln Evaluation ist eine Form des methodischen Handelns Evaluation trägt zur Reflexion und Überprüfung des professionellen Handelns bei Systematische Überprüfung von Annahmen, Handlungsprogrammen, Effekten und Nebenfolgen => dadurch Qualität des prof. Handelns steigern + Qualität sichern Evaluation unterstützt professionelles Handeln bei der Entwicklung zielorientierter Handlungsstrategien, die immer wieder überprüft und weiterentwickelt werden Evaluation trägt zur Weiterentwicklung der Kompetenzen der MA bei 3. Unter welchen Voraussetzungen würden Sie sich für eine summativen Evaluation entscheiden, wann würden sie eine formative bevorzugen? Summative Evaluation: o am Ende eines Handlungsprogramms (z.B. Ende einer Fortbildungsreihe für Ehrenamtliche, die traumatisierte Geflüchtete unterstützen) Bilanz ziehen, o Überprüfung Verlauf, Effekte, Abweichungen o Entscheidungshilfe Fortführung, auf Grundlage der Ergebnisse Schlussfolgerungen bilden, die offenlegen, ob Programm wiederholt oder bei einer Neuauflage verändert werden sollte, Vorbereitung für finanzielle Entscheidungen Projektanträge, Ressourceneinsatz Formative Evaluation: o im laufenden Programm o Zwischenergebnis o Verbesserungen im laufenden Prozess einbringen, Erkenntnis welche Punkte beibehalten/fortgeführt werden sollten Kann gleichzeitig in Organisation stattfinden: 1 Programm wird summativ evaluiert aber Umsetzung der Digitalisierungsstrategie wird fortlaufend formativ in der Gesamtorganisation evaluiert 4. Erläutern Sie an einem selbstgewählten Beispiel die einzelnen Verfahrensschritte einer Evaluation. Anlass/Untersuchungsgegenstand/Thema für Evaluation in Organisation festlegen: PSZ, neues Therapiekonzept für Traumastabi-Gruppe, Ergebnis/Wirkung der neuen Therapiematerialien sollen untersucht werden, Dabei werden auch die Ebenen + Handlungsabläufe + Aufwand/Nutzen betrachtet, wenn sehr förderlich übertragen auf weitere Zentren, für Fördermittelverhandlungen verwenden o bestimmen wer in der Evaluationsgruppe ist, z.B. Fachkräfte, Leitung, wissenschaftl. Beirat o Interessen, Werte, Motive der Beteiligten erheben, prüfen ob Klient*innenperspektive zu diesem oder einem späteren Schritt eingeholt werden kann, damit sie sich angesprochen fühlen, Akzeptanz herstellen Forschungsfrage festlegen: Inwiefern tragen die Therapiematerialien und Interventionen zur Stabilisierung der Gruppenteilnehmenden bei? Praxisziele formulieren: positiv formuliert, Bewertung was ist relevant, Bsp. Psychische Verfassung ist verbessert (weniger Albträume), Selbsthilfe Ressourcen sind gestärkt Indikatoren bilden: Praxisziele werden operationalisiert, d.h. es wird überlegt wie kann man den Grad der Zielerreichung der Praxisziele messen. Bsp: Bei Prä-und Post-Messung Werte für die Schwere der Depression/Trauma und für Indikator Selbsthilfe Notfalltools selbst erstellt und eingesetzt Erhebungsinstrument wählen: z.B. Fragebogen prä/post-Messung Selbsteinschätzung + teilnehmende Beobachtung Aus Indikatoren Erhebungsfragen bilden Durchführung: möglichst günstigen Zeitpunkt wählen, Transparenz ggü. Befragten, Fragebogen austeilen zu Beginn und zum Ende der Gruppe + Maßstäbe für Beobachtung festlegen, Beobachtung durch Gruppenleitung + Assistenz Analyse + Schlussfolgerungen: Auswertung mit Tool, z.B. Question Pro/Max QDA, Auswertungsbögen Beobachtung, Handlungsempfehlungen ableiten. Bsp. Neue Therapiematerialien mit Piktogrammen beibehalten, da sie sich sowohl für Akademiker*innen als auch für Analphabet*innen eignen, um Stabilisierung herbeizuführen, Therapiematerial mit viel Text ungeeignet für diverse Gruppe Präsentation: verständlich für Zielgruppe, alle Ergebnisse, Transparenz ggü. allen Beteiligten, Befragte informieren über Ergebnisse, hier wieder Sprache beachten Reflexion: anhand von Gütekriterien, Grundlage für zukünftige Evaluationsprojekte 5. Praxis funktioniert meistens ganz gut – auch ohne Ziele. Trotzdem behauptet J. Merchel, Praxisziele seien zentral für jede Evaluation. Was meinen Sie, weshalb vertritt er diese Meinung? Praxisziele bilden ab, welche Effekte in der Praxis durch bspw. Handlungsprogramme erreicht werden sollen, wünschenswerter Zustand o Was wollen Praxisakteure mit Konzepten und Maßnahmen erreichen? Geben Orientierung Stellen Bezug zum Untersuchungsgegenstand her  Sichern methodisches Handeln, da sie die Verbindung von Forschungsfrage und Bewertungskriterien, Indikatoren, sind Praxisziele regen Reflexion der Praxis an Routinen durch Reflexion aufbrechen und Qualität verbessern Praxisziele definieren die Richtung des Evaluationsprojekts 6. Erläutern Sie an einem selbst gewählten Beispiel die einzelnen Schritte vom Praxisziel zur Erhebungsfrage in einem Fragebogen. PSZ, Interventionen in kunsttherapeutischer Gruppe, psychisch kranke Geflüchtete, Gruppe soll Stabilisierung aber auch soziale Interaktion und Empfinden von Freude fördern Praxisziel: positiv formuliert, passend zur Forschungsfrage, praxisrelevant, Bsp.: Die Kunsttherapeutische Gruppe führt zu der Stabilisierung des emotionalen Empfindens der Gruppenteilnehmenden Operationalisierung der Praxisziele: Indikatoren werden gebildet, um die Ziele messbar zu machen Bsp.: Stress-Resilienz, Verringerung Ängste/Anspannung Erhebungsfrage wird aus Indikatoren gebildet: Mit welcher Frage können die Indikatoren abgefragt werden? Bsp.: Prä-Messung zu Beginn der Gruppe: Wie gut können Sie mit Stress umgehen? Post-Messung Ende Gruppe: Wie gut können Sie mit Stress umgehen, seitdem Sie an der Kunstgruppe teilnehmen? Antwortskala 1-5 Ergebnisse zeigen den Grad der Zielerreichung der Praxisziele 7. Weshalb behauptet Jochen Merchel, Evaluation sei ein zentrales Element zur Herausbildung professionellen Handelns? Professionelles Handeln in Sozialer Arbeit bedeutet Reflexion des eigenen Handelns/ ob Bedarfe der Klient*innen adressiert/ Zusammenarbeit Ko- Produktion erfolgt und auf welche Art und Weise Professionelles Handeln strebt Verbesserung, Qualitätssteigerung an Professionelles Handeln ist methodisches Handeln Evaluation ist eine Form des methodischen Handelns Evaluation trägt zur Reflexion und Überprüfung des professionellen Handelns bei Systematische Überprüfung von Annahmen, Handlungsprogrammen, Effekten und Nebenfolgen => dadurch Qualität des prof. Handelns steigern + Qualität sichern Evaluation unterstützt professionelles Handeln bei der Entwicklung zielorientierter Handlungsstrategien, die immer wieder überprüft und weiterentwickelt werden Evaluation trägt zur Weiterentwicklung der Kompetenzen der MA bei