2-5 Evaluation gesundheitspsychologischer Maßnahmen.pdf

B. Sc. Psychologie, AF G; Kurs 2 Kapitel 5 1 5 Evaluation gesundheitspsychologischer Maßnahmen Lernziele Nach der Lektüre dieses Kapitels  können Sie unterschiedliche Evaluationsarten und deren Besonderheiten unterscheiden,  haben Sie e...

B. Sc. Psychologie, AF G; Kurs 2 Kapitel 5 1 5 Evaluation gesundheitspsychologischer Maßnahmen Lernziele Nach der Lektüre dieses Kapitels  können Sie unterschiedliche Evaluationsarten und deren Besonderheiten unterscheiden,  haben Sie einen Überblick über die vier Qualitätskriterien von Evaluationen,  wissen Sie um die Möglichkeit unterschiedlicher Interessengruppen im Rahmen von Evaluationsprojekten,  können Sie einen strukturierten und wissenschaftlich orientierten Evaluationsprozess definieren. Da der Ruf nach Evidenzbasierung von medizinischen und auch psychologischen Maßnahmen immer lauter wird (Michie et al., 2005), rücken Maßnahmen zur Evaluation und Qualitätssicherung in der Gesundheitspsychologie immer weiter ins Blickfeld von Anwendenden ebenso wie von Betroffenen, was auch in den Forschungsschwerpunkten gesundheitspsychologischer Forschung erkennbar ist (siehe Kurs 2, Kapitel 4 „Forschungsmethoden in der Gesundheitspsychologie“). Solche Maßnahmen sollen absichern, dass die Dienstleistungen im Gesundheitsbereich hinsichtlich ihrer Wirksamkeit und Bedarfsgerechtigkeit bestimmten Standards genügen. Das bedeutet auch, dass die Kosten für eine Intervention, eine Behandlung oder eine andere unterstützende Maßnahme in Relation zur Effizienz der Maßnahme stehen sollen. Bei der Evaluation eines Programmes zur Stressreduktion müsste daher dessen Wirksamkeit in Bezug auf die damit erzielbaren Veränderungseffekte (z. B. eine signifikante Reduktion von Krankentagen) und ebenso die Kosten in Form von Zeit, Geld und Belastungen einbezogen werden, um in der Konsequenz überhöhte Ausgaben zu vermeiden sowie Risiken und die Zahl unnötiger Behandlungen zu minimieren (Znoj & Regli, 2006). 5.1 Begriffliche Einordnung wissenschaftlicher Evaluation Evaluation kann als die systematische Analyse und empirische Untersuchung von Konzepten, Bedingungen, Prozessen und Wirkungen zielgerichteter Aktivitäten zum Zwecke ihrer Bewertung und Modifikation verstanden werden (Mittag & Hager, 2000). Laut dieser Definition ist Evaluation immer wissenschaftsgestützt und datenbasiert (Patton, 1997). Evaluation dient als Planungs- und Entscheidungshilfe und beinhaltet somit eine Bewertung von Handlungsalternativen (Wottawa, 1986). Tabelle 5.1 Alltags- und wissenschaftliches Verständnis von Evaluation Alltäglicher Sprachgebrauch Wissenschaftlicher Sprachgebrauch Irgendwas wird … Programme, Maßnahmen, Organisationen werden … … von jemandem … … durch Personen, die zur Bewertung qualifiziert sind … … in irgendeiner Weise … … in einem objektiven Verfahren … … nach explizit auf den Sachverhalt bezogenen und … nach irgendwelchen Kriterien bewertet. begründeten Kriterien bewertet. Anmerkung. Nach Kromrey, 2001, S. 108. Mit einem ähnlichen Vorgehen führen Menschen ständig Alltagsbewertungen ihrer Umwelt durch. Im Gegensatz zu den Alltagsbewertungen erfolgen wissenschaftliche Evaluationen B. Sc. Psychologie, AF G; Kurs 2 Kapitel 5 2 systematisch und folgen festgelegten wissenschaftlichen Regeln. Die Unterschiede zwischen Alltags- und wissenschaftlicher Evaluation können anhand der verwendeten Begrifflichkeiten verdeutlicht werden (siehe Tabelle 5.1). Bei Evaluationen in der Gesundheitspsychologie geht es darum, dass ein Programm oder eine Maßnahme von Experten in einem objektiven Verfahren nach definierten Kriterien bewertet wird. Evaluation beschäftigt sich immer damit, Erfahrungen zu systematisieren und diese bestmöglich für die Praxis nutzbar zu machen (siehe Abbildung 5.1). Abbildung 5.1 Evaluation und ihr Nutzen für die Praxis. Nach Znoj und Regli, 2006, S. 284 Nach McCoy und Reynolds (1998) gibt es drei wesentliche Gründe, warum Evaluationen durchgeführt werden sollen: 1. Sie bieten die Möglichkeit, die Grundannahme bezüglich der Wirkung einer Intervention oder eines Programmes zu überprüfen. 2. Sie liefern eine Erklärung dafür, weshalb eine Maßnahme mehr oder weniger erfolgreich war. 3. Sie ermöglichen, eine Maßnahme zu replizieren oder weitere Anwendungen durchzuführen. Im Zusammenhang mit Evaluation ist Qualitätssicherung ebenfalls ein wichtiges Konzept. Sie umfasst sowohl Maßnahmen zur Messung als auch Maßnahmen zur Verbesserung der Qualität verschiedenster Objekte (z. B. Dienstleistungen, technische Geräte). Sie hat das zentrale Anliegen, wünschenswerte Kriterien und Ziele tatsächlich erreichbar zu machen, indem die hierzu erforderlichen Maßnahmen umgesetzt werden (Znoj & Regli, 2006). Hier zeigen sich daher Überschneidungen zwischen Evaluation und Qualitätssicherung. 5.2 Evaluationsobjekte Je nach Fokus der Analyse und Anlass der Bewertung können Evaluationen an verschiedenen Objekten durchgeführt werden (Wottawa & Thierau, 2003):  Personen. In diesem Fall können Merkmale, Verhalten, Leistung oder Fähigkeiten Gegenstand der Evaluation sein, wie zum Beispiel Verhaltensänderungen bei einer Person, die an einer Schulung zu Entspannungsverfahren teilgenommen hat.  Produkte. Bei einer produktbezogenen Evaluation stehen die Überprüfung der Funktion, Wirksamkeit und anderer Merkmale eines Produkts im Vordergrund. Beispielsweise B. Sc. Psychologie, AF G; Kurs 2 Kapitel 5 3 können Produktevaluationen bei Medikamenten mit dem Ziel durchgeführt werden, die Wirkung oder auch die Verkaufszahlen zu bewerten.  Zielvorgaben. Hier werden zumeist Zielvorgaben von Institutionen (Betriebe, Schulen oder Universitäten) auf ihre Auswirkungen auf Merkmale wie Stresserleben oder psychische Gesundheit hin untersucht.  Systeme. Die charakteristischen Merkmale von Institutionen und Systemen (z. B. flache oder steile Hierarchien) werden in Hinblick auf Anpassungsmaße wie die Gesundheit von Mitarbeitenden evaluiert.  Umgebungsfaktoren. Alle Merkmale der physischen und sozial-kulturellen Umwelt können bedeutsam für das Erleben und Verhalten sein und daher zum Gegenstand einer Evaluation werden, um gegebenenfalls förderliche von nicht-förderlichen Umweltfaktoren abgrenzen zu können.  Methoden. Bei methodenorientierten Evaluationen wird die Wirksamkeit verschiedener Methoden zur Erreichung eines (gesundheitsbezogenen) Ziels bewertet, indem zum Beispiel verschiedene Herangehensweisen der Rauchentwöhnung (wie Nikotinpflaster, Hypnose, Selbstinstruktionen) hinsichtlich ihrer Wirksamkeit verglichen werden.  Programme. Umfangreiche gesundheitspsychologische Maßnahmen werden als Programme bezeichnet. Dies können auch Kampagnen, Interventionen oder Trainings sein. Programmevaluationen werden beispielsweise bei einer Bewertung der Wirksamkeit verschiedener therapeutischer Ansätze zur Behandlung einer definierten gesundheitlichen Störung durchgeführt.  Forschungsergebnisse. Hierunter wird die zusammenfassende Bewertung von Ergebnissen in einem größeren Themengebiet verstanden. Nachfolgend wird insbesondere auf Programmevaluationen eingegangen, da diese in der Gesundheitspsychologie die größte Relevanz besitzen. 5.3 Evaluationsarten Bei den Evaluationsarten kann zwischen formativer und summativer Evaluation differenziert werden (Döring & Bortz, 2016). Die formative Evaluation ist vorwiegend auf eine Gestaltungsverbesserung angelegt, während die summative Evaluation eher eine globale zusammenfassende Bewertung abgibt (Wottawa & Thierau, 2003). So wären das Erstellen und die Bewertung von Entwürfen zu einer Kampagne für gesundes Essen Teil einer formativen Evaluation, während die Bewertung der finalen Kampagne einer summativen Evaluation entspräche. Bei einer formativen Evaluation interagiert die wissenschaftliche Leitung meist über den gesamten Verlauf der Intervention mit den Testpersonen, während sie in der summativen Evaluation erst im Nachgang aktiv wird (Schütz & Möller, 2006). Typischerweise werden formative Daten sowohl qualitativ als auch quantitativ erhoben; eine summative Evaluation wird üblicherweise auf der Basis von quantitativen Daten durchgeführt (Wottawa & Thierau, 2003). Zusammenfassend liefert eine formative Evaluation einen größeren Beitrag zur Entwicklung und Optimierung von Interventionen. Auf der anderen Seite eignet sich eine summative Evaluation besser für die Nutzenbestimmung bereits existierender Programme (Scriven, 1967; siehe Video 5.1). Video 5.1. Formative und summative Evaluation. Verfügbar unter https://youtu.be/OnS-3W-EgAw B. Sc. Psychologie, AF G; Kurs 2 Kapitel 5 4 Nicht nur die Unterscheidung in formative und summative Evaluation beinhaltet wichtige Informationen über die Zielrichtung einer Evaluation. Auch die Zeit kann als Kriterium zur Charakterisierung herangezogen werden. Entlang der Zeitschiene lassen sich weitere Evaluationsarten voneinander abgrenzen (siehe Abbildung 5.2). Abbildung 5.2 Zeitliche Einordnung verschiedener Evaluationsformen. Nach Mittag und Hager, 2000, S. 108 Es wird dabei zwischen den Evaluationsformen differenziert, die vor der Programmkonzeption stattfinden, denen, die während der Konzeption und Durchführung erfolgen und jenen, die im Nachgang durchgeführt werden. Wie in Abbildung 5.2 ersichtlich wird, ist der zeitliche Ansatzpunkt jeweils unterschiedlich gewählt. Als Konsequenz daraus ist die Ausrichtung der jeweiligen Evaluationsform eine andere. Während es beispielsweise bei der frühesten Evaluation noch um antizipatorische Werte geht, welche auf Wirksamkeitspotenzialen oder theoretischen Hypothesen basieren, geht es bei letzterer Evaluation vermehrt um das Verhältnis zwischen Kosten und Nutzen. 5.4 Bewertungskriterien Um eine gewisse Vergleichbarkeit zwischen den unterschiedlichen Evaluationsprojekten auch auf nationaler und internationaler Ebene zu schaffen, wurden von mehreren Institutionen in Kooperation mit anerkannten Wissenschaftler:innen Evaluationsstandards erarbeitet. Für den deutschsprachigen Raum wurden 30 Standards publiziert, die eine Qualitätssicherung der Evaluation gewährleisten sollen (Gesellschaft für Evaluation [DeGEval], 2008). Im Detail sind diese zu finden unter https://www.degeval.org/degeval-standards/. Diese Standards lassen sich den vier Kategorien Nützlichkeit, Durchführbarkeit, Fairness und Genauigkeit zuordnen. Nützlichkeit Evaluationen sollten sich grundsätzlich am Informationsbedarf von Nutzenden orientieren. Dieser Umstand wird im Bewertungskriterium der Nützlichkeit berücksichtigt. Um diesem Kriterium gerecht zu werden, müssen demnach zuerst die Personen, die an der Umsetzung, Fortführung, Konzeption oder Teilnahme beteiligt sind, identifiziert werden. Zudem muss die Evaluation ein klares Ziel verfolgen. Die Nützlichkeit von verschiedenen Evaluationen kann sich zum Beispiel unterscheiden, je nachdem ob der Evaluationsgegenstand fortlaufend B. Sc. Psychologie, AF G; Kurs 2 Kapitel 5 5 weiterentwickelt werden soll, eine Grundlagenentscheidung getroffen werden soll oder eine Grundlage für politische oder wissenschaftliche Diskussion bieten soll. Für eine nützliche Evaluation ist es außerdem erforderlich, dass die Durchführenden methodisch kompetent sind und eine hohe Akzeptanz bei den Nutzenden der Evaluation genießen. Um die Ergebnisse einer Evaluation nutzbar zu machen, müssen diese sowohl rechtzeitig vorliegen als auch transparent und ausreichend ausführlich dargestellt werden. Durchführbarkeit Dieses Bewertungskriterium berücksichtigt, dass die meisten Evaluationen nicht im Labor durchgeführt werden, sondern Feldstudien sind (also in der natürlichen Umgebung stattfinden). Deshalb sollten die Evaluationen unter möglichst ökonomischen Bedingungen in Bezug auf die Verwendung von Ressourcen (z. B. Zeit, Geld, Material) durchgeführt werden (Atria et al., 2006). Bei der Prüfung der Effektivität einer Kampagne zum Aufbau sportlicher Aktivitäten sollte zum Beispiel hinsichtlich der Stichprobengröße und Laufzeit genau überlegt werden, wie viele Teilnehmende nötig sind, um valide und generalisierbare Ergebnisse zu erzielen. Ebenso sollte geprüft werden, ab wann ein Mehraufwand zu keiner qualitativen Verbesserung der Ergebnisse führt. Auch in Bezug auf die Studiendauer gilt es zu beachten, welcher Zeitraum notwendig für die Betrachtung der Effekte ist, jedoch auch, ab wann eine Erhöhung der zeitlichen Dauer lediglich ein unökonomischer Umgang mit Ressourcen ist. Fairness Der Aspekt der Fairness beschäftigt sich mit dem Schutz individueller Rechte im Verlauf einer Evaluation. Mit diesem Bewertungskriterium soll auch die Sensibilität gegenüber unethischem und ungesetzlichem Verhalten angesprochen werden (Atria et al., 2006). Dies kann durch formale Vereinbarungen zwischen der auftraggebenden Institution, der wissenschaftlichen Leitung der Evaluation und den Befragten geregelt werden, in denen geregelt wird, wie mit persönlichen Daten umgegangen wird, wer Zugang hierzu erhält und auf welcher Ebene Rückschlüsse gezogen werden. Weiter geht es dabei um eine wertschätzende Haltung gegenüber den Befragten und um Transparenz bei der Offenlegung von Evaluationsergebnissen und ebenso von eventuellen Interessenkonflikten (Znoj & Regli, 2006). Fairness wird auch dadurch erreicht, dass sich die evaluierenden Personen ihrer eigenen Bewertungsmacht bewusst sind und einen sorgsamen Umgang damit praktizieren. Genauigkeit Dem Bewertungskriterium Genauigkeit ist dann Genüge getan, wenn eine Evaluation gültige Informationen und Ergebnisse zu den untersuchten Evaluationsobjekten liefert und möglichst genaue Beantwortungen der Evaluationsfragen ermöglicht. Genauigkeit wird durch die präzise Beschreibung des Evaluationsgegenstandes, eine sorgfältige Analyse des Kontextes, ausreichend detaillierte Untersuchungen sowie eine fundierte Dokumentation des Ziels, der methodischen Vorgehensweise, der Informationsquellen, der Schlussfolgerungen und Empfehlungen erreicht. 5.5 Evaluationsperspektiven Grundsätzlich kann das generierte Wissen aus Evaluationsstudien für verschiedene Zielgruppen von Interesse sein (z. B. klinische Fachleute, Versicherte, Patient:innen, Kostenträger). Je nachdem, wer die Evaluation durchführt oder in Auftrag gibt, ergeben sich unterschiedliche Perspektiven und Ziele. B. Sc. Psychologie, AF G; Kurs 2 Kapitel 5 6 Selbst- versus Fremdevaluation Zunächst lassen sich Selbst- und Fremdevaluationen unterscheiden. Besonders für formative Evaluationen können Selbstevaluationen durch Mitglieder der evaluierten Institution besonders aussagekräftige Resultate erbringen, da die evaluierenden Personen an der Konzeption, Durchführung und Analyse der untersuchten Programme beteiligt sind und daher Verbesserungsmöglichkeiten schnell erkannt und umgesetzt werden können. Fremdevaluationen werden von externen Fachleuten durchgeführt, die im Allgemeinen kein vertieftes Wissen über die Strukturen und Abläufe der beauftragenden Institution besitzen und dadurch neutraler und objektiver sind. Fremdevaluationen werden zumeist für summative Evaluationen in Auftrag gegeben (Atria et al., 2006). Interne versus externe Evaluation Diese Unterteilung der Perspektive beschreibt die Urheberschaft der Konzeption und der Festlegung der Evaluationsziele. Bei der internen Variante hat sich die Institution selbst Ziele auferlegt und möchte diese evaluieren. Bei der externen Version handelt es sich in den meisten Fällen um Evaluationen und damit auch Evaluationsziele, die von einer übergeordneten Stelle (z. B. Ministerien, Politikern oder Gewerkschaften) vorgegeben sind und die der Systemsteuerung dienen. Als Beispiel für eine interne Evaluation ließe sich eine von einem Unternehmen konzipierte und durchgeführte Evaluation ihrer betriebsinternen Gesundheitskampagnen nennen. Dagegen handelt es sich um eine externe Evaluation, wenn ein Betrieb den Erfolg von Maßnahmen nach einer – gesetzlich vorgeschriebenen – Gefährdungsbeurteilung zu psychischen Belastungen erheben muss (Wolf, 2017). Fachleute versus Betroffene versus andere Stakeholder Wird eine Evaluation durch externe Fachleute durchgeführt, wird das Ziel der Evaluation zum einen die erfolgreiche Bearbeitung des Evaluationsauftrags sein. Zum anderen kann aber auch eine Erweiterung des theoretischen Wissens über das untersuchte inhaltliche Gebiet aus der Evaluation resultieren. Aus der Perspektive der Personen, die als Betroffene in einer Evaluation untersucht und befragt werden, kann das Ziel der Maßnahme zum Beispiel eine Verbesserung ihrer Arbeits- und Lebensbedingungen und damit ihrer Lebensqualität sein. Sie können sich aber ebenso als Objekte einer Evaluation wahrnehmen und negative Konsequenzen durch deren Ergebnisse befürchten. Unter dem Begriff Stakeholder werden alle Personen- und Interessengruppen verstanden, die an einem Prozess beteiligt sind. Bei einer Evaluation sind daher zunächst Fachleute und Betroffene Stakeholder. Neben diesen beiden Gruppen gibt es weitere Institutionen und Interessengruppen, die von einer Evaluation mittelbar oder unmittelbar betroffen sind (Westermann, 2002). Dies können zum Beispiel therapeutisches und medizinisches Fachpersonal, Angehörige anderer sozialer Berufe, Vertretungen der Politik, Krankenkassen oder Versicherungen sein. Wird die Perspektive dieser weiteren Stakeholder für die Evaluation herangezogen, dann können Evaluationsstudien auch als strategisches Instrument zur Beurteilung des Erfolgs oder Misserfolgs einer Maßnahme und der anschließenden Entscheidung über die Finanzierung dienen. Evaluation kann in einem solchen Fall nicht als wertneutrales Instrument aufgefasst werden. Sind verschiedene Stakeholdergruppen involviert, können die Interessen dieser Gruppen divergieren und sogar miteinander konfligieren. In derartigen Fällen ist es für den Erfolg der Evaluation wichtig, die verschiedenen Stakeholderinteressen angemessen zu berücksichtigen, denn das Fehlen einer hinreichenden Akzeptanz der Ziele bei allen beteiligten Personengruppen kann ein Evaluationsprojekt gefährden. Gerade wenn Interessen einzelner Personen oder Gruppen (z. B. B. Sc. Psychologie, AF G; Kurs 2 Kapitel 5 7 der Durchführenden einer Intervention) bedroht werden, kann dies erhebliche Auswirkungen auf die Motivation der Beteiligten haben (Callahan & Caldwell, 1993). 5.6 Evaluationsprozess Bei einer Evaluationsstudie handelt es sich um ein mehr oder weniger langfristiges komplexes Projekt. Deswegen ist es empfehlenswert, den Prozess der Evaluation zu strukturieren und in einzelne Phasen einzuteilen (siehe Abbildung 5.3). Phasenmodelle können helfen, die Projektabwicklung und Projektdarstellung umzusetzen. Für Evaluationsprojekte müssen diese Modelle drei Perspektiven vereinen (Bortz & Döring, 2006): 1. Die Phasen des empirischen Forschungsprozesses müssen eingehalten werden (wissenschaftliche Perspektive). 2. Die Phasen müssen entsprechend des Projektmanagements organisiert werden (Projektmanagementperspektive). 3. Die Phasen müssen den Zeitpunkt der Interventionsentwicklung oder -durchführung berücksichtigen (Entwurfsperspektive). Abbildung 5.3 Phasenmodell für Evaluationsforschungsprojekte. Nach Döring und Bortz, 2016, S. 1018 5.6.1 Initiierungsphase In der Initiierungsphase werden mögliche Evaluationsprojekte identifiziert, die zu akquirieren sind (von Seiten der Evaluierenden) oder deren Finanzierung zu klären ist (von Seiten der Institutionen). Ein weiterer wichtiger Punkt in dieser ersten Phase ist die Zielklärung, da Evaluationsforschung ohne eine eindeutige Zieldefinition zumeist nicht gelingen kann. Dabei unterscheidet man zwischen den Zielen der Intervention (Was soll mit der Intervention erreicht werden?) und den Zielen der Evaluation (Was soll die Evaluation bewerten?). Es lassen sich dabei fünf verschiedene Ziele der Evaluation hervorheben (Stockmann, 2000):  Erkenntnisziel. Bei dieser Art von Ziel geht es darum, wissenschaftliche Erkenntnisse über die Zusammenhänge von Intervention und Wirkung zu erlangen.  Optimierungsziel. Geht es bei der Evaluation vorrangig um Optimierung, dann sollen Stärken einer Intervention herausgefiltert und Möglichkeiten identifiziert werden, wie B. Sc. Psychologie, AF G; Kurs 2 Kapitel 5 8 diese weiter optimiert werden können. Ebenso sollen Schwächen der Intervention aufgedeckt und wenn möglich abgebaut werden.  Kontrollziel. In diesem Fall steht die Kontrolle der Maßnahme im Vordergrund. Dazu soll evaluiert werden, ob die Maßnahme korrekt umgesetzt wird und ob die intendierten Wirkungen mit der erwarteten Effektivität und Kosten-Nutzen-Bilanz erzielt werden.  Entscheidungsziel. Ist es das Ziel, eine Entscheidung zu treffen, dann richtet sich die Evaluation darauf aus, verschiedene Interventionen miteinander zu vergleichen. Es kann bei dieser Art Ziel auch um die Entscheidung gehen, ob eine Intervention gefördert, weiterentwickelt oder zusätzlich in anderen Bereichen implementiert werden soll.  Legitimationsziel. Bei dem Legitimationsziel sollen die Ergebnisse der Evaluation dazu beitragen, die Intervention nach außen gegenüber Dritten zu legitimieren und beispielsweise die Vergabe von Geldern zu rechtfertigen. Die konkrete Formulierung und Messbarkeit der Evaluationsziele sind entscheidende Voraussetzungen für ihre Erreichung. Häufig werden sie von der auftraggebenden Instanz jedoch nur vage formuliert (z. B. „… ob der Einsatz von Entspannungsübungen die psychische Gesundheit in Betrieben verbessert.“). Im Rahmen einer Evaluation können jedoch nur eindeutige und umgrenzte Fragen beantwortet werden. Für deren Formulierung ist es wichtig, die Grobziele in Feinziele zu überführen. In dem oben genannten Beispiel wäre es wichtig zu definieren, um welche konkrete Entspannungsübungen es gehen soll und in welchem Rahmen ihre Durchführung in den Betrieben geplant ist. Ebenso muss eindeutig definiert werden, welche Aspekte psychischer Gesundheit als abhängige Variablen untersucht werden sollen und wie deren Operationalisierung geplant ist. 5.6.2 Konzeptionsphase Im nächsten Schritt ist die Konzeptionsphase zu gestalten, bei der verschiedene Aufgaben zu berücksichtigen sind. Zunächst müssen die Evaluationsbedingungen genauer exploriert werden. Hierzu gehören die Zusammenstellung des Evaluationsteams sowie die genauere Betrachtung des Evaluationsgegenstandes (Was genau steht im Fokus? Wer sind Stakeholder? Was sind deren Interessen und Erwartungen? Welche Möglichkeiten der Datenerhebung lässt das Evaluationsobjekt zu?). Im Anschluss daran sollte ein Evaluationskonzept entwickelt werden. Hierzu liegen erprobte Checklisten vor, die die einzelnen Arbeitsschritte beschreiben, zum Beispiel die „Evaluation Design Checklist“ (Stufflebeam & Shinkfield, 2007). Das Evaluationskonzept sollte in jedem Fall Informationen zu folgenden Aspekten enthalten (Döring & Bortz, 2016):  Evaluationsziele (Grobziele und Feinziele)  Forschungsfragen und/oder Hypothesen, ggf. auch Theoriebildung  Untersuchungsplanung (mit Bezug zu Evaluationsmodellen und Evaluationsstandards)  Projektmanagement (Zeitplan, Kostenplan, Projektorganisation)  Datenerhebung und Datenanalyse  Art und Umfang der Evaluationsberichte  Maßnahmen zur Evaluationsnutzung  Metaevaluation Hervorzuheben ist, dass bei der Erstellung des Evaluationskonzeptes Nützlichkeit, Durchführbarkeit, Fairness und Genauigkeit überprüft werden. Ein weiterer relevanter Teilschritt neben der Vorbereitung der wissenschaftlichen Arbeit ist die Gewährleistung des operativen Projektmanagements. Hierbei kann das magische Dreieck des Projektmanagements hilfreich sein (siehe Abbildung 5.4). B. Sc. Psychologie, AF G; Kurs 2 Kapitel 5 9 Abbildung 5.4 Magisches Dreieck des Projektmanagements. Nach Litke und Kunow, 2007, S. 28 Wünscht sich der Auftraggeber beispielsweise eine Verkürzung der Projektzeit, wird dies unmittelbare Auswirkungen auf die Kosten (mehr Personal) oder auch die Qualität haben (Litke & Kunow, 2007). Da diese drei Aspekte eng miteinander zusammenhängen, sollten in der Konzeptionsphase hinsichtlich des Zeitmanagement, der Budgetierung und der Qualitätszielen klare Vorgaben entworfen werden, die zusammen mit allen anderen inhaltlichen, konzeptionellen und organisatorischen Vereinbarungen in einem Vertrag zwischen der Institution und den Evaluierenden festgehalten werden. 5.6.3 Planungsphase Die dritte Phase der Evaluation ist die konkrete Planung. Diese Phase umfasst das Formulieren von Evaluationsfragen und -hypothesen, die Erstellung der Untersuchungsplanung sowie die Projektplanung. Bei den Evaluationsfragen kann mit offenen Fragen (Erreicht die Intervention die gewünschte Wirkung?) oder mit gerichteten Hypothesen (Die spezifische gewünschte Wirkung wird mit der Intervention in stärkerem Maße erreicht als bei Unterlassen der Intervention.) gearbeitet werden. Die Untersuchungsplanung setzt sich anschließend mit dem detaillierten Untersuchungsdesign, der Stichprobe und den einzusetzenden Instrumenten auseinander (Döring & Bortz, 2016). Die Projektpläne, die bereits im Konzeptentwurf erstellt wurden, werden nun im Rahmen der Planungsphase ausdifferenziert und verfeinert (Keßler & Winkelhofer, 2004). 5.6.4 Realisierungsphase Der vierte Schritt bezieht sich auf die Umsetzung oder Realisierung der erstellten Pläne. In dieser Phase werden zunächst die Daten erhoben. Da es sich bei Evaluationen zumeist um Feldforschung handelt, sind Störfaktoren besondere Aufmerksamkeit zu widmen (Hoff & Klein, 2015). Ein Beispiel für einen Störfaktor im Rahmen einer Evaluation wäre eine Wirkfaktorverdeckung. So könnte eine Intervention zur Alkoholismusprävention theoretisch wirksam sein, diese Wirksamkeit könnte aber durch konkurrierende Maßnahmen anderer Aktionen (z. B. durch omnipräsente Werbung für alkoholische Getränke) überlagert werden. Durch die detaillierte Betrachtung der beiden Faktoren können die jeweiligen Wirkweisen bei einer Verbesserung der Intervention in Betracht gezogen werden. In diesem Beispiel wäre es empfehlenswert, die Veränderung bei der Intervention anzusetzen, da auf die äußeren Umstände (Werbung für alkoholische Getränke) wenig bis kein Einfluss genommen werden kann. In einem anderen Beispiel könnte es darum gehen, die Belegschaft in einem Betrieb zu gesünderem B. Sc. Psychologie, AF G; Kurs 2 Kapitel 5 10 Ernährungsverhalten zu motivieren. Dazu werden Aufklärungskampagnen eingesetzt. Allerdings wirkt das ungesunde Essen, das in der Kantine mehrheitlich angeboten wird, der Wirksamkeit der Intervention als Störfaktor entgegen. In diesem Beispiel liefert die differenzierte Betrachtung der beiden Wirkfaktoren Aufschluss darüber, dass der effizientere Ansatz für eine Verbesserung des Ernährungsverhaltens eine Veränderung der äußeren Umstände, also des Kantinenangebots, wäre. Im Anschluss daran werden die Daten ausgewertet, analysiert und interpretiert. Anders als in der Grundlagenforschung, bei der ein Ergebnis auch weitere Fragen anschließen oder divergierende Ergebnisse darlegen kann, sollte bei einer Evaluation ein konsistentes Gesamtergebnis entstehen, aus dem Empfehlungen abgeleitet werden können. Dies erfordert von den Evaluierenden den Einsatz von umfangreichem Fachwissen, um die Datenlage zu interpretieren und zu bewerten, auch wenn ihre Interpretationen unpopulär sein oder auf Kritik stoßen könnten (Stufflebeam & Shinkfield, 2007). Des Weiteren ist während der gesamten Laufzeit des Projektes ein Projektcontrolling, welches die Projektziele und Projektpläne fortlaufend kontrolliert, erforderlich. Dazu werden Ist-Soll- Abgleiche durchgeführt. Durch sie kann gewährleistet werden, dass Probleme im Verlauf frühzeitig erkannt und behoben werden können. Ein lückenloses Projektcontrolling ermöglicht Transparenz gegenüber der auftraggebenden Institution und anderen Interessengruppen (Fiedler, 2016). All dies entspricht der Projektmanagementperspektive, welche zusätzlich zur wissenschaftlichen Perspektive erforderlich ist, um sicherzustellen, dass das Evaluationsprojekt erfolgreich und gründlich abgewickelt wird. 5.6.5 Abschlussphase Als letzte Phase erfolgt der Abschluss. In diesem Schritt werden die Ergebnisse an die unterschiedlichen Interessengruppierungen kommuniziert und Entscheidungen für die Praxis abgeleitet. Bei der Kommunikation der Befunde kommen die Bewertungskriterien der Nützlichkeit (zielgruppenorientiert, verständlich und ohne überflüssige Fachbegriffe), der Genauigkeit und der Fairness (Datenschutz) erneut zum Tragen (DeGEval, 2008). Bei der Ableitung von Handlungsempfehlungen sollte auf mögliche Störfaktoren sowie Fehl-, Über- und Unterinterpretationen hingewiesen werden (Döring & Bortz, 2016). Eine vom Bundesamt für Gesundheit (1997) der Schweiz erstellte Checkliste identifiziert zusammenfassend die wichtigsten Fragestellungen für die Nutzung der Ergebnisse nach Abschluss des Evaluationsprojekts (siehe Kasten 5.1).  Haben wir die für unsere Planung und Entwicklung wichtigsten Aussagen der Studie identifiziert?  Ist klar, was aus der Studie für die Umsetzung von Projekten erfolgt?  Haben wir mögliche Folgen für die Aktivitäten verschiedener Gruppen abgeschätzt?  Haben wir überlegt, was zu tun ist?  Ist klar, welche Rahmenbedingungen dafür geschaffen werden müssen?  Wissen wir, welcher Aufwand mit der Durchführung solcher Folgearbeiten verbunden ist (personell wie finanziell)?  Haben wir die Personen oder Gruppen identifiziert, die am ehesten geeignet sind, die nächsten Schritte zu übernehmen?  Haben wir überlegt, welche Personen/Gruppen Priorität haben (Praktikabilität versus Ideal)?  Ist uns klar, wie wir am besten an diese Gruppen herantreten? B. Sc. Psychologie, AF G; Kurs 2 Kapitel 5 11  Wer ist am ehesten geeignet, an diese Gruppen heranzutreten? Kasten 5.1. Checkliste für die Bewertung und Nutzung von Evaluationsergebnissen. Aus Bundesamt für Gesundheit, 1997. Mit Blick auf die Kommunikation der Evaluationsergebnisse und das Gesundheitssystem gliedern sich an die Abschlussphase noch zwei weitere Aspekte an: die Publikation und Verbreitung der Evaluationsergebnisse und die Metaevaluation. Diese Aspekte sind erforderlich, um sicherzustellen, dass gesundheitsförderliches Wissen verbreitet wird und dass die wissenschaftlich Tätigen und die Betroffenen ihr Wissen vernetzen und aufeinander aufbauen können. In dem Sinne sind Metaevaluationen, also die vergleichende Bewertung von Evaluationen mit ähnlichen Komponenten, wichtig für die Gewinnung von tragfähigen Erkenntnissen zu einem Inhaltsbereich oder einer Fragestellung. Literaturverzeichnis Atria, M., Reimann, R., & Spiel, C. (2006). Qualitätssicherung durch Evaluation. Die Bedeutung von Zielexplikation und evaluativer Haltung. In C. Steinebach (Ed.), Handbuch Psychologische Beratung (pp. 574-586). Klett-Cotta. Bortz, J., & Döring, N. (2006). Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. Springer. Bundesamt für Gesundheit (1997). Leitfaden für die Planung von Projekt- und Programmevaluationen. Fachbereich für Evaluation. Callahan, C. M., & Caldwell, M. S. (1993). Establishment of a national data bank on identification and evaluation instruments. Journal for the Education of the Gifted, 16(2), 201-219. https://doi.org/10.1177/016235329301600208 Döring, N., & Bortz, J. (2016). Forschungsmethoden und Evaluation. Springer. Fiedler, R. (2016). Controlling von Projekten. Springer. Gesellschaft für Evaluation (Ed.) (2008). Standards für Evaluation. DeGEval. Hoff, T., & Klein, M. (2015). Evidenzbasierung in der Suchtprävention. Springer. Holling, H. (2009). Grundlagen der Evaluationsforschung. In N. Birbaumer, D. Frey, J. Kuhl, W. Schneider., & R. Schwarzer (Eds.), Enzyklopädie der Psychologie (pp. 1-35). Hogrefe. Keßler, H., & Winkelhofer, G. (2004). PM als Problemlösungsprozess. In H. Keßler (Ed.), Projektmanagement (pp. 121-139). Springer. Kromrey, H. (2001). Evaluation – ein vielschichtiges Konzept: Begriff und Methodik von Evaluierung und Evaluationsforschung; Empfehlungen für die Praxis. Sozialwissenschaften und Berufspraxis, 24(2), 105- 131. Litke, H.-D., & Kunow, I. (2007). Projektmanagement. Haufe. McCoy, A. R., & Reynolds, A. J. (1998). Evaluating implementation. In A. J. Reynolds & H. J. Walberg (Eds.), Advances in Educational Productivity (pp. 117-133). JAI Press. Michie, S., Johnston, M., Abraham, C., Lawton, R., Parker, D., & Walker, A. (2005). Making psychological theory useful for implementing evidence based practice: A consensus approach. BMJ Quality & Safety, 14(1), 26-33. https://doi.org/10.1136/qshc.2004.011155 Mittag, W., & Hager, W. (2000). Ein Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen. In W. Hager, J.-L. Patry, & H. Brezing (Eds.), Evaluation psychologischer Interventionsmaßnahmen – Standards und Kriterien: Ein Handbuch (pp. 102-128). Huber. B. Sc. Psychologie, AF G; Kurs 2 Kapitel 5 12 Patton, M. Q. (1997). Implementation evaluation: What happened in the program. In M. Q. Patton (Ed.), Utilization-focused evaluation: The new century text (pp. 195–211). Sage. Rossi, P. H., Freeman, H. E., & Lipsey, M. W. (2004). Evaluation. A systematic approach. Sage. Schütz, B., & Möller, A. (2006). Prävention. In B. Renneberg & P. Hammelstein (Eds.), Gesundheitspsychologie (pp.143-143). Heidelberg. Scriven, M. (1967). The methodology of evaluation. In R. W. Tyler, R. M. Gagne, & M. Scriven (Eds.), Perspectives of Curriculum Evaluation (pp.39-83). Rand McNally. Stockmann, R. (2000). Evaluation in Deutschland. In R. Stockmann (Ed.), Evaluationsforschung – Grundlagen und ausgewählte Forschungsfelder (pp. 11-40). Leske + Budrich. Stufflebeam, D., & Shinkfield, A. (2007). Overview of the evaluation field. In D. Stufflebeam & A. Shinkfield (Eds.), Evaluation theory, models, and applications (pp. 3-44). Wiley. Westermann, R. (2002). Merkmale und Varianten von Evaluationen: Überblick und Klassifikation. Zeitschrift für Psychologie, 210(1), 4-26. https://doi.org/10.1026//0044-3409.210.1.4 Wittmann, W. (1985). Evaluationsforschung. Aufgaben, Probleme und Anwendungen. Kosten-Nutzen- und Kosten-Effektivität als Bewertungsgrundlage. In D. Albert, K. Pawlik, K.-H. Stampf, & W. Stroebe (Eds.), Lehr- und Forschungstexte Psychologie (pp. 342-360). Springer-Verlag. Wolf, R. (2017). Methoden der Programmevaluation. University of Bamberg Press. Wottawa, H. (1986). Evaluation. In B. Weidenmann, A. Krapp, M. Hofer, G. L. Huber, & H. Mandl (Eds.), Pädagogische Psychologie (pp. 703-733). Urban & Schwarzenberg. Wottawa, H., & Thierau, H. (2003). Lehrbuch Evaluation. Huber. Znoj, H. & Regli, D. (2006). Begriff und Arten der Evaluation. In B. Renneberg & P. Hammelstein (Eds.), Gesundheitspsychologie (pp. 291-302). Heidelberg.