VL_E_AOP13_Eignung Training Ausbildung_14.12.23 PDF

Eignung,Training, Ausbildung Achim Elfering Universität Bern Abteilung für Arbeits- und Organisationspsychologie 14.12.2023 Eignung: Die Ansätze der Eignungsdiagnostik und ihre Validierungslogik Eigenschaften Tests Konstrukt Validierung Inhalt Simulationen Verhalten Kriterium Biographie Ergebnisse S...

Eignung,Training, Ausbildung Achim Elfering Universität Bern Abteilung für Arbeits- und Organisationspsychologie 14.12.2023 Eignung: Die Ansätze der Eignungsdiagnostik und ihre Validierungslogik Eigenschaften Tests Konstrukt Validierung Inhalt Simulationen Verhalten Kriterium Biographie Ergebnisse Schuler, H. & Höft, S. (2001). Konstruktorientiertere Verfahren der Personalauswahl. In Heinz Schuler (Hrsg.), Lehrbuch der Personalpsychologie. Göttingen: Hogrefe Verlag. (S. 95) 2 Der erfolgreiche Personalchef I Ein Personalchef rühmt sich seiner Fähigkeit, das Potential von Bewerberinnen bzw. Bewerbern beurteilen zu können... 3 Der erfogreiche Personalchef II „Bei uns müssen Kandidatinnen bzw. Kandidaten für wichtige Posten zunächst eine Serie von eignungsdiagnostischen Testverfahren bestehen. Danach aber behalte ich mir die letzte Entscheidung vor. Diese treffe ich auf Grund eines zwanglosen Gesprächs. Das mache ich seit vielen Jahren so, und ich habe damit eine Trefferquote von 80 Prozent erzielt.“ 4 Der erfolgreiche Personalchef III Warum erzielt dieser Personalchef eine so hohe Trefferquote? 5 Gestuftes Auswahlverfahren 50 BewerberInnen 30 BewerberInnen 20 Gute = 40% 16 Gute = 53% 20 BewerberInnen 12 Gute = 60% 12 BewerberInnen 10 Gute = 83% 6 Basisrate und Selektionsrate I Basisrate Die Zahl geeigneter Personen im Verhältnis zur Gesamtbewerberzahl Selektionsrate Die Zahl der einzustellenden Personen im Verhältnis zur Gesamtbewerberzahl Erfolgsquote der Auswahlprozedur Das Verhältnis der richtigerweise Eingestellten zur Gesamtzahl der Eingestellten Nach: Dieter Zapf – Einführung in die Arbeits- & Organisationspsychologie II 7 Basisrate und Selektionsrate Erfolgsquote EQ = VP / (VP+FP) Basisrate BR = (VP+FN) / (VP+VN+FP+FN) Selektionsrate SR = (VP+FP) / (VP+VN+FP+FN) VP: Valid positives: richtigerweise eingestellt FP: False positives: fälschlicherweise eingestellt VN: Valid negatives: richtigerweise abgelehnt FN: False negatives: fälschlicherweise abgelehnt Nach: Dieter Zapf – Einführung in die Arbeits- & Organisationspsychologie II 8 Erfolgsquote: EQ = VP / (VP+FP) = 0.5 Kriterium abgelehnt angenommen FN VP geeignet VN FP nicht geeignet Prädiktor Thack, W. H. (1983). Auswahl und Platzierung von Mitarbeitern. In F. Stoll (Hrsg.), Kindlers „Psychologie des 20. Jahrhunderts“. Arbeit und Beruf, Bd. 1 (S. 474-500). Weinheim: Beltz. 9 Erfolgsquote : EQ = VP / (VP+FP) = 0.75 Kriterium abgelehnt angenommen FN VP VN FP geeignet nicht geeignet Prädiktor Thack, W. H. (1983). Auswahl und Platzierung von Mitarbeitern. In F. Stoll (Hrsg.), Kindlers „Psychologie des 20. Jahrhunderts“. Arbeit und Beruf, Bd. 1 (S. 474-500). Weinheim: Beltz. 10 Erfolgsquote: EQ = VP / (VP+FP) = 0.2 Kriterium abgelehnt angenommen FN VP geeignet nicht geeignet VN FP Prädiktor Thack, W. H. (1983). Auswahl und Platzierung von Mitarbeitern. In F. Stoll (Hrsg.), Kindlers „Psychologie des 20. Jahrhunderts“. Arbeit und Beruf, Bd. 1 (S. 474-500). Weinheim: Beltz. 11 Erfolgsquote : EQ = VP / (VP+FP) = 0.35 Kriterium abgelehnt angenommen FN VN VP FP geeignet nicht geeignet Prädiktor Thack, W. H. (1983). Auswahl und Platzierung von Mitarbeitern. In F. Stoll (Hrsg.), Kindlers „Psychologie des 20. Jahrhunderts“. Arbeit und Beruf, Bd. 1 (S. 474-500). Weinheim: Beltz. 12 Erfolgsquote : EQ = VP / (VP+FP) = 0.7 Kriterium abgelehnt angenommen FN VP FP geeignet nicht geeignet VN Prädiktor Thack, W. H. (1983). Auswahl und Platzierung von Mitarbeitern. In F. Stoll (Hrsg.), Kindlers „Psychologie des 20. Jahrhunderts“. Arbeit und Beruf, Bd. 1 (S. 474-500). Weinheim: Beltz. 13 Erfolgsquote = 1, aber: Erfolgsquote durch Würfeln wäre 0.8 Kriterium abgelehnt angenommen FN VP geeignet VN FP nicht geeignet Prädiktor Thack, W. H. (1983). Auswahl und Platzierung von Mitarbeitern. In F. Stoll (Hrsg.), Kindlers „Psychologie des 20. Jahrhunderts“. Arbeit und Beruf, Bd. 1 (S. 474-500). Weinheim: Beltz. 14 Erfolgsquote : EQ = VP / (VP+FP) = 1 Kriterium abgelehnt angenommen VP geeignet FN VN FP nicht geeignet Prädiktor Thack, W. H. (1983). Auswahl und Platzierung von Mitarbeitern. In F. Stoll (Hrsg.), Kindlers „Psychologie des 20. Jahrhunderts“. Arbeit und Beruf, Bd. 1 (S. 474-500). Weinheim: Beltz. 15 Beispiel für Grundquote 50% a) 10% werden eingestellt Validität =.35 Trefferquote steigt von 50 auf 74% b) 50% werden eingestellt Validität =.65 Trefferquote steigt von 50 auf 73% Unter Bedingung a) ist das schlechtere Verfahren genauso viel wert wie das bessere unter Bedingung b)! 16 Beispiel 1: Grundrate 90%, Selektionsquote 50% 0 90 von 100 Bewerbern sind voraussichtlich geeignet 100 GGGGGGGGGGGGGGG 50 von 100 Bewerbern werden eingestellt Validität des Auswahlverfahrens Zu erwartender Anteil Erfolgreicher unter den Eingestellten 50 80 60 40 20 EEEEEEEEE 0.00 0.35 0.65 90% 95% 98% Schuler, H. (1996). Psychologische Personalauswahl. Göttingen: Verlag für Angewandte Psychologie. (S. 176) 17 Beispiel 2: Grundrate 50%, Selektionsrate 50% 0 50 50 von 100 Bewerbern sind voraussichtlich geeignet GGGGGGG 50 von 100 Bewerbern werden angestellt EEEEEEEE Validität des Auswahlverfahrens Zu erwartender Anteil Erfolgreicher unter den Eingestellten 80 60 40 20 100 0.00 0.35 0.65 50% 61% 73% Schuler, H. (1996). Psychologische Personalauswahl. Göttingen: Verlag für Angewandte Psychologie. (S. 176) 18 Beispiel 3: Grundrate 50%, Selektionsrate 10% 0 50 50 von 100 Bewerbern sind voraussichtlich geeignet GGGGGGG 10 von 100 Bewerbern werden eingestellt E Validität des Auswahlverfahrens Zu erwartender Anteil Erfolgreicher unter den Eingestellten 80 60 40 20 100 0.00 0.35 0.65 50% 74% 92% Schuler, H. (1996). Psychologische Personalauswahl. Göttingen: Verlag für Angewandte Psychologie. (S. 176) 19 Beispiel 4: Grundrate 20%, Selektionsquote 10% 0 50 20 von 100 Bewerbern sind voraussichtlich geeignet GG 10 von 100 Bewerbern werden eingestellt E Validität des Auswahlverfahrens Zu erwartender Anteil Erfolgreicher unter den Eingestellten 80 60 40 20 0.00 100 0.35 0.65 41% 64% 20% Schuler, H. (1996). Psychologische Personalauswahl. Göttingen: Verlag für Angewandte Psychologie. (S. 176) 20 Erfolgwahrscheinlichkeit bei gegebener Validität, verschiedener Grundrate und Selektionsquote 100 Grundrate 90 80% 80 70 60 50 50% 40 30 20 20% 10 5% 0 10 20 30 40 50 60 70 80 90 100 Selektionsquote (in %) 21 Eignungsdiagnostik - Faustregel Ein Verfahren ist für das Unternehmen umso nützlicher... > > > Je höher die Validität Je schärfer die Selektion Je näher die Grundquote bei 50% 22 Erinnerung Lehrevaluation – bitte geben Sie eine Rückmeldung 23 Ursachen für die geringe Validität herkömmlicher Einstellungsgespräche > mangelnder Anforderungsbezug der Fragen > unzulängliche Verarbeitung der aufgenommenen Information > geringe Beurteiler-Übereinstimmung > dominierendes Gewicht früher Gesprächseindrücke > Überbewertung negativer Information > emotionale Einflüsse auf die Urteilsbildung > Beanspruchung des grössten Teils der Gesprächszeit durch den Interviewer Schuler, H. (1998). Psychologische Personalauswahl. Göttingen: Verlag für angewandte Psychologie. (S. 86) 24 Einstellungsgespräche: Verbesserungsmöglichkeiten > Anforderungsbezogene Gestaltung > Beschränkung auf Aspekte, die anderweitig nicht zuverlässiger > > > > > erhoben werden können Strukturierte bzw. (teil-)standardisierte Durchführung Einsatz geprüfter Skalen (Verhaltensverankerung!) Zusätzliche Beurteiler Trennung von Informationssammlung und Entscheidung Interviewer-Training Schuler, H. (1998). Psychologische Personalauswahl. Göttingen: Verlag für angewandte Psychologie. (S. 86 Auszug) 25 Situationsbezogene Interviews Grundlage: Critical Incident Interview (Flanagan) „Situatives Interview“ (Latham) „Patterned Behavior Description Interview“ (Janz) Fragt nach hypothetischen Situationen Fragt nach tatsächlich erlebten Situationen (biographisch) Eder, R.W., & Ferris, G.R. (Eds.).(1989). The employment interview: Theory, research, and practice. London: Sage 26 Situative Frage aus einem Multimodalen Interview Sie haben in einer wichtigen Sache eine falsche Entscheidung getroffen, die das Unternehmen Geld kosten wird. Sie befürchten, dass Ihr Vorgesetzter sehr verärgert sein wird, wenn er davon erfährt. Was tun Sie? Beispielantwort 0 Punkte: Vielleicht gelingt es mir, die Sache bald wieder in Ordnung zu bringen, so dass er davon gar nichts erfahren muss. Beispielantwort 2 Punkte: Ich informiere trotzdem meinen Vorgesetzten. Ich bemühe mich, ihm verständlich zu machen, wie es dazu kommen konnte. Beispielantwort 4 Punkte: Ich informiere ihn trotzdem unverzüglich und erkläre ohne Umschweife, was passiert ist. Dann mache ich ihm Vorschläge, was getan werden kann – vor allem, was ich tun möchte -, um den Schaden gering zu halten. Schuler, H. & Moser, K. (1995). Die Validität des Multimodalen Interviews. Zeitschrift für Arbeits- und Organisationspsychologie, 39, 2-12. 27 Biographiebezogene Frage aus einem Multimodalen Interview I 1. 2. 3. 4. Welche Erfahrungen haben Sie mit Gruppenarbeit gemacht? (Nennen Sie bitte ein Bei-spiel.) Sind in der Gruppenarbeit auch mal Probleme und Meinungsverschiedenheiten aufgetreten? Was haben Sie unternommen, um diese Probleme zu lösen? Was ist dabei herausgekommen? Schuler, H. & Moser, K. (1995). Die Validität des Multimodalen Interviews. Zeitschrift für Arbeits- und Organisationspsychologie, 39, 2-12. 28 Biographiebezogene Frage aus einem Multimodalen Interview II Antwortbewertung 0 Punkte: Arbeitet weniger gerne im Team, empfindet Probleme und Meinungsverschiedenheiten als unangenehm und hält sich deshalb aus dem Problemlösungsprozess lieber heraus. Antwortbewertung 2 Punkte: Arbeitet gerne in einem Team, nimmt auftretende Probleme wahr, macht Vorschläge zur Problemlösung und ist an der Problemlösung beteiligt Antwortbewertung 4 Punkte: Bewertet Teamarbeit als sehr produktiv, erkennt rasch Probleme in der Gruppe, steuert kreative Vorschläge zur Problemlösung bei und beteiligt sich engagiert an der Durchführung der Problemlösung. Schuler, H. & Moser, K. (1995). Die Validität des Multimodalen Interviews. Zeitschrift für Arbeits- und Organisationspsychologie, 39, 2-12. 29 Assessment Center Womit hängt der Erfolg im Assessment Center zusammen? > > > > > Intelligenz Soziale Kompetenz Leistungsmotivation Dominanz Selbstvertrauen Scholz, G. & Schuler, H. (1993). Das nomologische Netzwerk des Assessment Centers: Eine Metaanalyse. Zeitschrift für Arbeits- und Organisationspsychologie, 37, 73-85. 30 AC Einzelverfahren I > Individuell auszuführende Arbeitsproben und Aufgabensimulationen (v.a. Organisations-, Planungs-, Entscheidungs-, Controlling- und Analyseaufgaben) > Gruppendiskussion mit und ohne Rollenvorgabe > Sonstige Gruppenaufgaben mit Wettbewerbs- und/oder Kooperationscharakteristik > Vorträge und Präsentationen Schuler, H. (1998). Psychologische Personalauswahl. Göttingen: Verlag für Psychologie. 31 AC Einzelverfahren II > Rollenspiele (z.B. Einstellungsinterview, Verkaufsgespräch) > Interviews > Selbstvorstellung > Wirtschaftsspiele, Simulation komplexer Entscheidungen > Fähigkeits- und Leistungstests > Persönlichkeits- und Interessentests > Biographische Fragebogen Schuler, H. (1998). Psychologische Personalauswahl. Göttingen: Verlag für Psychologie. 32 AC: Anforderungs-Aufgaben-Matrix Assessment Center Aufgaben PR VA FB PA KA x x x x x x - Informationsverarbeitung x x x x - Entscheiden x Kognitive Anforderungen - Problemanalyse - Denken und Handeln in Zusammenhängen GD PK x x RS x x x x x GD = Gruppendiskussion, PK = Postkorb, RS = Rollenspiel, PR = Präsentation, VA = Videoaufgabe, FB = Fallbearbeitung, PA = Planungsaufgabe, KA = Kognitionsaufgaben Schuler, H. (1998). Psychologische Personalauswahl. Göttingen: Verlag für Psychologie. 33 Arten von Validität > Konstruktvalidität Misst das Verfahren, was es messen soll? (konvergente und diskriminante Validität) > Inhaltsvalidität Repräsentieren die Aufgaben des Verfahrens die beruflichen Anforderungen gut? > Kriteriumsvalidität Sagt das Verfahren Berufserfolg voraus? (ausgedrückt als Korrelation) > Bei mehr als einem Verfahren: Inkrementelle Validität: Ermöglicht Verfahren B eine Vorhersage über Verfahren A hinaus? 34 Validität eignungsdiagnostischer Verfahren (verkürzt n. Schmidt & Hunter, 1998, 22) Prädiktor Val R inkr.V Zuw. Allg. kognitive Fähigkeitstests.51 Arbeitsproben.54.63.12 24% Strukturiertes Interview.51.63.12 24% Unstrukturiertes Interview.38.55.04 8% Fachkenntnistest.48.58.07 14% Probezeit.44.58.07 14% Biographische Daten.35.52.01 2% Assessment Center.37.53.02 4% Interessen.10.52.01 2% Graphologie.02.51.00 0% Nach Schuler, H. & Höft, S. (2001) Konstruktorientierte Verfahren der Personalauswahl. In H. Schuler (Hrsg.), Lehrbuch der Personalpsychologie. Göttingen: Hogrefe, S. 105 (Auszug). R = Multiples R mit allg. kognitiver Leistungsfähigkeit plus dem jeweiligen Prädiktor 35 Achtung! Nicht alle Befunde sind auf deutsche Verhältnisse übertragbar „wohlwollende Auswahl“  jeweils höchste gefundene Validität aufgenommen Koeffizienten stammen aus unterschiedlichen Metaanalysen Leistungsbeurteilung durch den Vorgesetzten diente als Berufserfolgskriterium keine Abdeckung des gesamten Leistungsbereiches Angegebene Koeffizienten = grobe Orientierungsgrössen Hohe Validität kognitiver Fähigkeitstests setzt voraus, dass keine starke Vorselektion in bezug auf Intelligenz existiert! Nach: Schuler, H. & Höft, S. (2001). Konstruktorientiertere Verfahren der Personalauswahl. In Heinz Schuler (Hrsg.), Lehrbuch der Personalpsychologie. Göttingen: Hogrefe Verlag. (S. 105) 36 Nutzen eignungsdiagnostischer Verfahren Nützlichkeit = Gewinn für das Unternehmen pro Person und Jahr: Gewinn: (r x SD x Z) – (K/SR) r Validität SD Standardabweichung Z Kaliber: durchschnittliche Güte der Ausgelesenen, in z-Werten, 1 bedeutet also 1 SD über Durchschnitt K Kosten des Selektionsverfahrens pro BewerberIn SR Selektionsrate Nach: Cook, M. (1998). Personnel Selection (3rd ed.). Chichester: Willey. 37 Beispiel Lohn: Fr. 100‘000.-; Schätzung SD = 50% = 50‘000.Kosten: 1‘000.- pro KandidatIn Validität: r =.45, Selektionsrate 40%, Leistungsgüte der Ausgelesenen: + 1 SD Nutzen: = (.45 x 50‘000.- x 1) – (1‘000.- /.40) = 22‘500.- - 2‘500.= Fr. 20‘000.- pro Person und Jahr! Nach: Cook, M. (1998). Personnel Selection (3rd ed.). Chichester: Willey. 38 Training und Ausbildung Ziel ist es, ein gutes OAS auszubilden: 1) Theorie vermitteln 2) Verarbeitungstiefe erhöhen 3) Fehler machen können und beheben dürfen 4) Häufiges gutes Feedback 5) Transfer fördern 39 1. Theorie vermitteln Theorie : 1) ≈ geteiltes mentales Modell 2) validiert 3) lässt Vorhersagen/Hypothesen zu 4) fördert zielgerichtetes explorieren 5) fördert Metakognition 40 Vermeide Kongnitive Überforderung in der Theorievermittlung Man kennt sich selber sehr gut aus in einem Gebiet und unterschätzt daher die Schwierigkeiten für Anfänger/Lernende. Was ist der häufigste Fehler? Zuviel auf einmal (es ist eine Frage der Menge und der Strukturierung > durch gute Strukturierung kann man mehr und besser aufnehmen)! Was ist wichtig? Informationen wiederholen Auch simple Sachen erwähnen Gut sichtbar und langsam vorzeigen Nicht zu viele Ausnahmen erwähnen Modelle machen (hilft zur Vereinfachung; zur verbalen Ausführung kommt dadurch noch der optische Aspekt dazu) 41 2. Verarbeitungstiefe erhöhen > Sich mit Neuem aktiv auseinandersetzen > Mit Dingen in Verbindung bringen, die man schon kennt > Eigene Beispiele überlegen > Auf ähnliche Phänomene anwenden, um herauszufinden, wo Gemeinsamkeiten und Unterschiede sind > In andere Darstellungsformen übersetzen (z.B. Tabelle in Graphik) > Feedback aktiv suchen und auswerten 42 3. Fehler machen, z.B. Error Management Training Aufmerksamkeit auf Fehler und Strategien zu deren Bewältigung ausprobieren Einkalkulieren, dass Fehler während dem training on the job passieren  lernen wie mit Fehler umgehen Breiteres und umfänglicheres Verständnis des Systems Mentale Modelle EMT Einstellung: Fehler als Lernmöglichkeiten Reframing/Neudefinition, insbesondere bei älteren Personen Keith, N., & Frese, M. (2008). Effectiveness of error management training: a meta-analysis. Journal of Applied Psychology, 93, 59-69. 43 Entdeckendes Lernen 1. Explorieren in nicht zu komplexer Umgebung Komplexität reduzieren durch - Art der Aufgabe - Eingreifen, bevor TN im Chaos versinken 2. Explorationshilfen geben Nicht zu schnell Lösungen anbieten Leitfragen, Leitregeln 3. Hemmungen abbauen Demonstrieren, dass „nicht kaputt geht“ Gezielte Explorations-Instruktionen geben Gemeinsames Explorieren fördern 4. Fehler loben und systematisch nutzen 44 Selbstgesteuertes, entdeckendes Lernen...enthalten sinnvolle Elemente, aber: > Reine Selbststeuerung kann dazu führen, dass man —Schwieriges vermeidet —Relevantes nicht entdeckt > Entdeckendes Lernen kann in komplexen Lernumgebungen schnell zu Überforderung führen > Erfahrung wird oft nicht ausreichend genutzt 45 4. Feedback > Intrinsisch: Normaler Bestandteil der Ausführung einer Handlung z. B. Veränderung des Produkts, Reaktion von Kunden, Anzeigen, Geräusche, Wahrnehmung von Körperhaltungen > Extrinsisch: Kein normaler Bestandteil der Handlung zum Zwecke des Lernens erzeugt z.B. Kommentare, Videofeedback, zusätzliche Warnsignale 46 5. Transfer in den Alltag 1. 2. 3. 4. 5. Aufgabenbezug und Transfertraining Training in Fehlerdiagnose und Fehlermanagement Kurse zeitlich verteilen Unterstützung im Alltag: - Lokale ExpertInnen - Unterstützung durch Vorgesetzte Handlungsspielraum fördert Anwendung 47 Transfer unterstützen: Das TumorBestrahlungs-Problem > Diagnose: Tumor > Durch Bestrahlung therapierbar > Problem: Strahlen zerstören auch gutes Gewebe. > Lösung: Schwache Strahlen von vielen Seiten. Die einzelnen Strahlen sind zu schwach, um gutes Gewebe zu zerstören, ihre Bündelung beim Tumor zerstört diesen 48 Unterstützung der Lösungsfindung durch Analogie > Ein General will die Festung eines Diktators stürmen > Die Wege zur Festung sind so vermint, dass nur kleine Gruppen durch können. > Der General teilt seine Armee in kleine Gruppen. Sie nähern sich der Festung auf verschiedenen Wegen und treffen sich dort. Wichtig: die Geschichte wird kurz vorher, aber in einem anderen Kontext, erzählt! 49 Solutions for the Duncker Mediation Problem 100% Note: Solutions found without explicit hint to use analogy 80% 60% 60% 45% 40% 20% 30% 30% 30% 25% 10% 0% Baseline Analogy only Analogy + Principle Principle only Analogy + Diagram 2 Analogies 2 Analogies + Principle Glick, M. & Holyoak, K. J. (1983). Schema Induction and Analogical Transfer. Cognitve Psychology, 15, 1-38. 50 Vielen Dank! 51