Podcast
Questions and Answers
Welche der folgenden Praktiken während der Datenerhebung können zu falsch-positiven Ergebnissen führen?
Welche der folgenden Praktiken während der Datenerhebung können zu falsch-positiven Ergebnissen führen?
- Ausreichende Verblindung der Teilnehmer und/oder Versuchsleiter.
- Objektive und standardisierte Datenerhebungsmethoden.
- Zufällige Zuteilung der Teilnehmer zu den Bedingungen.
- Festlegung der Abbruchregel für die Datenerhebung basierend auf Zwischenergebnissen. (correct)
Eine fundierte Power-Analyse ist irrelevant für die Validität wissenschaftlicher Studien.
Eine fundierte Power-Analyse ist irrelevant für die Validität wissenschaftlicher Studien.
False (B)
Nennen Sie eine Maßnahme, um die Validität von Forschungsergebnissen zu gewährleisten und 'False-Positive Psychology' zu vermeiden.
Nennen Sie eine Maßnahme, um die Validität von Forschungsergebnissen zu gewährleisten und 'False-Positive Psychology' zu vermeiden.
Verblindung
Die Praxis des 'Optional Stopping' bezieht sich auf die Festlegung der Regel für die Beendigung der Datenerhebung auf der Grundlage der ______.
Die Praxis des 'Optional Stopping' bezieht sich auf die Festlegung der Regel für die Beendigung der Datenerhebung auf der Grundlage der ______.
Ordnen Sie die folgenden Elemente den entsprechenden Beschreibungen zu:
Ordnen Sie die folgenden Elemente den entsprechenden Beschreibungen zu:
Was stellt der weiße Bereich in einem Funnel Plot typischerweise dar?
Was stellt der weiße Bereich in einem Funnel Plot typischerweise dar?
Die Korrektur, Kodierung oder Verwerfung von Daten während der Datenerhebung auf nicht verblindete Weise ist eine akzeptable Vorgehensweise, um die Datenqualität zu verbessern.
Die Korrektur, Kodierung oder Verwerfung von Daten während der Datenerhebung auf nicht verblindete Weise ist eine akzeptable Vorgehensweise, um die Datenqualität zu verbessern.
Welche der folgenden Aussagen beschreibt am besten die Rolle der wissenschaftlichen Theorie bei der Entwicklung von Technologien?
Welche der folgenden Aussagen beschreibt am besten die Rolle der wissenschaftlichen Theorie bei der Entwicklung von Technologien?
Laut des Textes ermöglichen wissenschaftliche Theorien es, empirische Arbeit vollständig zu vermeiden.
Laut des Textes ermöglichen wissenschaftliche Theorien es, empirische Arbeit vollständig zu vermeiden.
Warum gibt es laut Text keine vergleichbaren Felder der 'theoretischen Psychologie' wie in der Physik oder Biologie?
Warum gibt es laut Text keine vergleichbaren Felder der 'theoretischen Psychologie' wie in der Physik oder Biologie?
Gute wissenschaftliche Theorien sind wie ______, die tatsächlich funktionieren, da sie es ermöglichen, Schlussfolgerungen über zukünftige Ereignisse zu ziehen, ohne diese empirisch zu untersuchen.
Gute wissenschaftliche Theorien sind wie ______, die tatsächlich funktionieren, da sie es ermöglichen, Schlussfolgerungen über zukünftige Ereignisse zu ziehen, ohne diese empirisch zu untersuchen.
Ordne die folgenden Disziplinen danach, wie stark sie auf wissenschaftliche Theorien angewiesen sind, um technologische Entwicklungen voranzutreiben:
Ordne die folgenden Disziplinen danach, wie stark sie auf wissenschaftliche Theorien angewiesen sind, um technologische Entwicklungen voranzutreiben:
Welche Aussage beschreibt am besten den Zweck der Sample-Size-Estimation im Kontext der Hypothesenprüfung?
Welche Aussage beschreibt am besten den Zweck der Sample-Size-Estimation im Kontext der Hypothesenprüfung?
Ein Fehler 1. Art tritt auf, wenn eine korrekte Nullhypothese verworfen wird.
Ein Fehler 1. Art tritt auf, wenn eine korrekte Nullhypothese verworfen wird.
Nennen Sie zwei Fragen, die bei der Durchführung einer Poweranalyse geklärt werden müssen.
Nennen Sie zwei Fragen, die bei der Durchführung einer Poweranalyse geklärt werden müssen.
Die Wahrscheinlichkeit, einen Fehler 2. Art zu begehen, wird mit dem griechischen Buchstaben _______ bezeichnet.
Die Wahrscheinlichkeit, einen Fehler 2. Art zu begehen, wird mit dem griechischen Buchstaben _______ bezeichnet.
Ordnen Sie die folgenden Begriffe ihren Definitionen im Kontext der Hypothesenprüfung zu:
Ordnen Sie die folgenden Begriffe ihren Definitionen im Kontext der Hypothesenprüfung zu:
Welche Aussage ist KEIN notwendiger Input für eine Poweranalyse?
Welche Aussage ist KEIN notwendiger Input für eine Poweranalyse?
Eine höhere Teststärke (Power) führt zu einer geringeren Wahrscheinlichkeit, einen Fehler 2. Art zu begehen.
Eine höhere Teststärke (Power) führt zu einer geringeren Wahrscheinlichkeit, einen Fehler 2. Art zu begehen.
Was bedeutet ein einseitiger Test im Vergleich zu einem zweiseitigen Test?
Was bedeutet ein einseitiger Test im Vergleich zu einem zweiseitigen Test?
Nennen Sie ein Beispiel für eine Software, die zur Durchführung von Poweranalysen verwendet werden kann.
Nennen Sie ein Beispiel für eine Software, die zur Durchführung von Poweranalysen verwendet werden kann.
Welche der folgenden Aussagen beschreibt am besten eine Entscheidung vom Typ E (Prinzipielle Äquivalenz)?
Welche der folgenden Aussagen beschreibt am besten eine Entscheidung vom Typ E (Prinzipielle Äquivalenz)?
Bei Entscheidungen vom Typ N (Prinzipielle Nichtäquivalenz) gibt es keine Grundlage, um eine Methode einer anderen vorzuziehen.
Bei Entscheidungen vom Typ N (Prinzipielle Nichtäquivalenz) gibt es keine Grundlage, um eine Methode einer anderen vorzuziehen.
Nennen Sie ein Beispiel für eine Entscheidung vom Typ N, wie sie im Inhalt erwähnt wird.
Nennen Sie ein Beispiel für eine Entscheidung vom Typ N, wie sie im Inhalt erwähnt wird.
Entscheidungen vom Typ U sind gekennzeichnet durch ______.
Entscheidungen vom Typ U sind gekennzeichnet durch ______.
Ordnen Sie die Entscheidungstypen ihren Beschreibungen zu:
Ordnen Sie die Entscheidungstypen ihren Beschreibungen zu:
Was ist 'Theoretical Amnesia' im Kontext der wissenschaftlichen Forschung?
Was ist 'Theoretical Amnesia' im Kontext der wissenschaftlichen Forschung?
Wissenschaftliche Theorien können nur unter realen Bedingungen angewendet werden.
Wissenschaftliche Theorien können nur unter realen Bedingungen angewendet werden.
Nennen Sie ein Beispiel dafür, was mit Hilfe wissenschaftlicher Theorien 'auf einem Blatt Papier' berechnet werden kann.
Nennen Sie ein Beispiel dafür, was mit Hilfe wissenschaftlicher Theorien 'auf einem Blatt Papier' berechnet werden kann.
Welches Beispiel wird genannt, um die Anwendung wissenschaftlicher Theorien zu demonstrieren?
Welches Beispiel wird genannt, um die Anwendung wissenschaftlicher Theorien zu demonstrieren?
Um eine Vorhersage über eine imaginäre Brücke zu treffen, gibt man imaginäre ______ in eine wissenschaftliche Theorie ein.
Um eine Vorhersage über eine imaginäre Brücke zu treffen, gibt man imaginäre ______ in eine wissenschaftliche Theorie ein.
Was ist das Hauptziel der Specification-Curve-Analyse?
Was ist das Hauptziel der Specification-Curve-Analyse?
Eine 'abhängige Stichprobe' in t-Tests bezieht sich auf zwei Stichproben, die unabhängig voneinander erhoben wurden.
Eine 'abhängige Stichprobe' in t-Tests bezieht sich auf zwei Stichproben, die unabhängig voneinander erhoben wurden.
Nennen Sie eine Gefahr, die bei der Anwendung von Multiversums-Methoden in der Forschung auftreten kann.
Nennen Sie eine Gefahr, die bei der Anwendung von Multiversums-Methoden in der Forschung auftreten kann.
Die Größe des Multiversums kann schnell ______, wenn schon wenige Entscheidungen fälschlicherweise als willkürlich behandelt werden.
Die Größe des Multiversums kann schnell ______, wenn schon wenige Entscheidungen fälschlicherweise als willkürlich behandelt werden.
Ordnen Sie die folgenden Konzepte ihren Beschreibungen zu:
Ordnen Sie die folgenden Konzepte ihren Beschreibungen zu:
Was beschreibt am besten den Begriff 'Effektstärke dz' im Kontext von t-Tests für abhängige Stichproben?
Was beschreibt am besten den Begriff 'Effektstärke dz' im Kontext von t-Tests für abhängige Stichproben?
Die Specification-Curve-Analyse kann dazu beitragen, die Debatte über die korrekte Analyse von Daten zu erleichtern, indem sie einen Überblick über die Ergebnisse bei verschiedenen Spezifikationen bietet.
Die Specification-Curve-Analyse kann dazu beitragen, die Debatte über die korrekte Analyse von Daten zu erleichtern, indem sie einen Überblick über die Ergebnisse bei verschiedenen Spezifikationen bietet.
Was ist die Bedeutung der Berücksichtigung von Annahmen bei der Planung einer Studie zur psychologischen Diagnostik?
Was ist die Bedeutung der Berücksichtigung von Annahmen bei der Planung einer Studie zur psychologischen Diagnostik?
Das Aufblähen des Analyseraums kann ironischerweise die wahrgenommene ______ und Verbindlichkeit des Multiversums übertreiben.
Das Aufblähen des Analyseraums kann ironischerweise die wahrgenommene ______ und Verbindlichkeit des Multiversums übertreiben.
Welches Problem kann durch die Anwendung von Methoden im Stil des Multiversums entstehen?
Welches Problem kann durch die Anwendung von Methoden im Stil des Multiversums entstehen?
Flashcards
Awareness- / Manipulationskontrollen
Awareness- / Manipulationskontrollen
Kontrollen, um sicherzustellen, dass Teilnehmer nicht erkennen, was untersucht wird oder wie sie manipuliert werden.
Fehlende Power-Analyse
Fehlende Power-Analyse
Ein Mangel an angemessener Berechnung der benötigten Stichprobengröße, um einen Effekt zu finden, wenn er existiert.
False-Positive Psychology
False-Positive Psychology
Die Praxis, Forschungsergebnisse so zu manipulieren, dass sie statistisch signifikant erscheinen.
Optional stopping
Optional stopping
Signup and view all the flashcards
Nicht-zufällige Zuordnung
Nicht-zufällige Zuordnung
Signup and view all the flashcards
Unzureichende Verblindung
Unzureichende Verblindung
Signup and view all the flashcards
Nicht-verblindete Datenverarbeitung
Nicht-verblindete Datenverarbeitung
Signup and view all the flashcards
Teststärke (Power)
Teststärke (Power)
Signup and view all the flashcards
Fehler 1. Art (α)
Fehler 1. Art (α)
Signup and view all the flashcards
Fehler 2. Art (β)
Fehler 2. Art (β)
Signup and view all the flashcards
Spezifität
Spezifität
Signup and view all the flashcards
Sensitivität
Sensitivität
Signup and view all the flashcards
Sample Size Estimation
Sample Size Estimation
Signup and view all the flashcards
G*Power
G*Power
Signup and view all the flashcards
Fragen bei der Poweranalyse
Fragen bei der Poweranalyse
Signup and view all the flashcards
Erwartete Effektstärke (ES)
Erwartete Effektstärke (ES)
Signup and view all the flashcards
Empirische Abbildung
Empirische Abbildung
Signup and view all the flashcards
Theoretische Schlussfolgerung
Theoretische Schlussfolgerung
Signup and view all the flashcards
Eintrittskarten für Schlussfolgerungen
Eintrittskarten für Schlussfolgerungen
Signup and view all the flashcards
Theorie und Technologie
Theorie und Technologie
Signup and view all the flashcards
Theoretische Psychologie?
Theoretische Psychologie?
Signup and view all the flashcards
Entscheidung Typ E
Entscheidung Typ E
Signup and view all the flashcards
Entscheidung Typ N
Entscheidung Typ N
Signup and view all the flashcards
Entscheidung Typ U
Entscheidung Typ U
Signup and view all the flashcards
Theoretical Amnesia
Theoretical Amnesia
Signup and view all the flashcards
Funktion von Theorien
Funktion von Theorien
Signup and view all the flashcards
Multiple Imputation
Multiple Imputation
Signup and view all the flashcards
Listenweiser Fallausschluss
Listenweiser Fallausschluss
Signup and view all the flashcards
Was bedeutet Unsicherheit?
Was bedeutet Unsicherheit?
Signup and view all the flashcards
Was sind wissenschaftliche Theorien?
Was sind wissenschaftliche Theorien?
Signup and view all the flashcards
Was passiert wenn imaginäre Größen in eine wissenschaftliche Theorie eingegeben werden?
Was passiert wenn imaginäre Größen in eine wissenschaftliche Theorie eingegeben werden?
Signup and view all the flashcards
Abhängiger t-Test
Abhängiger t-Test
Signup and view all the flashcards
α-Fehlerwahrscheinlichkeit
α-Fehlerwahrscheinlichkeit
Signup and view all the flashcards
Effektstärke (dz)
Effektstärke (dz)
Signup and view all the flashcards
Specification Curve
Specification Curve
Signup and view all the flashcards
Specification Curve
Specification Curve
Signup and view all the flashcards
Specification Curve
Specification Curve
Signup and view all the flashcards
Kombinatorische Explosion
Kombinatorische Explosion
Signup and view all the flashcards
Multiversum-Methode Gefahr
Multiversum-Methode Gefahr
Signup and view all the flashcards
Multiversum-Methode
Multiversum-Methode
Signup and view all the flashcards
Specification Curve
Specification Curve
Signup and view all the flashcards
Study Notes
Replikationskrise in der Psychologischen Diagnostik
- Die Präsentation behandelt die Replikationskrise in der psychologischen Diagnostik.
- Die Vorlesung ist am 19.12.2024, Version 3.0.0.
Open Science Collaboration
- Die Open Science Collaboration fand heraus, dass 97 % der Originalstudien signifikante Ergebnisse zeigten (p < .05).
- Nur 36 % der Replikationen hatten signifikante Ergebnisse.
- Lediglich 47 % der ursprünglichen Effektstärken lagen im 95%-Konfidenzintervall der Replikations-Effektstärke.
- Nur 39 % der Effekte wurden subjektiv als Replikation des ursprünglichen Ergebnisses bewertet.
Das Problem
- Das Problem sind die "researcher's degrees of freedom", also die Freiheitsgrade des Forschers.
Researcher's Degrees of Freedom
- Psychologische Studien sind von der ersten Idee bis zur Veröffentlichung mit zahlreichen Entscheidungen verbunden, die oft willkürlich sind und das Ergebnis von Signifikanztests beeinflussen können.
- "Researcher's degrees of freedom" bezieht sich auf die Freiheitsgrade des Forschers bei:
- Formulierung von Hypothesen
- Studienkonzeption
- Durchführung
- Analyse
- Reporting/Publishing psychologischer Studien
Hypothesenbildung
- Durchführung einer explorativen Forschung ohne Hypothese.
- Untersuchung einer vagen Hypothese, die die Richtung der Wirkung nicht spezifiziert.
Das hypothetisch-deduktive Modell der Wissenschaft
- Darstellung von explorativen Analysen als konfirmatorische Analysen (HARKing = Hypothesizing After the Results are Known).
Studiendesign
- Erstellung mehrerer manipulierter unabhängiger Variablen und Bedingungen.
- Messung zusätzlicher Variablen, die später als Kovariaten, unabhängige Variablen, Mediatoren oder Moderatoren ausgewählt werden können.
- Messung derselben abhängigen Variable auf mehrere alternative Arten.
- Messung zusätzlicher Konstrukte, die potenziell als primäre Outcomes dienen können.
- Messung zusätzlicher Variablen, die einen späteren Ausschluss von Teilnehmern aus den Analysen ermöglichen (z. B. Awareness- oder Manipulationskontrollen).
- Fehlen einer fundierten Power-Analyse.
Datenerhebung
- Versäumnis, die Teilnehmer nach dem Zufallsprinzip den Bedingungen zuzuordnen.
- Unzureichende Verblindung der Teilnehmer und/oder Versuchsleiter.
- Korrektur, Kodierung oder Verwerfen von Daten während der Datenerhebung auf nicht verblindete Weise.
- Festlegung der Regel für die Beendigung der Datenerhebung auf der Grundlage der gewünschten Ergebnisse oder der Prüfung der Zwischenergebnissen auf Signifikanz (Optional stopping).
Analyse
- Auswahl zwischen verschiedenen Optionen für den Umgang mit unvollständigen oder fehlenden Daten auf Ad-hoc-Basis.
- Ad-hoc-Spezifizierung der Vorverarbeitung von Daten (z. B. Bereinigung, Normalisierung, Glättung).
- Ad-hoc-Entscheidung über den Umgang mit Verstößen gegen statistische Annahmen.
- Ad-hoc-Entscheidung über den Umgang mit Ausreißern.
- Auswahl der abhängigen Variable aus mehreren alternativen Messungen desselben Konstrukts.
- Auswahl zwischen verschiedenen statistischen Modellen.
- Auswahl von Inferenzkriterien (z. B. Bayes-Faktoren, Alpha-Niveau, ein- oder zweiseitiges Tests, Korrekturen für Mehrfachtests).
Berichtlegung
- Keine Gewährleistung der Reproduzierbarkeit (Überprüfung der Datenerfassung und -analyse).
- Versäumnis, die Replikation zu ermöglichen (Wiederholung der Studie).
- Nichterwähnung, falsche Darstellung oder falsche Identifizierung der Studie vor der Registrierung.
- Nichterwähnung sogenannter "gescheiterter Studien", die ursprünglich als relevant für die Forschungsfrage angesehen wurden.
- Falsche Angabe von Ergebnissen und p-Werten.
Prevalence of inconsistencies in NHST reporting
- Eine Studie dokumentiert Fehler in der statistischen Berichterstattung in der Psychologie (1985–2013).
- Die Studie verwendete die neue R-Package statcheck, um die Ergebnisse der Nullhypothesen-Signifikanztests (NHST) auszulesen.
- Die Dokumentation fand in der Hälfte aller ausgewerteten Veröffentlichungen mindestens einen p-Wert, der mit ihren Test-Statistiken nicht im Einklang standen.
Lösungsansätze/ Gegenmaßnahmen zu Researcher's DF
- Studiendesign und Durchführung:
- Präregistrierung
- Registered Reports
- A priori Schätzungen der Power / Stichprobengröße
- Meta-Analyse
- Statistische Analysen:
- Specification Curve
- Standards in Methoden
- Konkurrierende Modelle anstatt 0/1 Denken
- Bayes Theorem
- Reporting / Publishing
- Reporting Standards (inkl. offenerlegung)
- Open Science
- Change the incentive structure
Präregistrierung
- Freiwillige oder verpflichtende öffentliche Bekanntmachung von Forschungszweck, Hypothesen, Forschungsdesign und Auswertungsstrategien vor der Datenerhebung.
- Bekannte Plattformen:
- https://aspredicted.org/
- https://help.osf.io/article/330-welcome-to-registrations
Registered Report
- Freiwillige oder verpflichtende Unterwerfung von Forschungszweck, Hypothesen, Forschungsdesign und Auswertungsstrategien vor der Datenerhebung einem Peer-Review.
- Der Review-Prozess wird also vorverlagert, wenn Review abgeschlossen, dann wird der Artikel i.d.R. auch veröffentlicht.
Beispiel: Facial Feedback Hypothese
- Klassisches Experiment von Strack, Martin & Stepper (1988) zur Facial-Feedback-Hypothese; Zygomaticus major (Mundbedingung) vs. orbicularis oris muscle (Lippenbedingung).
- Cartoons werden witziger eingeschätzt in der Mundbedingung.
- Geringe Stichprobengröße (n = 92) und Effekt kann nur im ersten von zwei Experimenten gefunden werden.
Wieso Facial-Feedback-Hypothese als RRR?
- Die Hintergrundgeschichte zeigt, dass die Facial-Feedback-Hypothese aufgrund von Replikationsversuchen in Frage gestellt wurde.
Gegenmaßnahme 2 – Sample Size Estimation
- Nullhypothese: Es ist eine normale E-Mail und kein Spam.
- Alternativhypothese: Es ist Spam.
G*Power
- Freie Software: http://www.gpower.hhu.de/
- Zu klärende Fragen bei der Poweranalyse:
- Welche Testpower?
- Welches Signifikanzniveau?
- Erwartete Effektstärke?
- Ein- oder zweiseitig?
- (Un)abhängige Stichproben?
Theorie
- Gute wissenschaftliche Theorien erlauben Rückschlüsse darauf zu ziehen, was in bestimmten Situationen passieren würde, ohne die Situationen zu erschaffen. Allerdings gelingt dies im Bereich der Psychologie aus verschiedenen Gründen eher schlecht als recht.
Studying That Suits You
Use AI to generate personalized quizzes and flashcards to suit your learning preferences.
Related Documents
Description
Dieser Quiz untersucht Praktiken, die zu falsch-positiven Ergebnissen während der Datenerhebung führen können. Maßnahmen zur Validitätssicherung und die Problematik von 'Optional Stopping' werden thematisiert. Zudem werden die Rolle wissenschaftlicher Theorien und der Umgang mit Datenqualität beleuchtet.