Options
Die Vertrauenswürdigkeit von Replikationen : Der Einfluss von Präregistrierungen auf den Replikationserfolg
Kaiser, Leonhard David (2024): Die Vertrauenswürdigkeit von Replikationen : Der Einfluss von Präregistrierungen auf den Replikationserfolg, Bamberg: Otto-Friedrich-Universität, doi: 10.20378/irb-105013.
Author:
Alternative Title:
The Trustworthiness of Replications : Are They Hacked, Too?
Publisher Information:
Year of publication:
2024
Pages:
Supervisor:
Language:
German
Remark:
Masterarbeit, Otto-Friedrich-Universität Bamberg, 2024
DOI:
Abstract:
Theorie: Die Psychologie befindet sich in einer Replikationskrise, die unter anderem auf die „Publish or Perish“ Kultur zurückzuführen ist. Diese Kultur führt dazu, dass in großer Anzahl
spannende und signifikante Studien veröffentlicht werden müssen, um im akademischen System Anerkennung zu finden. P-Hacking und andere fragwürdige Forschungspraktiken sind
Auswirkungen dieser Kultur. In der vorliegenden Studie wurde untersucht, ob Replikationsstudien ebenfalls von Hacking betroffen sind. Es wurden dazu verschiedene Anreize für das Manipulieren von Replikationen vorgestellt. Besonders wurde auf Null-Hacking eingegangen, das durch die hohe Aufmerksamkeit auf nicht replizierte Befunde, begünstigt werden könnte.
Methodik: Die Methode Präregistrierung gilt als ein direktes Mittel, um Freiheitsgrade von Forschenden einzuschränken und dabei Hacking entgegenzuwirken. Daher untersuchte die
vorliegende präregistrierte Studie anhand der bisher umfassendsten Replikationsdatenbank (FORRT Replication Database), ob der Präregistrierungsstatus der Replikationsstudie den Zusammenhang zwischen Originaleffekt und Replikationseffekt moderiert. Nach allen Exklusionen wurden 361 Replikationseffekte berücksichtigt, von denen 124 präregistriert waren. Es wurde darüber hinaus ermittelt, ob die Ähnlichkeit (Closeness) zwischen der Originalstudie und der Replikationsstudie sowie verschiedene Präregistrierungsvorlagen den Zusammenhang zwischen Originaleffekt und Replikationseffekt moderieren. Zudem wurde explorativ untersucht, ob präregistrierte Replikationen sich hinsichtlich des Replikationserfolgs von nicht-präregistrierten Replikationen unterscheiden.
Ergebnis: Der Präregistrierungsstatus der Replikation und die Closeness moderierten den Zusammenhang zwischen dem Originaleffekt und dem Replikationseffekt nicht. Nur eine
Präregistrierungsvorlage moderierte den Zusammenhang zwischen Originaleffekt und Replikationseffekt, während alle anderen Vorlagen keinen Effekt auf den Zusammenhang
aufwiesen. Zudem zeigten präregistrierte Replikationen keine Unterschiede im Replikationserfolg im Vergleich zu nicht-präregistrierten Replikationen.
Diskussion: Diese Ergebnisse liefern erste Hinweise darauf, dass Replikationen möglicherweise nicht von Hacking betroffen sind. Aufgrund der vorgestellten Limitationen in dieser Studie, braucht es weitere Forschung, die dieses Phänomen untersucht. Denn manipulierte Replikationen erwecken den Anschein von wissenschaftlichem Fortschritt und Qualitätskontrolle, können jedoch langfristig die Entwicklung ganzer Forschungsfelder hemmen.
spannende und signifikante Studien veröffentlicht werden müssen, um im akademischen System Anerkennung zu finden. P-Hacking und andere fragwürdige Forschungspraktiken sind
Auswirkungen dieser Kultur. In der vorliegenden Studie wurde untersucht, ob Replikationsstudien ebenfalls von Hacking betroffen sind. Es wurden dazu verschiedene Anreize für das Manipulieren von Replikationen vorgestellt. Besonders wurde auf Null-Hacking eingegangen, das durch die hohe Aufmerksamkeit auf nicht replizierte Befunde, begünstigt werden könnte.
Methodik: Die Methode Präregistrierung gilt als ein direktes Mittel, um Freiheitsgrade von Forschenden einzuschränken und dabei Hacking entgegenzuwirken. Daher untersuchte die
vorliegende präregistrierte Studie anhand der bisher umfassendsten Replikationsdatenbank (FORRT Replication Database), ob der Präregistrierungsstatus der Replikationsstudie den Zusammenhang zwischen Originaleffekt und Replikationseffekt moderiert. Nach allen Exklusionen wurden 361 Replikationseffekte berücksichtigt, von denen 124 präregistriert waren. Es wurde darüber hinaus ermittelt, ob die Ähnlichkeit (Closeness) zwischen der Originalstudie und der Replikationsstudie sowie verschiedene Präregistrierungsvorlagen den Zusammenhang zwischen Originaleffekt und Replikationseffekt moderieren. Zudem wurde explorativ untersucht, ob präregistrierte Replikationen sich hinsichtlich des Replikationserfolgs von nicht-präregistrierten Replikationen unterscheiden.
Ergebnis: Der Präregistrierungsstatus der Replikation und die Closeness moderierten den Zusammenhang zwischen dem Originaleffekt und dem Replikationseffekt nicht. Nur eine
Präregistrierungsvorlage moderierte den Zusammenhang zwischen Originaleffekt und Replikationseffekt, während alle anderen Vorlagen keinen Effekt auf den Zusammenhang
aufwiesen. Zudem zeigten präregistrierte Replikationen keine Unterschiede im Replikationserfolg im Vergleich zu nicht-präregistrierten Replikationen.
Diskussion: Diese Ergebnisse liefern erste Hinweise darauf, dass Replikationen möglicherweise nicht von Hacking betroffen sind. Aufgrund der vorgestellten Limitationen in dieser Studie, braucht es weitere Forschung, die dieses Phänomen untersucht. Denn manipulierte Replikationen erwecken den Anschein von wissenschaftlichem Fortschritt und Qualitätskontrolle, können jedoch langfristig die Entwicklung ganzer Forschungsfelder hemmen.
GND Keywords: ; ; ;
Psychologie
Forschung
Replikation
Vertrauenswürdigkeit
Keywords:
replication, p-hacking, null-hacking, preregistration, meta-analysis, open science
DDC Classification:
RVK Classification:
Type:
Masterthesis
Activation date:
December 19, 2024
Permalink
https://fis.uni-bamberg.de/handle/uniba/105013