Möchten Sie über Arthurs Schriften auf dem Laufenden bleiben? Melden Sie sich an um jedes Mal eine E-Mail zu erhalten, wenn eine neue Kolumne erscheint.
WWir leben in interessanten Zeiten für die Sozialwissenschaften. In den letzten Jahrzehnten schienen Disziplinen wie die Sozialpsychologie und die Verhaltensökonomie viele der Geheimnisse des menschlichen Lebens zu entschlüsseln, und sowohl Akademiker als auch Laien konnten nicht genug von dem bekommen, was sie enthüllten. Auch Journalisten haben Erkenntnisse darüber gewonnen, wie beispielsweise ansonsten anständige Menschen, denen willkürliche Macht über andere gegeben wird, brutal und sogar sadistisch werden können – wie das berühmte Stanford-Gefängnisexperiment angeblich festgestellt haben soll, als Freiwillige gebeten wurden, die Rollen von Gefangenen und Gefängniswärtern zu simulieren. Und alle waren begeistert von der cleveren, auffälligen Art und Weise, wie Forscher solche Studien gestalteten.
In letzter Zeit ist die sozialwissenschaftliche Welt jedoch in Kontroversen verstrickt. Forscher selbst stellen inzwischen fest, dass viele berühmte Experimente entlarvt wurden – wie beispielsweise das Stanford-Gefängnisexperiment – oder einfach nicht reproduziert werden können. Wissenschaftler schreiben in der Zeitschrift Wissenschaft im Jahr 2015 reproduzierte 100 Experimente, die in drei einflussreichen Psychologiezeitschriften veröffentlicht wurden, und stellte fest, dass nur 36 Prozent Ergebnisse lieferten, die mit den ursprünglichen Ergebnissen übereinstimmten.
Schlimmer noch: Es sind mehrere Vorwürfe unethischer Datenpraktiken aufgetaucht, von denen einige bewiesen sind. Das Fehlverhalten umfasste sogenanntes P-Hacking – die Verarbeitung von Daten auf der Suche nach falschen Korrelationen und deren Veröffentlichung als gültige Ergebnisse – und sogar regelrechten Betrug, bei dem Forscher ihre Daten so verändert haben, dass sie einem vorgefassten Ergebnis entsprechen.
Eine natürliche Schlussfolgerung für viele außerhalb des Berufsstandes ist die große Skepsis gegenüber dem Fachgebiet: Die Menschen werden sich zwangsläufig fragen, ob Forschung, die auf Verhaltensexperimenten basiert, einfach nicht vertrauenswürdig ist. Ich verstehe das, aber ich lehne die Vorstellung ab, dass das gesamte Unternehmen diskreditiert wurde. Als akademischer Sozialwissenschaftler – und, was noch wichtiger ist, als Schiedsrichter dieser Forschung für die Leser von Der Atlantik„Ich möchte einen Blick hinter die Kulissen werfen, um zu zeigen, wie Forschung funktioniert, warum sie schief geht, wie man sie liest, worauf man vertrauen und was man ignorieren sollte.“
Mist geboren Das Studium beschränkt sich nicht nur auf die Sozialwissenschaften. Die Naturwissenschaften leiden unter ganz ähnlichen Schwierigkeiten. John Ioannidis, ein medizinischer Forscher an der Stanford University, führt dieses Problem auf eine Reihe von Studienfehlern zurück: Experimente, die zu klein sind, als dass man ihnen vertrauen könnte; Fälle, in denen ein Ergebnis aufgrund mathematischer Fingerfertigkeit gültig erscheint, aber tatsächlich bedeutungslos ist; schlechte experimentelle Designs; und – am tiefsten verwurzelt – akademische Voreingenommenheit, die durch berufliche Anreize verursacht wird, bestimmte Ergebnisse zu erzielen.
Diese Anreize sind brutal. In einigen Bereichen muss ein Professor Dutzende von Forschungsartikeln veröffentlicht haben, um eine feste Anstellung zu erhalten (ohne die er normalerweise vor die Tür gesetzt wird). Stellen Sie sich vor, Sie studieren ein Jahrzehnt lang an der Uni und an der Graduiertenschule, mühen sich dann vielleicht weitere zehn Jahre lang mit der Forschung ab und bewältigen gleichzeitig ein hohes Lehrpensum, nur um dann in der Lage zu sein, Ihre Karriere auf die Ob-oder-Aus-Entscheidung eines Universitätsausschusses zu setzen . Wie ein Forscher auf Political Science Rumours schrieb, einem anonymen Forum, in dem sich Akademiker auf diesem Gebiet offen austauschen können: „Der Tenure-Track ist ein entmenschlichender Prozess, weil er uns wie Lehrlinge behandelt, bis wir mindestens weit in unseren 30ern sind, und oft sogar deutlich nach 40.“ Obwohl meine Suche nach einer Festanstellung bereits Jahre zurückliegt, erinnere ich mich noch gut an die 70-Stunden-Wochen in einem fensterlosen Büro und den damit verbundenen intensiven Stress.
An Spitzenuniversitäten reicht selbst die ordnungsgemäße Umsetzung veröffentlichter Forschungsergebnisse nicht aus. Auch das Thema muss clever sein und im Idealfall sollten die Ergebnisse überraschend sein. Empirische Beweise dafür Hund beißt Mann bekommt nicht viel Anerkennung; Ein geniales Experiment, das Beweise dafür liefert, dass Männer tatsächlich in 73,4 Prozent der Fälle Hunde beißen – jetzt reden wir.
Es überrascht vielleicht nicht, dass dieser Impuls, sich auf das eingängige Kontraintuitive zu konzentrieren, zu Problemen führt. Ein Artikel aus dem Jahr 2019 mit dem Titel „Cheat or Perish?“ im Tagebuch Forschungspolitik untersuchte die Anreize in der Wissenschaft, Abstriche zu machen oder direkt zu betrügen. Die Autoren stellten fest, dass Zuckerbrot zwar produktive Arbeit von hoher Qualität fördern kann, selbst bei scheinbar leidenschaftsloser Forschung, Peitschen jedoch Fehler oder Fehlverhalten verhindern können. Die Wissenschaftler schrieben aber auch, dass Fehler und Fehlverhalten in der Forschung schwer zu erkennen sein können, was die Fähigkeit, sie zu untersuchen, effektiv einschränkt. Das bedeutet, dass die Karotten die Peitschen deutlich überwiegen, was sich vorhersehbar auf die Integrität der Arbeit auswirkt.
Die Anstellung allein beseitigt die problematischen Anreize nicht zwangsläufig. Ältere Forscher verfallen leicht der Hybris und versäumen es, Rat und konstruktive Kritik einzuholen. Untersuchungen haben auch gezeigt, dass Menschen mit mehr Fachwissen auf einem Gebiet dazu neigen, schlechter zu reagieren als diejenigen mit weniger Erfahrung, indem sie noch pedantischer werden, wenn sie „nicht bestätigendes Feedback“ erhalten – mit anderen Worten, sie wollen nicht hören, dass sie es sind falsch. Und die Einsätze steigen in einer Zeit, in der Verhaltensforscher außerhalb der akademischen Welt zu Superstars werden und für ihre aufregend heterodoxen Erkenntnisse Vortragsaufträge und Buchverträge erhalten können.
ICH nicht Ich glaube, dass die meisten experimentellen Forschungen in den Sozialwissenschaften falsch sind, und ich hatte das Glück, im Laufe meiner Karriere mit Kollegen und Mitarbeitern zusammenzuarbeiten, die kompromisslos gewissenhaft sind. Dennoch bin ich in Bezug auf die Forschung, die ich in dieser Kolumne zitiere, sehr vorsichtig, zusätzlich zu unserem sorgfältigen routinemäßigen Faktenprüfungsprozess, gerade wegen der oben beschriebenen Probleme. Bei der wöchentlichen Vorbereitung mache ich mir normalerweise einen Überblick über die Forschungslandschaft und lese dann 10 oder 12 relevante wissenschaftliche Artikel genau durch. Wenn ich entscheide, worauf ich meine Argumente stützen möchte, achte ich zunächst auf die Qualität des Forschungsdesigns und nutze dabei meine akademische Ausbildung. Dann befolge ich drei Grundregeln.
1. Wenn es zu schön erscheint, um wahr zu sein, ist es das wahrscheinlich auch.
In den letzten Jahren sind drei Sozialwissenschaftler – Uri Simonsohn, Leif Nelson und Joseph Simmons – für ihre Detektivarbeit zur Aufdeckung falscher oder gefälschter Forschungsergebnisse berühmt geworden. Um deutlich zu machen, dass viele scheinbar „legitime“ Erkenntnisse nicht vertrauenswürdig sind, haben sie einen bestimmten Datensatz so lange gefoltert, bis er das offensichtlich unmögliche Ergebnis zeigte, dass das Hören des Beatles-Songs „When I’m Sixty-Four“ Sie buchstäblich jünger machen könnte.
Wenn also ein Verhaltensergebnis äußerst ungewöhnlich ist, bin ich misstrauisch. Wenn es unplausibel ist oder dem gesunden Menschenverstand zuwiderläuft, meide ich das Ergebnis gänzlich, weil das Risiko, dass es falsch ist, zu groß ist. Ich unterziehe die Verhaltensforschung gerne dem, was ich den „Großelterntest“ nenne: Stellen Sie sich vor, Sie beschreiben das Ergebnis Ihrem weltgewandten älteren Verwandten und erhalten dessen Antwort. („Hey, Oma, ich habe eine coole neue Studie gefunden, die zeigt, dass Untreue zu glücklicheren Ehen führt. Was denkst du?“)
2. Lassen Sie Ideen etwas altern.
Ich neige dazu, einem Sweet Spot zu vertrauen, wenn es darum geht, wie aktuell ein bestimmtes Forschungsergebnis ist. Eine Studie, die vor mehr als 20 Jahren veröffentlicht wurde, ist meist zu alt, um die aktuellen gesellschaftlichen Verhältnisse abzubilden. Wenn ein Befund jedoch zu neu ist, ist er möglicherweise bisher einer ausreichenden Prüfung entgangen – und wurde von anderen Wissenschaftlern weder reproduziert noch vernichtet. Gelegentlich kommt mir ein brandneuer Aufsatz so gut gemacht und sinnvoll vor, dass es sich lohnt, ihn zu zitieren, um meinen Standpunkt klarzustellen, und ich verwende ihn, aber im Allgemeinen fühle ich mich wohler mit neuen-ish Studien, die Teil eines umfassenderen Ergebnismusters in einem Bereich sind, den ich studiere. Ich führe eine Akte (meinen „Weinkeller“) mit sehr aktuellen Studien, denen ich vertraue, die ich aber etwas altern lassen möchte, bevor ich sie für eine Kolumne verwende.
3. Nützlich ist besser als clever.
Der perverse Anreiz beschränkt sich nicht nur auf die Akademie. Ein Großteil des Wissenschaftsjournalismus legt Wert auf Neuheit gegenüber Nutzen und berichtet über Studien, bei denen sich herausstellt, dass sie eher scheitern, wenn jemand versucht, sie zu reproduzieren. Dies führt nicht nur zu Verwirrung, sondern missversteht auch den Sinn der Verhaltenswissenschaft, der nicht Edutainment, sondern Erkenntnisse liefern soll, die das Wohlbefinden verbessern können.
Ich schreibe selten eine Kolumne, weil ich etwas Interessantes finde Studie. Stattdessen stoße ich auf ein interessantes Thema oder eine interessante Idee und schreibe darüber. Dann suche ich nach Antworten, die auf einer Vielzahl von Forschungen und Beweisen basieren. Das gibt mir eine Vorliebe – für nützliche Studien statt für clevere.
Bdarüber hinaus Wenn ich die Methoden, Daten und das Design von Studien prüfe, bin ich der Meinung, dass diese drei Regeln in einer Welt unvollständiger Forschung ziemlich gut funktionieren. Tatsächlich gehen sie über die Art und Weise hinaus, wie ich meine Arbeit erledige. Sie helfen tatsächlich dabei, mein Leben zu leiten.
Im Leben werden wir ständig von Modeerscheinungen und Tricks heimgesucht – neue Arten zu handeln, zu denken und zu sein, Abkürzungen zu den Dingen, die wir wollen. Ob in der Politik, in der Liebe, im Glauben oder im Fitnessbereich – das Äquivalent einer aktuellen neuen Studie mit kontraintuitiven Erkenntnissen verlangt immer, dass wir die alten Gewohnheiten über Bord werfen und die neuesten Erkenntnisse akzeptieren.
Ich glaube an den persönlichen Fortschritt. Aus diesem Grund schreibe ich diese Kolumne und denke gerne daran, dass ich in meinem Leben welche gemacht habe. Aber ich weiß auch, dass unsere von Neuheiten und Technologie besessene Kultur voller schlechter Ideen und Fehlinformationen ist – das Äquivalent von P-Hack-Ergebnissen, falschen Erkenntnissen und offenem Betrug zum persönlichen Vorteil.
Wenn ich also im Leben wie bei der Arbeit einen Zug vorbeifahren sehe, frage ich immer: Scheint das zu schön um wahr zu sein? Ich lasse den kulturellen Moment oder gesellschaftlichen Trend eine Weile altern. Und dann überlege ich, ob es nützlich ist und nicht einfach nur neu. Vielleicht macht mich diese Pause ein bisschen nervös – aber sie lässt mich selten im Stich.