Badania psychologiczne okazały się fałszywe w ponad 50% przypadków

2024 Autor: Seth Attwood | [email protected]. Ostatnio zmodyfikowany: 2023-12-16 16:14

Istnieją „silne postawy”, które budują pewność siebie i redukują hormony stresu. Kiedy ludzie trzymają w dłoniach filiżankę ciepłego napoju, stają się bardziej przyjaźni dla otaczających ich osób. Siła woli jest zasobem, który wydajemy, gdy opieramy się pokusie. Możliwość odroczenia nagrody determinuje przyszły sukces dziecka.

Te wypowiedzi są do siebie bardzo podobne: za nimi stoją znane badania psychologiczne, bestsellery popularnonaukowe, felietony w popularnych magazynach i rozmowy TED.

Łączy ich jeszcze jedno: wszyscy okazali się w błędzie.

Kryzys odtwarzalności podał w wątpliwość całe dziedziny nauki. Wiele wyników, szeroko cytowanych w mediach, uważa się obecnie za przesadzone lub fałszywe. Kiedy naukowcy próbowali powtórzyć zarówno klasyczne, jak i najnowsze eksperymenty psychologiczne, wyniki były zaskakująco spójne, około połowa przypadków zakończyła się sukcesem, a druga połowa zakończyła się niepowodzeniem.

Kryzys w końcu ujawnił się w 2015 roku, kiedy naukowcy pod kierownictwem Briana Noska sprawdzili 100 badań psychologicznych. Udało im się osiągnąć wstępne wyniki tylko w 36 przypadkach. Redaktor naczelny Lancet, Richard Horton, wkrótce stwierdził:

„Oskarżenia pod adresem nauki są dość proste: co najmniej połowa literatury naukowej jest po prostu błędna. Cierpiąc na badania o małej liczebności próby, skąpy efekt i błędne analizy, a także obsesję na punkcie trendów mody o wątpliwej wadze, nauka zwróciła się w stronę ignorancji.

Odtwarzalność jest jednym z kluczowych wymogów wiedzy naukowej. Im lepszy wynik jest odtwarzany, tym bardziej jest wiarygodny - to jedyny sposób na oddzielenie prawdziwych wzorów od prostych zbiegów okoliczności

Okazało się jednak, że ten wymóg nie zawsze jest spełniony.

Kryzys zaczął się od medycyny, ale najbardziej dotknął psychologię. Latem 2018 roku naukowcy podjęli próbę powtórzenia wybranych badań psychologicznych opublikowanych w Science and Nature, najbardziej prestiżowych czasopismach naukowych na świecie. Spośród 21 eksperymentów tylko 13 zostało potwierdzonych - i nawet w tych przypadkach oryginalne wyniki były przesadzone o około 50%.

Często test odtwarzalności nie jest wynikiem badań, które były szeroko powielane w mediach i którym udało się wpłynąć na świadomość publiczną. Na przykład prace, w których wyszukiwarki osłabiają pamięć, a czytanie fikcji rozwija zdolność do empatii. Jeśli powtarzane eksperymenty zawodzą, nie oznacza to, że pierwotne hipotezy są bezwartościowe. Ale teraz potrzebne są lepsze badania, aby je udowodnić.

Jak przewidzieć przyszłość za pomocą statystyk

W 2011 roku słynny amerykański psycholog Daryl Boehm opublikował artykuł, w którym udowodnił możliwość jasnowidzenia. Ten wniosek nie był wytworem jego gwałtownej wyobraźni, ale opierał się na dziesięcioleciach badań, w których uczestniczyły setki osób. Wielu podejrzewało, że Boehm postanowił zaaranżować coś w rodzaju przekrętu Sokala i ujawnić psychologię za pomocą fałszywego artykułu z celowo absurdalnymi wnioskami. Ale według wszystkich standardów metodologicznych artykuł był bardzo przekonujący.

W jednym z eksperymentów Behma przed uczestnikami postawiono dwa ekrany – musieli zgadywać, za którym obrazem kryją się. Obraz został wygenerowany losowo natychmiast po dokonaniu wyboru. Jeśli uczestnicy wykonali dobrą robotę, oznaczałoby to, że mogą jakoś przewidzieć przyszłość. W eksperymencie wykorzystano dwa rodzaje obrazów: neutralne i pornograficzne.

Boehm zasugerował, że jeśli szósty zmysł istnieje, prawdopodobnie ma starożytne pochodzenie ewolucyjne. Jeśli tak, to jest bardziej prawdopodobne, że jest on dostosowany do naszych najstarszych potrzeb i popędów

Uczestnicy zgadywali obrazy pornograficzne w 53% przypadków – nieco częściej niż powinni, gdyby były czystym przypadkiem. Biorąc pod uwagę dużą liczbę eksperymentów, Boehm mógł twierdzić, że istnieje foresight.

Później eksperci odkryli, że analizując wyniki, zastosował nie do końca poprawne metody. Co do zasady wynik badania uważa się za wiarygodny, jeżeli prawdopodobieństwo, że został uzyskany przypadkowo nie przekracza 5%. Istnieje jednak wiele sposobów na obniżenie tej wartości do wymaganego poziomu: zmiana początkowych parametrów analizy, dodanie lub usunięcie wymaganej liczby przykładów z próby, zastosowanie bardziej udanych hipotez po zebraniu danych.

Problem w tym, że nie tylko Boehm, ale także wielu innych naukowców stosowało te same techniki. Według ankiety z 2011 r. przyznała się do tego prawie połowa psychologów

Kiedy ukazał się artykuł o jasnowidzeniu, socjolog Joseph Simmons, Leaf Nelson i Uri Simonson zdali sobie sprawę, że nauka zmierza ku własnej ruinie. Zbudowali kilka modeli komputerowych i odkryli, że stosując dość standardowe techniki statystyczne, można kilkakrotnie zwiększyć poziom wyników fałszywie dodatnich. Oznacza to, że metody formalnie naukowe mogą łatwo prowadzić do całkowicie absurdalnych wniosków.

Aby to zilustrować, naukowcy przeprowadzili eksperyment, który potwierdził, że słuchanie piosenki „Kiedy mam sześćdziesiąt cztery lata” czyni słuchacza o półtora roku młodszym.

„Wszyscy wiedzieli, że niewłaściwe jest stosowanie takich technik, ale uważali, że jest to naruszenie jego znaczenia - jak przejście przez jezdnię w niewłaściwym miejscu. Okazało się, że bardziej przypomina napad na bank”- podsumował Simmons.

Jak odróżnić złe badania od dobrych

Wkrótce stało się jasne, że kwestie odtwarzalności nie ograniczają się do psychologii. W badaniach nad rakiem dowody naukowe są poparte w 10-25% przypadków. W ekonomii 7 z 18 eksperymentów laboratoryjnych nie dało się powtórzyć. Badania nad sztuczną inteligencją również wykazują oznaki kryzysu.

Ale wydaje się, że utrata wiary w naukę nadal nie jest tego warta. Naukowcy opracowali już kilka sposobów, które znacznie poprawiły wiarygodność i jakość nowych badań

Kilka lat temu prawie nikt nie opublikował wyników powtórnych eksperymentów, nawet jeśli zostały przeprowadzone. Nie zostało to zaakceptowane, nie przyniosło grantów i nie przyczyniło się do udanej kariery naukowej. Według ankiety przeprowadzonej przez Nature ponad 70% psychologów próbowało odtworzyć badania innych osób bezskutecznie, około połowa nie była w stanie powtórzyć własnych, a prawie nikt nie starał się opublikować tych wyników.

Kiedy pojawił się kryzys odtwarzalności, wiele się zmieniło. Powtarzające się badania stopniowo stały się powszechne; coraz częściej zaczęto publikować dane eksperymentalne w domenie publicznej; czasopisma zaczęły publikować negatywne wyniki i odnotowywać ogólny plan badań jeszcze przed ich rozpoczęciem.

Badania stały się bardziej obszerne - próba 30-40 osób, co było dość standardowe w psychologii, obecnie odpowiada bardzo niewielu osobom. Duże organizacje międzynarodowe – takie jak Akcelerator Nauk Psychologicznych – testują te same hipotezy w kilku laboratoriach na całym świecie.

Przed sprawdzeniem artykułów z Nature and Science, o których pisaliśmy na początku, naukowcy zostali poproszeni o postawienie zakładów na loterie. Musieli przewidzieć, które badania zdadzą egzamin, a które nie. Ogólnie rzecz biorąc, stawki były bardzo dokładne. „Oznacza to, po pierwsze, że społeczność naukowa może przewidzieć, które prace będą mogły zostać powtórzone, a po drugie, że niemożność powtórzenia badania nie była zwykłym zbiegiem okoliczności” – mówią organizatorzy eksperymentu.

Naukowcy są na ogół dobrzy w odróżnianiu rzetelnych od niewiarygodnych badań - to dobra wiadomość. Teraz eksperci z Centrum Otwartej Nauki wspólnie z agencją DARPA próbują stworzyć algorytm, który wykona to samo zadanie bez ingerencji człowieka.

Każdego roku publikowanych jest zbyt wiele artykułów, aby ręcznie sprawdzić nawet niewielką ich część. Jeśli sztuczna inteligencja zabierze się do biznesu, wszystko będzie znacznie prostsze.

Już w pierwszych testach sztuczna inteligencja poradziła sobie z przewidywaniami w 80% przypadków.

Co najczęściej sprawia, że badania są niewiarygodne? Małe próbki, niespójności liczbowe, zbyt piękne potwierdzenie hipotez. A także - pragnienie doznań i zbyt prostych odpowiedzi na trudne pytania.

Za dobre by było prawdziwe

Najłatwiejszym sposobem na stworzenie sensacyjnych badań jest oszustwo. Słynny psycholog społeczny Diederik Stapel wykorzystał sfabrykowane dane w kilkudziesięciu artykułach naukowych. Badania Stapela szybko rozprzestrzeniły się w gazetach i czasopismach, otrzymał kilka prestiżowych nagród naukowych, ukazał się w Science i był uważany za jednego z największych specjalistów w swojej dziedzinie.

Kiedyś okazało się, że przez długi czas Stapel w ogóle nie prowadził badań, tylko po prostu wymyślał dane i przekazywał je studentom do analizy.

Jest to bardzo rzadkie w nauce. Dużo częściej głośne, ale nieprawdziwe stwierdzenia pojawiają się z innych powodów. Ludzie desperacko szukają prostych, zrozumiałych i skutecznych odpowiedzi na ekscytujące pytania. Może być bardzo łatwo ulec pokusie, by pomyśleć, że masz te odpowiedzi, nawet jeśli tak naprawdę ich nie masz. Dążenie do prostoty i pewności jest jednym z głównych powodów, dla których wiele badań nie sprawdza odtwarzalności. Oto kilka godnych uwagi przykładów.

Eksperyment z marshmallow

W eksperymencie dzieci zostały poproszone o wybranie między jedną małą nagrodą - taką jak pianki - którą można otrzymać natychmiast, a podwójną nagrodą, jeśli mogą trochę poczekać. Później okazało się, że dzieci, które otrzymały drugą nagrodę, odnoszą większe sukcesy w wieku dorosłym. Badanie stało się bardzo popularne i wpłynęło na niektóre programy szkolne.

W 2018 roku eksperyment powtórzono na szerszej próbie. Okazało się, że znacznie ważniejszym czynnikiem jest zamożność w rodzinie, od której zależy również poziom samokontroli.

„Pozy siły” i „Pozy słabości”

Uczestnicy eksperymentu przyjmowali jedną z dwóch pozycji na dwie minuty: odchylali się na krześle i rzucali nogami na stół ("pozycja siły") lub skrzyżowali ręce na klatce piersiowej ("pozycja słabości"). Dzięki temu uczestnicy z pierwszej grupy czuli się pewniej i częściej zgadzali się na podejmowanie ryzyka w hazardzie. Ci, którzy siedzieli w mocnej pozycji, zwiększali poziom testosteronu, a ci, którzy siedzieli w słabej pozycji, zwiększali kortyzol. W powtarzanych eksperymentach odtworzono tylko jeden efekt: „siła postawy” pomogła uczestnikom poczuć się pewniej, ale nie zmieniła ich zachowania ani parametrów hormonalnych.

Skojarzenia ze starością powodują, że poruszasz się wolniej

Uczestnicy eksperymentu zostali poproszeni o rozwiązanie kilku zagadek. Jeśli wstawiano do nich słowa, które kojarzą się ze starością – „zapominalni”, „starszy”, „samotni” – to uczestnicy wolniej opuszczali salę.

W ostatnich próbach eksperyment został pomyślnie odtworzony tylko w jednym przypadku: jeśli sami eksperymentatorzy wiedzieli, że w testach uczestnicy sugerowali starość. Sam efekt pozostał, ale przyczyny były już inne.

Ciepłe przedmioty czynią ludzi bardziej przyjaznymi

Uczestnikom eksperymentu pozwolono trzymać przez krótki czas filiżankę gorącej lub zimnej kawy, a następnie poproszono o ocenę osobowości osoby za pomocą krótkiego opisu. Uczestnicy, którzy trzymali filiżankę gorącej kawy ocenili tę osobę jako bardziej lubianą. W innym eksperymencie uczestnicy otrzymali przedmiot w ciepłym lub zimnym opakowaniu, a następnie poproszono go o zatrzymanie go lub przekazanie przyjacielowi. Jeśli przedmiot był zapakowany w ciepłe opakowanie, uczestnicy chętniej wybierali drugą opcję. Wielokrotne eksperymenty na szerszej próbie nie dały takich wyników. Wygląda na to, że ciepłe ubrania nie uczynią cię altruistą.

Siła woli wyczerpuje się, gdy opieramy się pokusom

Przed uczestnikami eksperymentu ustawiono dwa talerze - z ciasteczkami i rzodkiewkami. W pierwszej grupie uczestnicy mogli jeść ciasteczka, aw drugiej tylko rzodkiewki. Następnie każdy uczestnik został poproszony o rozwiązanie niemożliwej zagadki. Uczestnicy, którzy w pierwszej części eksperymentu jedli tylko rzodkiewki, poddali się znacznie wcześniej niż inni. W powtarzanych eksperymentach wyniki nie zostały potwierdzone.

W niektórych przypadkach zdolność do samokontroli nie wyczerpuje się, a nawet nasila z czasem. Wielu psychologów uważa obecnie pojęcie „siły woli” za zbyt uproszczone.

Wiele już zrobiono w światowej psychologii, aby badania były bardziej wiarygodne i odtwarzalne. W Rosji ten problem nie został jeszcze zrozumiany.

„W rosyjskiej psychologii problemy kryzysu dotyczą głównie młodzieży naukowej, która w dużej mierze jest zorientowana na naukę zachodnią” – powiedział The Knife Ivan Ivanchey, profesor nadzwyczajny w RANEPA. - Kontrola nad jakością publikacji w języku rosyjskim na ogół nie jest zbyt wysoka. Czasopisma rzadko odrzucają artykuły, dlatego publikuje się wiele badań o niskiej jakości. Często używane są małe próbki, co również zmniejsza prawdopodobieństwo pomyślnego rozmnażania. Istnieje podejrzenie, że jeśli poważnie podejdzie się do kwestii odtwarzalności prac rosyjskojęzycznych, to można odkryć wiele problemów. Ale nikt nie jest w to bezpośrednio zaangażowany”.

W styczniu 2019 r. okazało się, że rosyjski rząd zamierza znacznie rozszerzyć wymagania stawiane naukowcom w zakresie liczby publikacji: minimalna liczba publikowanych artykułów rocznie powinna wzrosnąć o 30-50%.

Naukowcy z wpływowego akademickiego „Klubu 1 lipca” skrytykowali inicjatywę: „Zadaniem nauki nie jest wyprodukowanie maksymalnej liczby publikacji, ale zbadanie wszechświata i czerpanie korzyści z wiedzy zdobytej dla ludzkości”. Najprawdopodobniej nowe wymagania tylko zwiększą skalę problemu.

Opowieść o kryzysie odtwarzalności nie jest opowieścią o nadchodzącej apokalipsie i inwazji barbarzyńców. Gdyby kryzys nie nastąpił, wszystko byłoby znacznie gorsze: nadal odwoływalibyśmy się do błędnych badań z pełnym przekonaniem, że znamy prawdę. Być może kończy się czas śmiałych nagłówków, takich jak „Brytyjscy naukowcy udowodnili”. Ale plotki, że nauka umarła, należy uznać za nieco przesadzone.