Około 50% eksperymentów naukowych okazało się NIEPOWTARZALNE

2024 Autor: Seth Attwood | [email protected]. Ostatnio zmodyfikowany: 2023-12-16 16:14

Przypadkowo w strumieniu wiadomości i informacji natknąłem się na artykuł w Nature Scientific Reports. Przedstawia dane z ankiety przeprowadzonej wśród 1500 naukowców na temat odtwarzalności wyników badań naukowych. Jeśli wcześniej problem ten był podnoszony dla badań biologicznych i medycznych, gdzie z jednej strony jest on wytłumaczalny (fałszywe korelacje, ogólna złożoność badanych systemów, czasem zarzuca się nawet oprogramowanie naukowe), to z drugiej strony ma fenomenologiczny charakter (na przykład myszy mają tendencję do zachowywania się inaczej z naukowcami różnej płci (1 i 2)).

Jednak nie wszystko jest płynne i płynne jeszczenauki przyrodnicze, takie jak fizyka i inżynieria, chemia, ekologia. Wydawałoby się, że te właśnie dyscypliny opierają się na „absolutnie” powtarzalnych eksperymentach przeprowadzanych w najbardziej kontrolowanych warunkach, niestety, niesamowity – w każdym tego słowa znaczeniu – wynik ankiety: do 70%badacze zmierzyli się Nieodtwarzalnyeksperymenty i wyniki uzyskane nie tylko przez inne grupy naukowców, ALE oraz przez autorów/współautorów opublikowanych prac naukowych!

Czy każdy brodzik chwali swoje bagno?

Chociaż 52% respondentów wskazuje na kryzys odtwarzalności w nauce, mniej niż 31% uważa publikowane dane za fundamentalnie niepoprawne, a większość wskazała, że nadal ufa opublikowanej pracy.

Oczywiście nie powinno się rąbać sobie po ramieniu i linczować całej nauki jako takiej tylko na podstawie tego badania: połowa respondentów to nadal naukowcy związani w taki czy inny sposób z dyscyplinami biologicznymi. Jak zauważają autorzy, w fizyce i chemii poziom odtwarzalności i pewności uzyskanych wyników jest znacznie wyższy (patrz wykres poniżej), ale nadal nie 100%. Ale w medycynie sprawy mają się bardzo źle w porównaniu z resztą.

Przychodzi mi na myśl żart:

Marcus Munafo, psycholog biologiczny z Uniwersytetu w Bristolu w Anglii, od dawna interesuje się powtarzalnością danych naukowych. Wspominając czasy swoich studenckich czasów, mówi:

Kiedyś próbowałem odtworzyć eksperyment z literatury, który wydawał mi się prosty, ale po prostu nie mogłem tego zrobić. Miałem kryzys pewności siebie, ale potem zdałem sobie sprawę, że moje doświadczenie nie było wcale takie rzadkie.

Problem z głębokością i szerokością geograficzną

Wyobraź sobie, że jesteś naukowcem. Trafiasz na ciekawy artykuł, ale wyników/eksperymentów nie da się odtworzyć w laboratorium. Logiczne jest napisanie o tym autorom oryginalnego artykułu, proszenie o radę i zadawanie pytań wyjaśniających. Według ankiety, mniej niż 20%zrobili to kiedykolwiek w swojej karierze naukowej!

Autorzy badania zauważają, że być może takie kontakty i rozmowy są zbyt trudne dla samych naukowców, ponieważ ujawniają ich niekompetencję i niekonsekwencję w pewnych kwestiach lub ujawniają zbyt wiele szczegółów obecnego projektu.

Co więcej, absolutna mniejszość naukowców próbowała opublikować obalenie nieodtwarzalnych wyników, jednocześnie napotykając sprzeciw redaktorów i recenzentów, którzy zażądałumniejszanie porównania z oryginalnymi badaniami. Czy można się dziwić, że szansa na zgłoszenie nieodtwarzalności wyników naukowych wynosi około 50%.

Może więc warto przynajmniej przeprowadzić test odtwarzalności wewnątrz laboratorium? Najsmutniejsze jest to, że nawet jedna trzecia badanych NIGDYi nie myślał o tworzeniu metod weryfikacji danych pod kątem odtwarzalności. Tylko 40%wskazał, że regularnie korzysta z takich technik.

Inny przykład, biochemik z Wielkiej Brytanii, który nie chciał ujawnić swojego nazwiska, mówi, że próby powtórzenia, odtworzenia pracy dla jej projektu laboratoryjnego po prostu podwajają czas i koszty materiałowe, nie dając ani nie dodając nic nowego do pracy. Dodatkowe kontrole są przeprowadzane tylko w przypadku innowacyjnych projektów i nietypowych wyników.

I oczywiście odwieczne rosyjskie pytania, które zaczęły dręczyć zagranicznych kolegów: kto jest winny i co robić?

Kto jest winny?

Autorzy pracy zidentyfikowali trzy główne problemy odtwarzalności wyników:

• Presja przełożonych, aby praca została opublikowana na czas
• Raportowanie selektywne (podobno oznacza to zatajenie niektórych danych, które „psują” cały obraz)
• Niewystarczająca analiza danych (w tym statystyczna)

Co robić?

Na 1500 ankietowanych ponad 1000 specjalistów opowiedziało się za udoskonaleniem statystyk w zakresie zbierania i przetwarzania danych, poprawą jakości nadzoru ze strony szefów oraz bardziej rygorystycznym planowaniem eksperymentów.

Wnioski i osobiste doświadczenia

Po pierwsze, nawet dla mnie, jako naukowca, wyniki są oszałamiające, chociaż jestem przyzwyczajony do pewnego stopnia nieodtwarzalności wyników. Jest to szczególnie widoczne w pracach wykonywanych przez Chińczyków i Hindusów bez zewnętrznego „audytu” w postaci amerykańskich/europejskich profesorów. Dobrze, że problem został rozpoznany i pomyślano o jego rozwiązaniu (rozwiązaniach). W związku z niedawnym skandalem taktownie przemilczę rosyjską naukę, chociaż wielu uczciwie wykonuje swoją pracę.

Po drugieartykuł pomija (a raczej nie uwzględnia) roli metryk naukowych i recenzowanych czasopism naukowych w powstawaniu i rozwoju problemu nieodtwarzalności wyników badań. W pogoni za szybkością i częstotliwością publikacji (czytanie, wzrost wskaźników cytowań) jakość gwałtownie spada i nie ma czasu na dodatkową weryfikację wyników.

Jak mówią, wszystkie postacie są fikcyjne, ale oparte na prawdziwych wydarzeniach. Jakoś jeden student miał szansę zrecenzować artykuł, bo nie każdy profesor ma czas i energię na wnikliwe przeczytanie artykułów, dlatego zbierane są opinie 2-3-4 studentów i doktorów, z których powstaje recenzja. Napisano recenzję, która wykazała nieodtwarzalność wyników zgodnie z metodą opisaną w artykule. Zostało to wyraźnie pokazane profesorowi. Ale żeby nie zepsuć relacji z „kolegami” – w końcu im się wszystko udaje – recenzja została „poprawiona”. A opublikowano 2 lub 3 takie artykuły.

Okazuje się błędne koło. Naukowiec przesyła artykuł do redakcji czasopisma, gdzie wskazuje „ pożądany „I głównie” niepożądany »Recenzenci, czyli de facto zostawianie tylko tych, którzy są pozytywnie nastawieni do zespołu autorów. Recenzują pracę, ale nie mogą „srać w komentarzach” i próbują wybrać mniejsze zło - oto lista pytań, na które należy odpowiedzieć, a następnie opublikujemy artykuł.

Innym przykładem, o którym mówił redaktor Nature zaledwie miesiąc temu, są panele słoneczne Grazela. W związku z ogromnym zainteresowaniem tym tematem w środowisku naukowym (przecież nadal chcą artykuł w Naturze!), Redakcja musiała stworzyć specjalny kwestionariusz, w którym muszą wskazać wiele parametrów, podać kalibracje sprzętu, certyfikaty itp. w celu potwierdzenia, że metoda pomiaru wydajności paneli jest zgodna z pewnymi ogólnymi zasadami i normami.

ORAZ, trzecigdy po raz kolejny słyszysz o cudownej szczepionce, która podbija wszystko i wszystkich, nową historię o Jobach w spódnicy, nowych bateriach czy niebezpieczeństwach/korzyściach GMO czy promieniowaniu smartfonów, zwłaszcza jeśli promowali ją żółci pisarze z dziennikarstwa, traktuj ze zrozumieniem i nie wyciągaj pochopnych wniosków. Poczekaj na potwierdzenie wyników przez inne grupy naukowców, akumulację macierzy i próbek danych.

PS:Artykuł został przetłumaczony i napisany pospiesznie, o wszystkich zauważonych błędach i nieścisłościach proszę pisać w sieci LAN.