Na co zwrócić uwagę w badaniu, zanim w nie uwierzysz

Kiedy już wiesz, że masz przed sobą badanie, które warto przeczytać, nadchodzi druga połowa pracy: przeczytaj je tak, żeby cię nie zmyliło. Ważnych jest tylko kilka rzeczy – w której części pracy kryje się to, co istotne, które cztery liczby naprawdę coś mówią, kogo i jak długo obserwowano oraz kto to wszystko sfinansował. Nie musisz rozumieć statystyki.

To jest kontynuacja artykułu „Jak czytać badania naukowe i nie dać się nabrać na nagłówki”, w którym chodzi o to, co potrafią wykazać różne rodzaje badań. Teraz przyjrzymy się bliżej jednej konkretnej pracy.

Gdzie w badaniu szukać prawdy

Każda praca naukowa ma taką samą strukturę. Jak ją poznasz, wiesz, gdzie szukać.

Streszczenie to podsumowanie na początku pracy, jedno lub dwa zdania z każdej sekcji. To w zasadzie marketing pracy – pisze się je tak, żeby przyciągnąć uwagę i żeby dało się je zacytować. Nie ma w nim miejsca na żadne zastrzeżenia, ograniczenia ani „ale”. Istnieje nawet szydercza nazwa na kogoś takiego: wojownik streszczeń. To osoba, która przeczyta streszczenie i idzie z nim do internetowej dyskusji, przekonana, że wszystko zrozumiała.

We wstępie wyjaśniono, co już wiadomo, co budzi wątpliwości, a przede wszystkim dwie rzeczy: cel i hipotezę. Zapamiętaj je, bo później sprawdzisz, czy praca rzeczywiście dotyczyła tego, co obiecała.

Metodologia to najnudniejsza, ale też najważniejsza część. Kim byli uczestnicy, ilu ich było, jak długo to trwało, co dokładnie mierzono i w jaki sposób. Dziewięćdziesiąt procent problemów związanych z badaniami można wykryć właśnie tutaj.

Wyniki to same suche liczby bez komentarza, tabele i wykresy.

Część „Dyskusja” to miejsce, gdzie autorzy sami przyznają, czego ich praca nie potrafi. Znajduje się tam zaskakująco szczery akapit o ograniczeniach i zazwyczaj są to dwadzieścia najcenniejszych wierszy całej pracy. Jeśli nie masz czasu na nic innego, przeczytaj streszczenie, a potem omówienie ograniczeń. Różnica między tym, jak to brzmi na początku, a tym, co autorzy przyznają na końcu, powie ci naprawdę wiele.

Kwestie finansowania i konfliktu interesów są na samym końcu, napisane drobnym drukiem. O tym za chwilę.

Wartości procentowe, które wydają się większe, niż są w rzeczywistości

Wielkość efektu nie polega na tym, czy różnica istnieje, ale na tym, jak duża jest. Ta liczba prawie nigdy nie pojawia się w nagłówkach, choć jest najważniejsza ze wszystkich. Istniejąca, ale nieznaczna różnica w praktyce jest tym samym, co jej brak.

Liczby względne kontra liczby bezwzględne. „Zmniejszenie ryzyka o 50%” brzmi dramatycznie. Dopóki nie dowiesz się, że ryzyko spadło z dwóch przypadków do jednego na sto tysięcy osób. Bezwzględna różnica to jeden przypadek na sto tysięcy. Względna to połowa. Obie liczby są prawdziwe, ale jedna z nich wprowadza w błąd. Łatwo zgadnąć, która trafi do nagłówka. Zawsze szukaj liczb bezwzględnych. Jeśli ich w artykule nie ma, to autor albo ich nie zrozumiał, albo celowo je ukrył.

Wartość i przedział, który pokazuje niepewność

Istotność statystyczna, czyli wartość p, mówi w uproszczeniu, jakie jest prawdopodobieństwo, że taki wynik pojawiłby się przez czysty przypadek.

Trzeba tu wiedzieć dwie rzeczy. Po pierwsze, „statystycznie istotne” nie znaczy „ważne”: przy wystarczająco dużej próbie jako istotna wyjdzie nawet różnica, której w życiu nie odczujesz. Po drugie, ta granica to tylko umowna wartość, więc wyniki tuż poniżej i tuż powyżej niej są o wiele bliższe sobie, niż się o nich pisze.

Przedział ufności to zakres, w którym prawdopodobnie mieści się rzeczywista wartość. Jeśli badanie wskazuje, że dane działanie poprawiło wyniki o 5% z przedziałem od 4 do 6%, to jest to całkiem pewny wynik. Jeśli przedział wynosi od −2 do 12%, to znaczy, że tak naprawdę prawie nic nie wiemy: może to bardzo pomaga, a może szkodzi. Szeroki przedział to oznaka małej próby i jest to jeden z najlepszych szybkich wskaźników tego, jak poważnie można traktować ten wynik.

Na kogo, jak długo i ilu odpadło

Trzy pytania dotyczące metodologii, które wykluczają większość sensacyjnych odkryć.

Słuchaj. Dwudziestu studentów to nie jest reprezentatywna grupa. Wyniki uzyskane u zawodowych sportowców niekoniecznie mają zastosowanie do zwykłego człowieka po czterdziestce. Badanie przeprowadzone wyłącznie na młodych mężczyznach nie odnosi się do kobiet po menopauzie. Zawsze sprawdź, czy uczestnicy choć trochę przypominają ciebie.

Jak długo. To największa słabość badań nad odżywianiem i stylem życia w ogóle. Najdłuższe randomizowane badania dotyczące diety trwały dwa lata, a zdecydowana większość – od czterech do sześciu tygodni. Powód jest prozaiczny: ludzie nie wytrzymują na diecie dłużej, a nikt za to nie zapłaci. Oznacza to, że o długoterminowych skutkach czegokolwiek wiemy znacznie mniej, niż sugeruje połowa internetu.

Ilu odpadło. Skoro badanie zaczęło się od stu osób, a skończyło je czterdzieści, wynik mówi o tych czterdziestu wytrwałych, a to zupełnie inna grupa niż ta, z którą się zaczynano. Wysoki odsetek osób, które zrezygnowały, to sygnał ostrzegawczy, o którym w streszczeniu nigdy nie ma mowy.

Jak można manipulować wynikami

Nie zawsze chodzi o oszustwo. Często to po prostu ludzka skłonność do szukania w danych czegoś pozytywnego. Ale wynik jest taki sam.

Zmiana pytania po uzyskaniu wyniku. Rzetelna procedura wygląda tak: sformułuję hipotezę, sporządzę protokół z góry, przeprowadzę eksperyment, a jeśli mi nie wyjdzie, zmienię wniosek. Nieuczciwe podejście jest odwrotne: przeprowadzam eksperyment, sprawdzam, co wyszło, a potem dopisuję pytanie, jakby miałem je od początku. Dobry badacz zmienia wnioski, żeby pasowały do danych. Zły zmienia dane i pytania, żeby pasowały do wniosku.

Polowanie na istotność. Kiedy w badaniu mierzysz dwadzieścia wskaźników, z czysto statystycznego punktu widzenia jeden z nich okaże się istotny, nawet jeśli w rzeczywistości nic nie działa. Wystarczy wtedy napisać artykuł o tym jednym. Dlatego dziś protokoły badań rejestruje się z wyprzedzeniem w publicznych rejestrach, żeby było widać, co pierwotnie miało być mierzone. Jeśli w badaniu jest mowa o takiej rejestracji, to dobry znak.

Zniekształcenie publikacyjne. Badania, w których nic nie znaleziono, trudniej jest opublikować. Czasopisma chcą odkryć, a nie nudy. W rezultacie cała literatura naukowa jest przesunięta w stronę pozytywnych wyników, nawet jeśli nikt niczego nie sfałszował.

Wybieranie tylko tego, co się podoba. Najczęstszy błąd zarówno wśród czytelników, jak i osób piszących o nauce w sieci. Do niemal każdego twierdzenia można znaleźć przynajmniej jedno badanie, które je potwierdza.

Kto za to zapłacił i gdzie to się ukazało

Źródło finansowania znajdziesz na końcu każdej pracy, razem z oświadczeniem o konflikcie interesów.

Badanie opłacone przez producenta niekoniecznie jest złe. Duża część rzetelnych badań powstaje dzięki funduszom z branży, bo po prostu nikt inny za to nie zapłaci. Ale to powód, żeby czytać uważniej, zwłaszcza gdy wnioski podejrzanie dokładnie powtarzają przekaz marketingowy zleceniodawcy albo gdy mierzono właśnie ten wskaźnik, który pasuje do produktu.

Warto też sprawdzić, gdzie ukazała się ta praca. Istnieją tak zwane czasopisma drapieżne, które za opłatą opublikują wszystko, bez prawdziwej recenzji. Uważaj też na preprinty, czyli prace opublikowane przed recenzją. Nie są one bezwartościowe, ale nie przeszły jeszcze weryfikacji przez kolegów z branży.

Gdzie to sprawdzisz?

Nie musisz wierzyć artykułowi, który opisuje to badanie. Prawie zawsze można znaleźć oryginalny tekst.

PubMed to darmowa baza danych literatury biomedycznej, w której znajdziesz streszczenia praktycznie wszystkiego. Cochrane Library zawiera przeglądy systematyczne, które należą do najdokładniejszych na świecie. Google Scholar pokaże, ile razy dana praca została zacytowana i przez kogo.

Do sprawdzania rzetelności służą dwie strony: Retraction Watch śledzi wycofane badania, a PubPeer zbiera zastrzeżenia naukowe dotyczące poszczególnych prac. Jeśli badanie, o którym właśnie się pisze, pojawia się na jednej z nich, to już wiesz wystarczająco dużo.

I jeszcze jedna praktyczna uwaga: większość artykułów dziennikarskich o nauce nie podaje odniesienia do oryginalnej publikacji. To już samo w sobie jest sygnałem ostrzegawczym. Jeśli nie możesz dotrzeć do oryginału, traktuj to twierdzenie jak plotkę.

Mały słowniczek

Randomizacja — losowy podział uczestników na grupy. Jedyny wiarygodny sposób na oddzielenie efektu od czynników losowych i wpływu stylu życia.

Ślepy eksperyment — uczestnicy, a w przypadku podwójnie ślepego eksperymentu również badacze, nie wiedzą, kto dostał prawdziwe leczenie, a kto placebo.

Placebo – nieskuteczny substytut, który służy do porównania. Samo oczekiwanie na efekt może realnie wpłynąć na wynik, dlatego bez grupy porównawczej nie da się niczego ocenić.

Kohorta — grupa osób obserwowana przez dłuższy czas.

Zmienna zakłócająca – trzeci czynnik, który wpływa jednocześnie na obie badane rzeczy i tworzy pozorny związek.

Wskaźnik zastępczy — mierzona wartość, która ma odzwierciedlać to, co naprawdę nas interesuje, na przykład poziom cholesterolu zamiast zawału serca.

Wielkość efektu — jak duża jest stwierdzona różnica, a nie tylko to, czy w ogóle istnieje.

wartość p — prawdopodobieństwo, że taki wynik pojawiłby się przypadkowo. Granica 0,05 to raczej konwencja, a nie prawo.

Przedział ufności — zakres, w którym prawdopodobnie mieści się rzeczywista wartość. Im szerszy, tym mniej wiemy.

Metaanaliza — statystyczne połączenie wyników wielu badań w jedną liczbę.

Przegląd systematyczny — praca, w której zgodnie z wcześniej ustalonymi zasadami gromadzi się i ocenia wszystkie badania dotyczące danego tematu.

Preprint — artykuł opublikowany przed recenzją naukową.