Jak czytać artykuły naukowe i nie dać się nabrać na nagłówki

Co tydzień to samo. „Nowe badania wykazały, że kawa przedłuża życie”. Miesiąc później: „Naukowcy ostrzegają, że kawa szkodzi sercu”. Jajka przez dziesięć lat były trucizną, a potem nagle stały się superżywnością. Śniadanie to najważniejszy posiłek dnia, o ile akurat nie jest na modzie przerywany post. W końcu przestajesz to śledzić, machasz ręką i mówisz sobie, że nauka i tak sobie zaprzecza i nie można jej wierzyć.

Tyle że nauka się nie zaprzecza. To nagłówki się ze sobą zaprzeczają.

Za tymi dwoma sprzecznymi nagłówkami zwykle kryją się dwie zupełnie różne rzeczy: raz badanie setki tysięcy osób za pomocą ankiety, innym razem eksperyment na trzydziestu myszach. W gazetach obie nazywa się „badaniem”. Oba dostają równie pewny siebie nagłówek. A przecież jedno z nich ma wartość informacyjną mniej więcej taką jak prognoza pogody na przyszły miesiąc.

Dobra wiadomość jest taka, że można nauczyć się odróżniać wartościowe badania od tych bezużytecznych w jedno popołudnie. Nie potrzebujesz do tego doktoratu ani wiedzy ze statystyki. Musisz wiedzieć, o co pytać, i mieć dyscyplinę, by zadawać pytania nawet wtedy, gdy wynik pasuje do tego, w co już wierzysz.

Nie każdy dowód ma taką samą wagę

To jest podstawa wszystkiego innego. Słowo „badanie” nic nie znaczy, dopóki nie wiesz, jakiego jest rodzaju. Istnieje dość jasna hierarchia dowodów i warto poznać przynajmniej jej ogólne poziomy.

Na samym dole są eksperymenty laboratoryjne i badania na zwierzętach. Komórki w szalce, myszy, szczury. Są niezastąpione, bo bez nich nie wiedzielibyśmy, gdzie w ogóle szukać. Ale to nie są dowody na to, jak coś działa u człowieka. Myszy wyleczyliśmy z raka już wiele razy. Ludzi – na razie nie. Jeśli nagłówek mówi o przełomowym odkryciu, a w tekście gdzieś skromnie wspomina się o gryzoniach, to jest to po prostu ciekawy pomysł na dalsze badania, nic więcej.

Piętro wyżej znajdziesz opisy przypadków klinicznych i serie przypadków. Opis jednego lub kilku pacjentów. Przydatne przy rzadkich chorobach i przy wykrywaniu nieoczekiwanych skutków ubocznych, ale nie da się z nich wyciągnąć żadnych ogólnych wniosków.

Badania przekrojowe i ankiety pokazują sytuację w jednym momencie: co ludzie jedzą, jak się czują, ile ważą. Problem w tym, że nie wiadomo, co było pierwsze. Czy ci ludzie są szczupli, bo tak się odżywiają, czy jedzą tak, bo są szczupli? Badanie przekrojowe tego nie rozróżni.

W badaniach kohortowych bierze się dużą grupę ludzi i obserwuje się ją przez lata, a nawet dziesięciolecia. To już rzetelna praca, a większość tego, co wiemy o długoterminowym wpływie stylu życia, właśnie stąd się bierze. Jednak wciąż faktem jest, że nikt nikogo do niczego nie przydzielał. Po prostu obserwowano, co ludzie robią z własnej woli, a to rodzi problem, który omówimy poniżej.

To właśnie randomizacja robi różnicę

W randomizowanych badaniach kontrolowanych ludzie są losowo dzieleni na dwie grupy – jedna otrzymuje badaną interwencję, a druga placebo albo nic – a potem porównuje się wyniki. To właśnie w losowym przydziale tkwi cała magia: gwarantuje, że obie grupy będą do siebie podobne pod każdym innym względem, nawet w kwestiach, o których nikt nie pomyślał, żeby je zmierzyć. To jedyny sposób, by rzetelnie sprawdzić, czy coś naprawdę powoduje dany wynik. A jeśli badanie jest dodatkowo ślepe, czyli uczestnicy nie wiedzą, w której grupie są, albo podwójnie ślepe, kiedy nawet badacze tego nie wiedzą, to jest jeszcze lepiej.

Na szczycie listy są przeglądy systematyczne i metaanalizy. W tych pracach nie przeprowadza się własnych badań. Zgodnie z ustalonymi wcześniej zasadami wyszukują wszystkie dotychczasowe badania na dany temat, oceniają ich jakość i podsumowują wyniki. Dobra metaanaliza badań z randomizacją to najlepsze, co mamy w danej kwestii.

Jedno ważne zastrzeżenie: metaanaliza jest tak dobra, jak badania, z których się składa. Jeśli weźmiesz dwadzieścia kiepskich badań i zrobisz z nich średnią, otrzymasz bardziej precyzyjnie obliczoną, ale bezsensowną odpowiedź. Dlatego rzetelne metaanalizy zawsze zawierają ocenę jakości uwzględnionych prac i dlatego warto sprawdzić, czy taka ocena w ogóle się tam znajduje.

Praktyczny wniosek: jak natrafisz na taki nagłówek, pierwsze pytanie brzmi – na kim to przeprowadzono i czy ktoś ich losowo podzielił?

Związek to nie przyczyna

Wszyscy to słyszeli, a i tak wszyscy się na to nabierają, w tym dziennikarze, którzy pisali o tym w zeszłym miesiącu.

Wyobraź sobie, że okazuje się, iż ludzie, którzy regularnie jedzą orzechy, żyją średnio dłużej. Brzmi jak dobry powód, żeby jeść orzechy. Ale kim są ci ludzie? Zazwyczaj mają wyższe dochody, więcej się ruszają, mniej palą, chodzą na badania profilaktyczne i ogólnie dbają o siebie. Orzechy to tylko jeden z widocznych przejawów całego stylu życia.

W fachowym języku nazywa się to zmienną zakłócającą, czyli czymś trzecim, co wpływa jednocześnie na obie badane rzeczy. Statystycy próbują to wyliczyć, ale nigdy nie uda im się tego całkowicie wyeliminować, bo nie mogą uwzględnić tego, czego nikt nie zmierzył.

Jak to rozpoznać w tekście: słowa „związane z”, „powiązane z”, „kojarzone z” albo „częściej występowało u” wskazują na związek. W nagłówku prawie zawsze zamieniają się one w „powoduje”. Jeśli badanie nie podzieliło nikogo losowo, to nie mówi o przyczynie. Kropka.

Ten mechanizm to jeszcze nie wynik

To najczęstsza sztuczka stosowana w marketingu suplementów diety i warto o tym wiedzieć.

Proces wygląda tak: w laboratorium odkrywa się, że jakaś substancja aktywuje szlak komórkowy, który wiąże się na przykład ze wzrostem mięśni albo spalaniem tłuszczu. To jest właśnie ten mechanizm. Zaraz potem pojawia się produkt z twierdzeniem, że naukowo potwierdzono, iż wspomaga on przyrost masy mięśniowej.

Tyle że ciało to suma setek takich szlaków, które działają jednocześnie i wzajemnie na siebie wpływają. To, że mechanizm istnieje, wcale nie gwarantuje, że przełoży się to na wynik, który cię interesuje. Między „uruchamia szlak w komórce” a „przyrosną ci mięśnie” jest ogromna przepaść, którą trzeba pokonać poprzez prawdziwe badania na ludziach.

Zawsze zadaj sobie pytanie: czy zmierzono coś, co naprawdę czuję i czego pragnę – czyli mięśnie, wagę, zawały, długość życia – czy tylko wskaźnik biochemiczny, co do którego ktoś ma nadzieję, że ma z tym związek? To drugie nazywa się wskaźnikiem zastępczym i jest to jedna z najbardziej zwodniczych kwestii w całej medycynie. Lek może świetnie poprawiać wyniki badań krwi, a mimo to nie uratować ani jednego życia.

Jedno badanie to jeszcze nie dowód

To warto oprawić w ramkę i powiesić nad monitorem.

Jedno badanie to jeden głos w dyskusji. Nic więcej. Wynik zacznie obowiązywać dopiero wtedy, gdy inne zespoły niezależnie go powtórzą, a ktoś to wszystko podsumuje w przeglądzie systematycznym.

W ostatnich latach okazało się, że dużej części słynnych eksperymentów, zwłaszcza z dziedziny psychologii i medycyny, nie udało się potwierdzić przy powtórzeniu. Nie dlatego, że ktoś kłamał. Głównie dlatego, że pierwotne badania miały niewielką skalę, wyniki były tuż poniżej progu istotności statystycznej i nikt nie zadał sobie trudu, żeby to sprawdzić.

I właśnie to wyjaśnia te sprzeczne nagłówki z początku. Media wyciągają jedno pojedyncze badanie, robią z niego cud albo straszak, a miesiąc później to samo z odwrotnym wynikiem. A tymczasem w literaturze fachowej praktycznie nic się nie zmieniło, a całość dowodów przesuwa się powoli i nudno.

Najtrudniej jest sprawdzić samego siebie

Do tej pory chodziło tylko o technikę. A to już kwestia charakteru.

Mamy naturalną skłonność do tego, żeby bez oporu przyjmować badania, które potwierdzają to, co już myślimy, a z drugiej strony szukać błędów w tych, które nam przeczą. Tak robią wszyscy, nawet naukowcy, zwłaszcza ci, którzy zbudowali swoją karierę na jakimś temacie.

Jest na to prosty test. Kiedy natrafisz na badanie, które ci pasuje, przeczytaj je równie krytycznie, jakby ci nie pasowało. Przejrzyj te kilka pytań poniżej. Jeśli nagle nie masz nic do zarzucenia i wszystko jest cudownie w porządku, to bardzo prawdopodobne, że tak naprawdę nie czytasz, a tylko zbierasz amunicję do dyskusji.

I druga sprawa, może nawet ważniejsza: nigdy nie wyłączaj mózgu. Nawet jeśli badanie opublikował prestiżowy czasopismo. Nawet jeśli cytuje je ktoś z tytułami naukowymi. Nawet jeśli mówi to osoba, której zazwyczaj ufasz. Sama metoda naukowa jest niezawodna. Ludzie, którzy z niej korzystają, są tak samo podatni na błędy jak wszyscy inni.

Dziesięć pytań do szybkiego sprawdzenia

Zanim coś udostępnisz dalej albo zmienisz swoje życie na tej podstawie, przemyśl te dziesięć pytań:

1. Ludzie, czy może myszy i komórki?
2. Losowy podział, czy tylko obserwacja?
3. Ile osób, jak długo i ilu odpadło?
4. Czy uczestnicy są do mnie podobni?
5. Czy mierzono rzeczywisty wynik, czy tylko mechanizm albo wskaźnik zastępczy?
6. Jaka jest wartość bezwzględna, a nie zmiana procentowa?
7. Jaki jest przedział ufności – wąski, czy od zera do wszystkiego?
8. Czy protokół został zarejestrowany wcześniej?
9. Kto to sfinansował i gdzie to się ukazało?
10. Czy ktoś już to niezależnie potwierdził?

Jeśli nie potrafisz odpowiedzieć na większość z nich na podstawie tego, co czytasz, to problem nie leży w nauce. Problem leży w tym artykule.

Pierwsze pięć pytań rozwiążesz na podstawie tego tekstu. Reszta to dane liczbowe i metodologia, które trzeba sprawdzić bezpośrednio w samym artykule – o tym jest dalsza część: Na co zwrócić uwagę w badaniu, zanim w nie uwierzysz.