l'autorevolezza della Scienza e peer-review: come capire se una ricerca è autorevole o no

La questione Coronavirus è interessante anche perché in materia si leggono una montagna di notizie che vengono riferite senza un minimo controllo. Vorrei spiegare qui come funziona la ricerca scientifica e come capire quali siano le fonti autorevoli e quelli no.

Una cosa importante sulla questione Coronavirus sono le dicerie e le varie fonti che parlano di ricerche e sulle dinamiche della epidemia e del contagio. Iniziamo a chiarire i termini: il virus si chiama SARS-CoV-2; Covid-19 invece è il nome con cui viene indicata la malattia.

Ora, a parte le cazzate di Panzironi (finalmente sanzionato!) sulla vitamina C (sembra addirittura che i farmaci testati vadano nella direzione opposta e cioè la riduzione della risposta immunitaria, mi dicono gli esperti in materia del nostro vulcanico team di “La Scienza Risponde” perché, come nel caso della spagnola, è proprio la risposta immunitaria al virus che mette a rischio), si susseguono notizie su cure e ricerche. 

Comunque si rincorrono molte “voci”, sia sul virus che sulle statistiche delle varie nazioni etc etc. Insomma, questa situazione è di fatto un incubatore di leggende metropolitane più o meno fondate, oltre alle benemerite idiozie dei complottisti che evito di presentare.

Però escono anche articoli che dovrebbero essere seri. Ma che fino a quando non saranno approvati dai “referee” noi “comuni mortali” che di virologia o epidemiologia non sappiamo nulla dovremmo prendere con le molle quando non commentati da esperti, esattamente come tutte le voci di cui sopra.

Faccio un esempio: è uscito un articolo su un portale importantissimo del settore sanitario e cioè Medrχiv (un database che raccoglie i preprint degli articoli in ambito medico). L’articolo è corredato di DOI (un codice che identifica stabilmente e inequivocabilmente un articolo, insomma una targa che non sarà mai data ad un altro articolo) e quindi è in teoria pronto per la pubblicazione ma in questo momento non è ancora ufficiale perché non è referato. Lo scrive il portale stesso nella sua home page: 

Attenzione: le prestampe sono rapporti preliminari di lavoro che non sono stati certificati da peer review. Non dovrebbero essere invocati per guidare la pratica clinica o il comportamento relativo alla salute e non dovrebbero essere riportati nei media come informazioni consolidate.

Per quelli a cui non fosse chiaro questo concetto, quello che dice Medrxiv è che la letteratura scientifica in peer review è l’unica fonte sicura. Anche io su Scienzeedintorni cito sempre gli articoli a cui mi riferisco, perché un conto è dire una cosa “da soli”, un altro è affermarla in base a ricerche precedenti citate. Tanto è vero che quando dico qualcosa che “penso io” (e questo vale solo ed esclusivamente quando parlo di argomenti di cui ho una “conoscenza scientifica adeguata”, non certo per l'infettivologia) specifico che questo è il mio pensiero e quindi ha una “autorevolezza scientifica scarsa” fino a quando non viene “referato”.

Ora, spesso insisto a dire che la Scienza non è democratica, ma il problema quindi è che se non si può mettere in votazione una ricerca per sapere se va bene o no, e neanche scegliere per votazione se sia giusta una idea o un'altra. Ma allora, come si fa ad approvare una ricerca. cioè inserirla nel giro della letteratura scientifica rendendola autorevole?

Il problema si risolve con la “referazione”: solo quando una ricerca è illustrata in un articolo su una rivista scientifica con “peer review” è ritenuto ragionevolmente valido e attendibile in base alle conoscenze attuali (al cui incremento l'articolo è finalizzato), per cui potrà essere considerato come punto di partenza in ricerche future degli stessi e di altri ricercatori. Si noti che le ricerche future potrebbero anche portare al superamento di quanto esposto. NB: questa è una "correzione in corsa" consigliatami da Giordano Teza, che quindi mi ha fatto da referee anche lui.

Il concetto di “peer review” è molto semplice e distingue le riviste scientifiche di ricerca (generaliste come Nature o Science o di un argomento specifico come ad esempio il Bulletin of Volcanology) da quelle di divulgazione di qualsiasi taglio, dalla molto specifica Le Scienze a quella per tutti come Focus.

È un iter in cui i protagonisti, oltre a chi scrive l’articolo, sono i referee, ricercatori che conoscono la materia a cui viene chiesto di valutare la robustezza scientifica e metodologica dell’articolo a loro sottomesso. I referee hanno “potere di vita o di morte “ sull'articolo e generalmente restano anonimi. Anche io sono stato “referato” e ho fatto il referee. In genere i referee sono in genere odiati e temuti dagli autori... ma quasi sempre il loro contributo (oscuro perché nascosto ai lettori!) è essenziale per assicurare la qualità dell'articolo e l'attendibilità delle evidenze sperimentali e delle conclusioni.

Il sistema, illustrato un pò ironicamente (ma .. insomma.. è una metafora abbastanza realistica...) funziona così: 

1. io presento un articolo a una rivista


2. questa rivista lo assegna a dei referee

3. l'articolo può essere
:

a) rigettato; in questo caso ciao a tutti (e non è inserito nella letteratura scientifica). Al limite lo propongo ad un'altra rivista 

b) accettato a prezzo di una revisione: i referee propongono correzioni / integrazioni / spiegazioni; dopodichè, quando rimando l'articolo alla rivista, debitamente riguardato in base alle indicazioni dei referee, si riparte dal punto 1


c) accettato: i referee danno l'OK e quindi l'articolo viene pubblicato sulla rivista e diventa "ufficiale" e quindi "autorevole"


È  chiaro ed evidente come una persona che non sia un "esperto della materia" non possa trarre conclusioni da una articolo se è in fase (1) o (2), per le quali gli unici in grado di dare un giudizio in attesa di quello (quasi) definitivo dei referee sono gli "esperti della materia".

Noto inoltre che alle volte un non esperto dovrebbe evitare pure di trarre le conclusioni, ma soprattutto ho letto scemenze interpretative a gogò quando chi commenta è un ideologizzato di ogni ordine e grado, da quelli politici a quelli ambientali, oppure antievoluzionisti, no-vax, negazionisti del clima e complottisti di ogni ordine e grado, gruppi notoriamente inclini alla citazione “ad minchiam”.

Celebre quando gli antievoluzionisti conclusero che anche il grande Steven Jay Gould, presentando gli “equilibri punteggiati” quando scrisse “bisogna andare oltre Darwin” avesse abbracciato le loro idee, diventando pure lui “antidarwinista” (loro si definiscono così).

Oppure quella per cui in Italia "a destra" il Mose è una cosa fondamentale, mentre "a sinistra" è uno spreco inutile di soldi".

L’aspetto della peer review vale soprattutto in caso di articoli su fatti di "stringente attualità" dove spesso la fretta di arrivare primi e la smania di pubblicare risultati eclatanti portano ad indagini incomplete (e la questione coronavirus è esattamente in un "caso di specie" del genere, un qualcosa su cui al momento c’è il massimo delll’attenzione dell’opinione pubblica mondiale). La fretta è essenzialmente motivata da:


1. farsi pubblicità

2. perchè poi ti citano in massa il tuo articolo

Per problematiche insite nel sistema dei finanziamenti pubblici alla ricerca, i succitati diventano due aspetti fondamentali; essi infatti servono ad ottenere finanziamenti (e quindi un posto di lavoro).; oggi, purtroppo, queste dinamiche hanno reso più importante la quantità e il tempismo delle pubblicazioni piuttosto che della qualità della ricerca.

Quindi - mi raccomando - ricordatevi che quando leggete di un fatto scientifico, un articolo di giornale o un link su internet che citano un articolo di una rivista in peer-review sono sicuramente più autorevoli di un altro che cita qualsiasi altra cosa. all'ultimo posto dobbiamo metterci gli articoli in cui si trovano frasi tipo "alcuni scienziati hanno detto che". 

Insomma meno circostanziata è una notizia, meno è attendibile

PS: non fraintendetemi... Io spero che sia vero quello che dicono sull'articolo, eh...


PPS: anche in questo caso mi sono servito pure io di un referee, in questo caso non anonimo (anzi, lo ringrazio esplicitamente), Matteo Bonas, del nostro team di La Scienza Risponde, grazie al quale - come dovevasi dimostrare - questo post è diventato migliore e più ricco