Il dilemma della riproducibilitàLa più grave crisi nella storia del metodo sperimentale

I risultati degli esperimenti scientifici devono essere replicabili per corroborare la ricerca, e senza ripetizione dei dati crolla tutto. Come spiegano Legrenzi e Umiltà in “Il sapere come mestiere” (Il Mulino), ultimamente nelle scienze e neuroscienze cognitive spesso ci sono stati troppi fallimenti

Unsplash

Negli ultimi anni un fantasma ha preso ad aggirarsi nelle scienze e nelle neuroscienze cognitive (e, più in generale, nella psicologia). E, recentemente, il fantasma è diventato sempre più minaccioso e incombente.

Da quando, più di un secolo fa, il metodo sperimentale è uscito dai recinti delle scienze della materia per invadere quelle che un tempo venivano chiamate le scienze dello spirito, abbiamo assistito a un susseguirsi di crescenti e travolgenti successi. Al punto che l’adozione del metodo sperimentale ha contribuito a far cadere la barriera tradizionale tra questi due mondi. Oggi sappiamo che l’uomo fa parte della natura, così come ne fanno parte gli altri esseri viventi e tutto ciò che c’è sulla Terra. Nel caso degli esseri viventi, la caduta di questa barriera tra spirito e materia è stata la conseguenza di due fattori sinergici: l’adozione e la diffusione del metodo sperimentale e l’accettazione, ormai unanime, della teoria dell’evoluzione naturale, formulata più di un secolo fa da Darwin.

La stessa teoria darwiniana ha conosciuto un processo di evoluzione grazie ai progressi delle scienze biologiche, in particolare della genetica e delle scienze e delle neuroscienze cognitive, giungendo a lambire le teorie dell’innovazione tecnologica [Dosi 1982]. In termini molto generali, in tutti questi territori variegati, che cosa significa fare un esperimento?

Un esperimento è una sorta di dialogo. Si parte da una domanda che viene rivolta da uno scienziato o, più spesso, da un gruppo di scienziati alla natura. Se la domanda è fatta con tutti i crismi contemplati dal galateo scientifico, la risposta che la natura ci restituirà sarà affidabile. Ma lo sarà soltanto quando i dati restituiti dall’esperimento verranno elaborati in modo corretto. Quando poi questi dati saranno letti alla luce della teoria che ha guidato quella particolare domanda, solo allora il dialogo sarà andato a buon fine. La natura avrà svelato un dettaglio nuovo del suo funzionamento e noi lo avremo compreso. Se, al contrario, le domande sono mal poste, gli esperimenti condotti senza i controlli canonici, le elaborazioni statistiche dei dati effettuate in modo frettoloso o fuorviante, allora la risposta sarà illusoria perché il dialogo è fallito. E quando altri ricercatori, non riuscendo a riprodurre l’esperimento, si accorgeranno di uno o più di questi fallimenti, si passerà dalla illusione alla delusione. E le delusioni, come vedremo, stanno purtroppo aumentando vertiginosamente.

In poche parole: gli esperimenti, in ogni ambito delle scienze, devono essere ben fatti. Solo se sono ben fatti saranno riproducibili da altri studiosi. Ciò significa che, a parità di condizioni, si devono ottenere gli stessi risultati: sempre, ogni volta che un esperimento viene riprodotto. Questo è il primo comandamento di ogni sperimentatore. Il comandamento si articola in un complesso di regole, prescrizioni, procedure che, nel loro insieme, trasformeranno il dialogo in uno dei tanti mattoni delle fondamenta su cui poggia qualsiasi scienza sperimentale. Violare questo comandamento non è sbagliato: è sacrilego. Chi riesce a pubblicare su una rivista scientifica – almeno tra quelle importanti e non truffaldine (alcune riviste purtroppo lo sono) – un esperimento che poi si rivela non riproducibile, non solo è riuscito ad aggirare i filtri di controllo di quella rivista, ma ha anche, per così dire, compiuto un atto contro quella che dovrebbe essere l’etica del suo mestiere, il mestiere di sapere e di produrre sapere.

Perché lo ha fatto? Per richiamare in vari modi l’attenzione, magari inconsapevolmente. Può darsi che nemmeno l’autore (da solo o in compagnia) si sia accorto che si tratta di un’illusione che potrebbe trasformarsi in una delusione. Oggi, per i motivi più diversi, la richiesta di attenzione è diventata spasmodica. Non è così arduo capire il fenomeno, visto che permea la società contemporanea. I modi invece con cui questo fenomeno si è presentato nei lavori scientifici sono difficili e complessi da spiegare. Cercheremo di farlo senza ricorrere a tecnicismi.

Ovviamente la falsa conoscenza scientifica procura dei danni e possiamo domandarci chi risarcirà gli effetti nocivi della diffusione di false conoscenze e in che modo lo farà. Noi, pur cercando di prospettare alcuni rimedi, non affronteremo tale questione perché oggi è prematura e, comunque, non siamo specialisti della materia. Molti però incominciano a domandarselo e il problema si sta ingigantendo [Finocchiaro e Pollicino 2023].

Un esperimento non riproducibile, una volta entrato in circolazione, non è facile da dimenticare. Non è facile cancellarlo e tornare al punto di partenza. Per eliminare la falsa conoscenza dobbiamo prenderla in considerazione e smentirla. Purtroppo il dibattito generato dal riesame finisce per aumentare la curiosità, del pubblico ma anche degli altri scienziati. Questo è il «paradosso della cancellazione», soprattutto da quando esiste la rete che si dirama in ogni dove creando miriadi di rivoli nascosti.

A forza di parlare di un argomento la sua notorietà aumenta e, in seguito, cresce anche la sua presunta verità, perché, come vedremo, le persone tendono a confondere verità e notorietà. Il risultato finale è che la fiducia in quella scoperta fasulla non viene intaccata, per lo meno non subito e non in modo determinante. Delle false conoscenze è difficile liberarsi, esattamente come è difficile liberarsi dei rifiuti urbani.

Come mostra un racconto attribuito a Hemingway, basta poco per richiamare l’attenzione [Legrenzi e Umiltà 2016]. Domanda: «Si può scrivere un romanzo in sei parole?». Hemingway rispose: «Vendesi scarpette da bebè, mai usate». Nulla si dice della trama del romanzo, ma con sole sei parole l’attenzione è stata sollecitata. L’attribuzione al grande romanziere americano del «romanzo in sei parole» è quasi di sicuro falsa perché la storia circolava da tempo. Ma piace pensare che l’abbia inventata lui perché è consona al suo stile di vita e di scrittura. Non vera, ma verosimile. Come nel «romanzo in sei parole», la trama di un esperimento non riproducibile nulla svela, nulla dice alla scienza, anzi la inquina. Ma richiama l’attenzione e, purtroppo, le conseguenze che derivano dai suoi supposti risultati si propagano.

L’atto sacrilego di costruzione di false conoscenze era un tempo pensabile solo come effetto di una truffa volontaria. Oggi, purtroppo, il fenomeno non è circoscrivibile ai malintenzionati perché si estende anche a esperimenti fatti male all’insaputa del loro autore. E così l’espansione imperialistica del metodo sperimentale applicato allo studio degli esseri viventi, cioè allo studio del comportamento degli animali (anche Homo sapiens è un animale), ha conosciuto la prima grave crisi della sua storia secolare. Le cause di tale crisi, come vedremo, sono molte, intrecciate e ingarbugliate.

In primo luogo, dobbiamo fronteggiare una forza sconvolgente che ha invaso la scienza, l’ultimo bastione che aveva finora resistito nel variegato mondo della comunicazione commerciale. Si tratta della competizione che una volta c’era in altri mestieri, ma non così forte in quello accademico. Arrivare primi, battere gli altri, produrre a tutti i costi qualcosa di nuovo sono diventati traguardi sempre più urgenti e impellenti. E via via che il metodo sperimentale invadeva lo spazio dell’umano – una volta riservato ai filosofi, ma oggi esclusivo appannaggio degli scienziati – gli esperimenti sono diventati sempre più complessi allo scopo di esplorare e conquistare nuovi territori. Alcuni, ma non tutti, dei fenomeni di base che trovate descritti nei manuali universitari in uso nel triennio si vedono (o si pensano) anche a «occhio nudo» (e a mente «nuda»). In altre parole non occorrono esperimenti ed elaborazioni statistiche dei risultati. Presenteremo alcuni esempi per mostrare come basti provarli su sé stessi per rendersi conto dei fenomeni in questione. E tuttavia per capire a fondo le cause di tali effetti non basta farne esperienza diretta. Gli psicologi chiamano «introspezione» questo autoesame dei processi mentali (guardare dentro di noi). Un metodo semplice, ancora oggi il più utilizzato da chi non conosce le scienze o le neuroscienze cognitive, purtroppo spesso fuorviante e, talvolta, illusorio. Se si passa da questo metodo semplice, ma infido, con cui ancora oggi si costruisce la psicologia del senso comune, alla realizzazione di esperimenti, le cose si complicano assai.

Condurre un esperimento richiede, in molti ambiti, sempre più risorse naturali (le intelligenze degli scienziati del gruppo di lavoro) e artificiali (macchine, computer e laboratori). Difficile ammettere che così tante risorse siano andate sprecate in una prova che si è rivelata inutile o, meglio, non pubblicabile. Eppure la maggior parte degli esperimenti si rivela alla fine improduttiva rispetto all’ipotesi iniziale. In certo qual modo anche questo è un successo perché la smentita delle aspettative di chi ha progettato l’esperimento altro non è che una correzione. Meglio: una falsificazione delle ipotesi che quello scienziato credeva di poter verificare.

Ora la scienza procede per verità provvisorie, ma produce falsità definitive. Ogni progresso autentico non è «per sempre». La scienza continuerà per la sua strada e quel successo del passato, ora obsoleto, contribuirà anche lui a far crescere il cumulo delle teorie false o incomplete.

Via via che il metodo sperimentale si è affermato allo scopo di studiare ogni aspetto del comportamento umano, gli scienziati coinvolti sono cresciuti di numero e la competizione per emergere è diventata sempre più dura e complicata. Di qui l’incremento degli errori inconsapevoli, dovuti a esperimenti mal fatti o a elaborazioni statistiche dei dati compiute in modo frettoloso o imperfetto. Questa, in essenza, è la crisi della riproducibilità.

Da “Il sapere come mestiere. La fiducia nei risultati e nella scienza” (Il Mulino), di Paolo Legrenzi e Carlo Umiltà, pp.168, 16€

X