Morale 3.0E se un’auto che si guida da sola decidesse di ucciderti?

Il dibattito sulle scelte morali delle macchine che si guidano da sole non è più argomento da filosofi, ora che la possibilità di vederle in strada è sempre più realistica, a queste domande dobbiamo prepararci a rispondere, dice lo psicologo Jean-François Bonnefon

Chiudete gli occhi e pensate agli Champs-Élysées, a Parigi, una mattina del novembre di un anno abbastanza lontano da poter immaginare il traffico sia composto al 100 per cento da auto a guida automatica. Facciamo che sia il 2085, e che una di quelle auto senza guidatore, quella del Presidente della Repubblica, stia percorrendo a circa 50 chilometri all’ora il viale più famoso del mondo, ai cui lati si sono assiepate decine di migliaia di persone festanti.

A un certo punto, non visto da nessun agente della sicurezza, un bambino si para davanti alla macchina presidenziale ponendo l’algoritmo che la guida davanti a tre possibili scelte: proseguire, uccidendo il bambino, svoltare a destra, rischiando di uccidere decine di persone, o svoltare a sinistra, schiantandosi contro un muro, ovvero mettendo in pericolo la vita del Presidente della Repubblica Francese.

È una scena improbabile? Sì, probabilmente lo è. È una scena impossibile? Per niente. È certamente un caso limite, che però non viene dall’immaginazione di uno scrittore di fantascienza o dall’ipotesi di un filosofo della scienza alle prese con una speculazione sulle prospettive dell’Intelligenza Artificiale. Ora che un mondo in cui le auto senza guidatore potrebbero essere una realtà, è una delle possibilità che devono essere considerate. La domanda a cui rispondere è cosa dovrebbe fare la macchina? E la risposta comincia a interessare più che i filosofi, gli psicologi e gli ingegneri.

Jean-François Bonnefon è uno psicologo francese dell’Università di Toulouse. A partire dalla terza settimana di ottobre il suo telefono squilla incessantemente. E quando non sono telefonate sono mail. Insieme a Azim Shariff dell’Università dell’Oregon e Iyad Rahwan, del MIT di Boston, Bonnefon ha pubblicato una ricerca intitolata Autonomous Vehicles Need Experimental Ethics: Are We Ready for Utilitarian Cars?, generando una reazione a catena e facendo discutere mezzo mondo.

«Non sospettavamo che la nostra ricerca potesse ricevere tutta questa attenzione». La voce di Jean François Bonnefon, in collegamento via Skype da Toulouse, è leggermente disturbata, ma non abbastanza da celare l’impressione di una reale sorpresa. «È il segno inequivocabile che abbiamo colto un nervo scoperto, un’urgenza di discussione. O almeno una vena ricca dell’immaginario collettivo».

Qualsiasi appassionato di fantascienza, anche soltanto leggendo il titolo dell’articolo — che i tre hanno pubblicato su Arxiv in attesa del vaglio di qualche rivista specializzata — pensa al faccione del buon Isaac Asimov, insieme a quelle sue celeberrime leggi della robotica. Tutti, ma non Bonnefon. «L’approccio a base di regole, come quello di Asimov, pone diversi problemi: per prima cosa non è funzionale, perché non prevedendo l’inedito ha bisogno di essere costantemente aggiornata con nuove regole, che a loro volta, però, possono portare al manifestarsi di incongruenze e, nei casi peggiori, di paradossi».

«Se la macchina dovesse trovarsi a scegliere tra cinque 90enni e un bambino? Se dovesse scegliere l’opzione che mette in pericolo meno vite dovrebbe uccidere il bambino, ma siamo sicuri che la nostra morale ci imporrebbe la stessa scelta?»


Jean-François Bonnefon, università di Toulouse

Insomma, con le regole, in questo campo, si va poco lontano. Anche se Asimov ci si è divertito un sacco. «Noi abbiamo considerato un altro metodo», continua il professor Bonnefon, «ovvero la logica utilitarista, che non si fonda su nessuna regola, o meglio, si fonda solo su un obiettivo: ridurre la quantità di male al minimo possibile. In questo caso, scegliere l’opzione che causa meno morti. Qualsiasi sia il modo di farlo. Ma anche questa opzione, che sembra salomonica a prima vista, pone diversi problemi di non facile soluzione».

Sembra semplice, all’inizio. Ma quando poi si confronta con la realtà, il gioco diventa decisamente più complicato, al limite della giocabilità. «Ci si trova di fronte a una quantità di variabili capaci di mettere in crisi sia quella che crediamo essere la morale condivisa — quella che ci vuole, in fondo, tutti uguali, con pari diritti — sia qualsiasi impianto legislativo e assicurativo che conosciamo, ma anche, da ultimo, la stessa capacità di calcolo delle macchine, che difficilmente potrebbero avere a disposizione i dati su cui basare calcoli così complessi».

Il caso del Presidente della Repubblica e della sua sfilata del novembre 2085 effettivamente è un caso limite, ma ce ne sono decine che potrebbero mettere ancora più difficoltà tutti noi. «Se la macchina dovesse trovarsi a scegliere tra cinque 90enni e un bambino? Se dovesse scegliere l’opzione che mette in pericolo meno vite dovrebbe uccidere il bambino, ma siamo sicuri che la nostra morale ci imporrebbe la stessa scelta? O ancora, pensiamo all’eventualità che debba scegliere tra la vita di cinque persone normali e quella di un medico. In questo caso non c’è soltanto il fattore età — poniamo che siano tutti coetanei — ma entra in gioco il fattore “funzione”. Scegliere di sacrificare un medico potrebbe potenzialmente voler dire sacrificare tutti i pazienti che avrebbe curato nella sua carriera. E poi, una domanda che sembra banale ma che non lo è affatto: come può un computer distinguere un medico da un non medico?»

«Per far funzionare una macchina secondo questa logica bisognerebbe fornirle un algoritmo “di puntamento” capace di stabilire continuamente una lista di sacrificabilità delle persone che ha intorno. Siamo sicuri che sia un mondo in cui piacerebbe vivere?»


Jean-François Bonnefon

Quella che era cominciata come una simulazione di indagine di mercato per capire se i consumatori si sarebbero fidati o meno di una macchina potenzialmente programmata per uccidere è diventata ben altro. «Certo», continua il professor Bonnefon «se un’auto potesse identificare le persone il problema sarebbe decisamente più grosso e più disturbante per la nostra morale».

Quando gli si chiede il perché, qualche problema di connessione trasforma la sua risata in una gracchio un po’ sinistro, robotico. «Perché per far funzionare una macchina secondo questa logica bisogna fornirle un algoritmo “di puntamento” capace di stabilire continuamente una lista di sacrificabilità delle persone che ha intorno». Una macchina del genere potrebbe essere programmata per mirare gli uomini piuttosto che le donne, che essendo fisicamente più fragili hanno meno probabilità di sopravvivere a un incidente; o ancora, potrebbe mirare i grassi piuttosto che i magri, i vecchi piuttosto che i giovani, gli assicurati piuttosto che i non assicurati. «Siamo sicuri che sia un mondo in cui piacerebbe vivere?», si chiede Bonnefon, e noi con lui.

Il mondo procede per discontinuità. E così procedono i salti evolutivi. Un piccolo passo in avanti, come farsi una domanda, ogni tanto significa passare a un livello successivo e, forse, con le domande che una questione come questa fa emergere, siamo a un passo da una di quelle discontinuità. «Per me che sono uno psicologo e non un costruttore di automobili», dice Bonnefon, nel frattempo fattosi decisamente più serio, «l’interesse del discorso è che ci costringe a fare i conti con domande che di solito evitiamo di farci».

Nel momento che conta la morale non esiste, esiste solo l’istinto e il riflesso. Chiedersi cosa dovrebbe fare una macchina la nostro posto ci pone davanti a domande che necessitano di essere affrontate. Perché in fondo un algoritmo non ha riflessi, né istinti, ha solo risposte, e mancando anche di personalità e di esperienza, quelle risposte sono le nostre

Chiederci cosa faremmo se fossimo al volante di un’auto e dovessimo decidere se uccidere un bambino, rischiare di fare una strage o rischiare di morire noi stessi contro un muro è un’operazione senza senso, quanto meno secondo la psicologia, come dice il professor Bonnefon: «qualsiasi sia la risposta che ci diamo a freddo, non possiamo nemmeno sospettare la nostra reazione a caldo. In quei pochi millesimi di secondo il cervello umano non ha tempo di elaborare un giudizio morale».

Nel momento che conta la morale non esiste, esiste solo l’istinto e il riflesso. Chiedersi cosa dovrebbe fare una macchina la nostro posto ci pone davanti a domande che necessitano di essere affrontate. Perché in fondo un algoritmo non ha riflessi, né istinti, ha solo risposte, e mancando anche di personalità e di esperienza, quelle risposte sono le nostre. «Non so se siamo pronti a trovarle», conclude Bonnefon, «ma visto l’interesse enorme che un articolo ha suscitato nell’opinione pubblica internazionale, direi che non solo siamo decisamente pronti per discuterne, ma che non vediamo l’ora».

Entra nel club de Linkiesta

Il nostro giornale è gratuito e accessibile a tutti, ma per mantenere l’indipendenza abbiamo anche bisogno dell’aiuto dei lettori. Siamo sicuri che arriverà perché chi ci legge sa che un giornale d’opinione è un ingrediente necessario per una società adulta.

Se credi che Linkiesta e le altre testate che abbiamo lanciato, EuropeaGastronomika e la newsletter Corona Economy, così come i giornali di carta e la nuova rivista letteraria K, siano uno strumento utile, questo è il momento di darci una mano. 

Entra nel Club degli amici de Linkiesta e grazie comunque.

Sostieni Linkiesta