Perché (probabilmente) i sondaggi sbaglieranno (parzialmente) le previsioni elettorali

19 Febbraio Feb 2013 1043 19 febbraio 2013 19 Febbraio 2013 - 10:43

Mancano pochi giorni alle elezioni. Il risultato, secondo alcuni ricercatori e commentatori, appare incerto. I sondaggi che (una settimana fa) decine di agenzie e istituti demoscopici hanno divulgato danno in vantaggio il centro-sinistra. Con però il centro-destra in rimonta. Come finirà non è facile prevederlo, anche perché ormai i sondaggi sono (a norma di legge) secretati.

La mia ipotesi è che i sondaggi azzeccheranno la vittoria del centro-sinistra, ma sbaglieranno le previsioni sui nuovi partiti. Ecco perché.
 

  1. Imparare dal passato

Se ripercorriamo negli anni i pronostici dei sondaggi italiani, scopriremmo che gli errori sono stati l’eccezione, e non la norma. In altri termini, essi hanno indovinato abbastanza frequentemente l’esito delle consultazioni. Se è pur vero che sorprese ci sono state, alcune anche clamorose (come le ultime comunali di Milano, Cagliari, Palermo, Napoli e Firenze; le vittorie impreviste di Vendola e Marrazzo alle regionali del 2005 e di Cappellacci in Sardegna nel 2009; le comunali del 1993; le politiche del 1994; le regionali del 1995 e, in parte, le regionali siciliane e nelle politiche del 1996), esse non possono nascondere il fatto che in tutte gli altri centinaia di casi le previsioni si sono avverate. Purtroppo fa notizia (e rimane impressa nel ricordo) la previsione sbagliata, non quella azzeccata.

Sondaggi giusti, elezioni sbagliate…

Peraltro (e può sembrar paradossale) i sondaggi, a volte, indovinano mentre sono i risultati elettorali a essere… sbagliati. Due esempi per tutti: nelle elezioni americane del 2000 i sondaggi davano per vincente Al Gore (su George W. Bush); e così sarebbe stato se non fossero subentrati brogli ed errori di conteggio, su cui (per il bene dell’America) si decise di soprassedere e non effettuare i riconteggi.

Non molto diversamente capitò nelle elezioni regionali del Piemonte del 2010: Mercedes Bresso (data vincente) di fatto non perse le elezioni. Il caso è interessante proprio per i suoi aspetti surreali: Roberto Cota (che poi divenne governatore) vinse con uno scarto di 9.286 voti. Tuttavia il T.A.R. dichiarò illegali 3 liste minori (che appoggiavano Cota): "lista Consumatori" (2.826 voti), "Al centro con Scanderebech" (12.154 voti), mentre Michele Giovine, capolista della terza “Pensionati per Cota” (27.797 voti), fu condannato dalla Corte di Cassazione per le false sottoscrizioni. Per un totale di 42.777 voti da annulare. Tuttavia il Consiglio di Stato (su appello di Cota) sospese il riconteggio e annullò le decisioni del T.A.R. Anche in questo caso per il bene del Piemonte: l’incertezza sull’esito dei ricorsi, riconteggi, ricorsi ai riconteggi, riconteggi dei riconteggi ecc. avrebbe bloccato per anni l’attività amministrativa e finanziaria di una regione…
 

  1. Quello che un sondaggio può… dire

Il problema nasce dall’equivoco rispetto a ciò che un sondaggio può dire e può dare. In altre parole l’opinione pubblica e i giornalisti nutrono, nei suoi confronti, delle aspettative sbagliate. E’ noto che una previsione viene sempre accompagnata da un warning che ci potrebbe essere un margine di errore del ± 3%. Questo è proprio della statistica.

Ebbene questo errore è ininfluente se la stima (perché sempre di stime si tratta, non di dati reali!) riguarda la percentuale di vegetariani o di fumatori. Per due motivi: da una parte perché essa non cambierebbe molto il piano marketing di un’azienda con a cuore questo tipo di target; dall’altra perché l’errore non si scoprirebbe mai, a meno che non si faccia il censimento dei vegetariani o dei fumatori (cosa alquanto improbabile).
 

  1. Quello che un sondaggio può… dare

Perciò non si capisce perché se nel caso precedente i sondaggi sono considerati affidabili, non lo siano più quando cambia l’oggetto della stima; cioè si passi dal mercato dei consumi a quello della politica, chiedendo una precisione che non fa parte della statistica.

Questa pretesa è ingiusta, per due motivi:

  • da una parte basta una manciata di voti per far vincere una coalizione oppure un’altra; manciata che rientra perfettamente in un modesto errore statistico; per cui se una coalizione data vincente, perde con uno scarto minimo, il sondaggio non ha sbagliato; perché esso rileva tendenze, non dati senza errori; la precisione non è nella sua natura. Il sondaggio ha “solamente” un carattere probabilistico e non può, per sua natura, prevedere l’esito di un’elezione: non è né una bilancia, né (all’opposto) un vaticinio;

  • dall’altra la politica è uno dei pochi oggetti su cui arriva il giorno del… censimento (le elezioni), che si abbatte come il Giudizio Universale sui sondaggi. Infatti solo un censimento (rilevazione su tutta la popolazione) può dire quanto un sondaggio (rilevazione su un campione) ha sbagliato. Ma come sappiamo di censimenti ce ne sono pochissimi; e questo fa la fortuna dei sondaggi tour court, ma la “sfortuna” di quelli pre-elettorali…

Per cui colpevole non è il sondaggio ma coloro (giornalisti, opinione pubblica, commentatori e sondaggisti-chiromanti) che chiedono cose che lui non può dare.
 

  1. I sondaggi pre-elettorali sono scientifici?

Il vero problema è un altro; riguarda la presunta scientificità dei sondaggi pre-elettorali.

Se andiamo su www.sondaggipoliticoelettorali.it, sito a cura della Presidenza del Consiglio dei Ministri, Dipartimento per l'Informazione e l'Editoria, in cui sono raccolti - come previsto per legge - tutti i sondaggi politici ed elettorali divulgati attraverso i media, e analizziamo i sondaggi pubblicati l’8 febbraio (l’ultimo giorno prima del divieto di diffusione) notiamo diversi aspetti curiosi.

La numerosità campionaria

In primo luogo balza all’occhio la numerosità campionaria. Essa è sorprendentemente ridotta: ISPO e Lorien hanno intervistato telefonicamente (CATI) 2000 persone; Demos & Pi. 1009; IPSOS e Euromedia 1000; IPR 973. Inoltre ci dicono che sono campioni “rappresentativi” della popolazione degli aventi diritto al voto (50.396.628 Fonte ISTAT – 2011). E’ mai possibile che 1000-2000 persone possano essere rappresentative di 50 milioni? Già migliori sembrano i campioni di Quorum (14.880 interviste) e Termometro Politico (10.000 casi), che usano questionari auto-compilati sul web (CAWI). Anche se c’è da dubitare delle cifre troppo tonde…

Non sono campioni probabilistici

In secondo luogo, oltre a essere campioni estremamente ridotti, essi non sono nemmeno probabilistici. I campioni probabilistici si basano sul principio della causalità (dell’estrazione degli intervistati), che garantisce (almeno secondo gli statistici) la scientificità di una ricerca. Infatti l’inferenza statistica (fare stime sulla popolazione basandoci sui dati di un campione) si può fare solo con un campione probabilistico (per gli statistici un campione probabilistico è, automaticamente, anche rappresentativo). Tuttavia per mantenere la probabilità (rappresentatività) di un campione occorre che la casualità sia garantita: in altri termini se il sig. Rossi viene estratto casualmente e non riesco a contattarlo (perché spesso fuori casa) oppure, una volta contattato, rifiuta l’intervista, siamo costretti a trovare un’altra persona simile a lui (sostituto). Tuttavia il suo sostituto non sarà mai uguale a lui (diverse ricerche lo documentano, fra cui Brehm 1993 o Rogelberg, Luong, Sedeburg and Cristol 2000): “gli intervistati differiscono dai non-intervistati non solo per le caratteristiche demografiche, ma anche per i loro atteggiamenti e le loro opinioni politiche” (Brehm 1993: 160). Infatti, anche solo per il fatto di accettare l’intervista, il sostituto è diverso dal sig. Rossi (probabilmente più chiuso o più impegnato, o meno disponibile a condividere le sue opinioni con altri, ecc.). Per cui, con le sostituzioni, il principio della casualità va a farsi benedire…

Il nonresponse

Se quindi, di questi sondaggi, guardiamo il tasso di nonresponse (mancati contatti, rifiuti a concedere l’intervista, rifiuti a rispondere a domande su voto e preferenze politiche, incapacità di comprendere le domande e quindi a rispondere, ecc.) scopriamo cose sorprendenti: può arrivare al 50%, persino 90% quando l’istituto è onesto nell’ammetterlo; ma non tutti sono così intellettualmente onesti, come si può evincere dalla tabella 1:

Tabella 1
 

Per cui anche se il campione iniziale è probabilistico, il campione finale certamente non lo è. Che scientificità possono aver sondaggi di questo tipo?

Anche coloro che, attraverso la rete (web), basano le loro inferenze su campioni molto più grandi (come Quorum e Termometro Politico), sono poco credibili quando affermano che “data la natura del sondaggio, non ci sono rifiuti e sostituzioni”: perché semplicemente evitano di passare attraverso gli ostacoli di un campione probabilistico, accontentandosi di raccogliere le opinioni di un pubblico molto particolare: persone ben disposte e digitalizzate. Trascurando gli elettori che appartengono a fasce di popolazione che non usano (o usano poco) la rete, come ad es. gli anziani.
 

La propaganda

Non ultima ragione che ci spinge a una cautela nei confronti dei sondaggi pre-elettorali è il loro uso propagandistico. Pochi ricordano, perché sorpresi della vittoria inaspettata della coalizione di centro-destra, che nelle elezioni politiche del 1994 Forza Italia prese “solo” 21% (primo partito), molto al di sotto delle previsioni fatte da(ll’allora consulente di Berlusconi) Gianni Pilo, che quotava il partito al 33%. Molto superiore all’usuale margine di un errore e, anche, alle previsioni fatte dagli altri istituti. Per cui fu chiaro che il sondaggio pre-elettorale, da strumento di conoscenza si era trasformativo in strumento di influenza (tant’è che sei mesi dopo Pilo fu espulso dall’Esomar, l’ente europeo che raccoglie molti istituti di ricerca sociale e di mercato).

E sfruttando questa nuova funzione, già negli anni Novanta, era diffusa la pratica di note agenzie, che per condurre i loro sondaggi chiedevano un sostegno economico ai partiti politici: qualora un partito non avesse aderito alla richiesta, poteva trovarsi 2 o 3 punti percentuali in meno (rispetto ai dati raccolti) nel servizio giornalistico che comunicava i risultati del sondaggio.
 

  1. Il mistero delle previsioni azzeccate

A questo punto il mistero si fa fitto.

Come fanno sondaggi scientificamente inaffidabili ad azzeccare quasi sempre (a parte qualche eccezione, come ricordato al punto 1) le tendenze e le previsioni?

Inoltre, fatto ancor più inquietante, come fanno sondaggi compiuti con metodi diversissimi (dal CATI al CAWI), con campioni di grandezze molto differenti, con tassi di rifiuti diversissimi, ecc. a dare risultati pressoché identici, con uno scarto di pochi punti percentuali (vedi tabella 2)?

Qualcosa non torna… dove sta il trucco?

A questo punto entrano in campo diversi fattori, che poco hanno a che vedere con ciò che viene riportato nei manuali di statistica.

Le ponderazioni

Innanzitutto entra in gioco l’esperienza del sondaggista e un’attenta disamina delle serie storiche relative ai partiti. Detto in altri termini non è pensabile che un partito che l’anno precedente (in un’elezione comunale o provinciale o regionale) aveva preso (poniamo) il 20%, possa questa volta prendere il 40%. Anche se il sondaggio pre-elettorale desse questo responso, il primo a non crederci sarebbe il sondaggista stesso che penserebbe a un suo errore di rilevazione. Per cui i sondaggisti usano moltissime ponderazioni (che altro non sono che manipolazioni matematiche in sede di analisi dei dati), da una parte con l’occhio sempre rivolto ai risultati delle elezioni precedenti; dall’altra per limitare il danno provocato dall’alto tasso di rifiuti: si cerca di stimare l’opinione di coloro che non hanno risposto, ponderando le risposte medie di coloro che invece hanno risposto.

Tuttavia le ponderazioni, con tassi di nonresponse molto alti, sono infide e pericolose. E molti istituti hanno, più volte, perso la faccia; soprattutto con gli exit poll delle regionali del 1995.

Marcarsi a vista

Un’altra pratica diffusa è guardare le previsioni dei colleghi sondaggisti competitor e poi tarare le proprie: se tutti dicono che il tal candidato premier prenderà quella tal percentuale, e il mio sondaggio si discosta fortemente, allora vuol dire che le mie stime sono sbagliate. Così ragiona il sondaggista, che (nuovamente) non crede alle proprie rilevazioni. Nelle elezioni politiche del 2006 quasi tutti davano per vincente la coalizione del centro-sinistra (capeggiata da Prodi), con diversi punti percentuali si scarto. A un mio collega risultava invece che la coalizione di centro-destra (guidata da Berlusconi) avesse quasi del tutto recuperato lo svantaggio (come alcuni dicono in questi giorni anche per attuali elezioni). Per cui, per non discostarsi dal coro, lui rivide le sue previsioni. E invece aveva ragione. Infatti Prodi vinse per soli 24.000 voti. Tuttavia, anche in questo caso, i sondaggi (per ritornare al punto 3) non sbagliarono, perché il loro mestiere non è la precisione.
 

  1. Dove i sondaggi sbagliano maggiormente: i nuovi partiti

Un uso moderato delle ponderazioni ha buon gioco quando c’è un pregresso con cui confrontarci. Ma quando un nuovo partito si presenta alla competizione elettorale, la situazione si complica fortemente perché non ci sono riferimenti. L’unico riferimento dovrebbe essere il sondaggio stesso, ma esso (proprio per la sua non-scientificità) è inservibile. Questa considerazione potrebbe spiegare perché si sbagliarono le previsioni quando fecero la loro comparsa nell’agone elettorale, il MSI (di Almirante), la Lega, l’IDV, il M5S nelle ultime elezioni regionali siciliane, ecc. Anche perché, in generale, il voto di protesta è quasi sempre sottostimato dai sondaggisti. Così come quello a destra (ecco perché la coalizione che ha in Berlusconi il riferimento potrebbe riservare delle sorprese).

Non parliamo poi dei piccoli partiti (dal 3% in giù) che non possono essere intercettati da uno strumento così grossolano come il sondaggio.

Dal momento che in queste elezioni ci sono almeno 4 partiti “percentualmente rilevanti” che si presentano per la prima volta in una competizione nazionale (Scelta Civica, M5S, Sel, Rivoluzione Civile) è possibile prevedere una débâcle delle previsioni.
 

  1. In conclusione: … la previsione

Se queste considerazioni sono fondate, ne consegue che probabilmente le previsioni pre-elettorali: azzeccheranno la (da loro prevista)vittoria del centro-sinistra (solo come tendenza, non nella reale dimensione percentuale); indovineranno le tendenze dei partiti “ vecchi” (non le reali dimensioni percentuali); sbaglieranno i pronostici sui nuovi partiti.

Probabilmente…

Riferimenti

Brehm, J. (1993) The Phantom Respondents. Opinion Surveys and Political Representation, Ann Arbor: University of Michigan Press).

Gobo, G. (2004), Generalizzare da un solo caso? Lineamenti di una teoria ideografica dei campioni, in «Rassegna Italiana di Sociologia», 1, pp. 103-29.

Marradi, A. (1989), Casualità e rappresentatività di un campione: contributo a una sociologia del linguaggio scientifico, in Renato, Mannheimer (ed.) I sondaggi elettorali e le scienze politiche, Milano: Angeli, pp. 51-133.

Marradi, A. (1997), Casuale e rappresentativo: ma cosa vuol dire?, in Ceri P., Politica e sondaggi, Torino, Rosenberg & Sellier.

Rogelberg, S. G., Luong, A., Sedeburg, M. E. e Cristol, D. S. (2000), Employee attitude surveys: Examining the attitudes of noncompliant employees. Journal of Applied Psychology, 85, 284-293.