Quando e perchè fidarsi di un sondaggio

Se si prendono come riferimento i criteri di qualità forniti dall’American Association for Public Opinion Research, quelli adottati dall’associazione delle imprese italiane di categoria appaiono più laschi per un elemento chiave: non viene richiesta l’adozione come standard di un campionamento probabilistico, che garantisce la base scientifica dei risultati secondo la teoria della statistica.
Le imprese committenti di ricerche di mercato possono essere disposte ad accettare metodi non fondati su base probabilistica, ad esempio per ridurre i costi di indagine. L’uso politico dei sondaggi di opinione impone, invece, il rispetto di criteri di qualità maggiormente fondati dal punto di vista scientifico, assimilabili a quelli che devono essere rispettati dalle statistiche ufficiali. Sarebbe fondamentale poi consentire l’accesso ai dati individuali delle interviste, resi opportunamente anonimi: una condizione, considerata imprescindibile dall’associazione americana perché si possa verificare la qualità delle analisi, ma non prevista nel nostro paese.

I criteri dell'Associazione Usa
Quali criteri assicurano un’elevata qualità dei sondaggi? L’associazione americana , che gode di un elevato livello di credibilità scientifica, stila dodici linee guida per le indagini di opinione. Alcune ci interessano in modo particolare.
• Il campione deve rappresentare bene la popolazione oggetto di indagine. Secondo questo approccio: 'virtualmente tutte le indagine considerate seriamente dagli scienziati sociali, dai politici e dai mezzi di informazione utilizzano una forma di campionamento casuale o probabilistico, i cui metodi sono ben radicati nella teoria della statistica e nel calcolo delle probabilità. Stime affidabili ed efficienti possono essere ottenute indagando un campione della popolazione che sia costruito con cura, purché una grande proporzione degli intervistati fornisca le informazioni richieste. In particolare, ciò richiede attente ed esplicite stime della distorsione causata dalle mancate risposte e della rappresentatività del campione'.
• Occorre fare molta attenzione nella formulazione delle domande ai concetti che si vogliono misurare e alla popolazione oggetto di indagine. I risultati di un sondaggio sono influenzati oltre che dalla formulazione delle domande, anche dal modo in cui sono poste e dalle categorie di risposta fornite a priori.
• Usare tecniche di analisi statistica e di descrizione dei risultati adeguate. Ad esempio, 'risultati e interpretazioni dovrebbero essere presentate in modo onesto e oggettivo, riportando con completezza tutti i risultati rilevanti, inclusi quelli che possano sembrare contraddittori e favorevoli. Gli errori (…) devono essere esplicitamente considerati nell’analisi dei dati e nell’interpretazione dei risultati (…). Le conclusioni devono essere chiaramente distinte dai risultati fattuali, e occorre porre una grande attenzione al fine di assicurare coerenza tra le conclusioni e i risultati presentati'.
• Rivelare la metodologia alla base dell’indagine allo scopo di permetterne valutazione e replicabilità. Due aspetti sono fondamentali. La metodologia deve essere descritta in modo sufficientemente dettagliato, tale da poter permettere una possibile ripetizione dell’indagine da parte di altri ricercatori. Inoltre, 'tutti i dati (a condizione di rispettare la privacy e la confidenzialità) dovrebbero essere pienamente documentati e resi disponibili per un esame indipendente'.
L’Aapor condanna invece esplicitamente alcune scelte, tra cui una in particolare.
• Rappresentare i risultati di un’indagine fatta attraverso un numero 'verde' o simili metodi come esito di ricerca 'legittima'. Le informazioni fornite da chi decide di telefonare o rispondere ad appelli specifici non rappresentano l’opinione pubblica generale. Secondo l’associazione 'ogni pubblicità o promozione per queste attività non solo danneggia le ricerche di mercato o di opinione legittime, ma può essere particolarmente fuorviante quando viene usata per influenzare le politiche pubbliche o semplicemente per disseminare informazioni sull’opinione pubblica'.

E in Italia?
Per i sondaggi di opinione esiste anche in Italia un’apposita regolamentazione, emanata dall’Autorità per le garanzie nelle comunicazioni. L’obiettivo è rendere i sondaggi 'trasparenti, con committenti chiaramente identificati e metodologie di raccolta di tipo rigorosamente statistico'. La regolamentazione definisce in particolare cosa debba intendersi per sondaggio, quali sono le caratteristiche che deve avere, indica le modalità di pubblicazione e diffusione dei risultati, vigila sul rispetto delle disposizioni previste dal regolamento.
Punti di particolare interesse sono la definizione di sondaggio, ovvero l’indicazione 'rigorosa' delle rilevazioni che possano essere considerate rappresentative della popolazione, e il contenuto della 'nota informativa' tecnica, che deve sempre accompagnare la pubblicazione dei risultati.
Pur costituendo una fondamentale difesa contro il rischio di anarchia nella produzione di dati che pretendono di fornire ritratti autentici della realtà italiana, la regolamentazione presenta limiti rilevanti. La maggiore perplessità riguarda l’inclusione tra i sondaggi 'rappresentativi' anche di rilevazioni effettuate con criteri 'non probabilistici'. I campioni 'non probabilistici' non consentono di valutare adeguatamente l’errore che si commette generalizzando i risultati dal campione alla popolazione. Eppure, nel regolamento dell’Autorità tra le informazioni che devono essere contenute nel documento 'metodologico' (articolo 3) vi è 'la ‘rappresentatività’ dei risultati, in termini di ‘margine di errore’, al livello fiduciario del 95 per cento, delle stime ottenute'. (1)
In altre parole, da un lato si consente di utilizzare un campione non probabilistico, ma dall’altro si impone che nella documentazione venga riportato il margine di errore, che un campione 'non probabilistico' non può produrre. La regolamentazione dei sondaggi politico-elettorali (si veda l’articolo precedente) è ancora più limitata.
Anche l’Associazione tra istituti di ricerche di mercato, sondaggi di opinione e ricerche sociali (Assirm) ha, oltre a un codice di autodisciplina, standard di qualità. Alcuni di essi sono assimilabili a quelli dettati dall’Aapor. Altri sono sorprendentemente più laschi.
• Fondamento 'scientifico' del campione. Nella parte dedicata alla 'Raccolta dei dati' ad esempio, l’Assirm richiede, correttamente, che vengano dichiarate e documentate le scelte tecniche. Tra i criteri di campionamento, però, viene incluso esplicitamente il 'campione non probabilistico'. Ci possiamo dunque legittimamente chiedere quanti sondaggi in Italia seguano effettivamente criteri di campionamento probabilistici, e quindi scientificamente fondati. Perché criteri non considerati come 'seri' sono pienamente legittimi?
• Accessibilità ai dati. L’Assirm, nel codice di autodisciplina (articolo 42) prevede la diffusione delle informazioni metodologiche per le indagini cui viene data una diffusione presso il grande pubblico. Non viene però menzionata la possibilità che i dati individuali opportunamente anonomizzati siano messi a disposizioni per analisi indipendenti.

* tratto dal sito www.lavoce.info

Per saperne di più
American Association for Public Opinion Research (Aapor): http://www.aapor.org/
Associazione tra istituti di ricerche di mercato, sondaggi di opinione, ricerca sociale (Assirm): http://www.assirm.it/
Autorità per le garanzie nelle comunicazioni: http://www.agcom.it/

(1) Delibera n. 153/02CSP modificata dalla delibera n.237/03/CSP,www.agcom.it/sondaggi/sondaggi.htm.