Come giudicare i dati

Amo twitter, grazie al quale seguo soprattutto media esteri, e anche ricevo qualche eco di quel che accade in Italia. Scrivo cose bizzare: per esempio ieri ho diffuso il testo, in russo, di una canzone dei Kino. Non interessava a nessuno (che errore però: bella, e un pezzo di storia). Non mi caccio in polemiche. 

Un mio intervento recente (in alto) ha ricevuto invece molti commenti, ai quali non rispondo su twitter, ma su questo blog fin de siècle (secolo ventesimo), così per eludere ogni tentazione bellicosa.

In sintesi: l'On. Luigi Marattin ha citato certi dati contenuti in un rapporto ("News del 25 aprile 2020") dell'"Ufficio studi CGIA di Mestre" (vedi sopra). Mi pare una buona occasione per un ragionamento più generale.

Procedo per punti.

1. Sapere distinguere i problemi

Una delle capacità che tentiamo di promuovere all'università è il "saper distinguere problemi distinti". Tale propensione, ovviamente, ha a che fare con quel che chiamiamo le "capacità analitiche". Affermo che i dati citati dal'On. Marattin, secondo i quali 561 mila persone sono in pensione mediamente da 45 anni, non sono citabili (almeno, non fuori da un bar, per così dire). Questo è molto diverso, si noti bene, dall'affermare che sono sbagliati. Si tratta appunto di due problemi distinti. 

Un signore mi scrive: "Potrebbe fornire i dati giusti per favore? Sarebbe più utile che dire "è dura" al vento." Mi scuso ma non ne ho intenzione. Francamente, non mi interessa troppo il problema, ma anche se mi interessasse, non ho familiarià coi dati previdenziali e per fare un lavoro decente ci vorrebbe tempo (ammettendo di riuscire ad avere l'accesso ai necessari dati Inps). Analizzare dati è quasi sempre un'attività complessa, con implicazioni che è utile considerare.

2. Analizzare i dati è complesso

L'analisi dei dati richiede una buona conoscenza del contesto a cui si riferiscono, di come sono stati generati, e delle definizioni dei fenomenti rilevanti. Richiede inoltre spirito critico, tempo (spesso, molto) e competenza. Anche i migliori possono commettere errori, ma in base alla mia esperienza, talvolta si osservano non errori, ma disastri.

Alti livelli di professionalità non sono molto diffusi. I ricercatori più capaci ambiscono a un impiego presso le istituzioni migliori e, con tutte le storture che ci sono - nell'accademia ed altrove - il processo di selezione dei talenti almeno in parte funziona. Anche per questo motivo, nel decidere se fidarsi o non fidarsi di una fonte, è importante considerarne la reputazione.

3. La reputazione

Consideriamo un esempio concreto. L'Ufficio Studi della Banca d'Italia ha una reputazione eccellente. I suoi ricercatori sono ben pagati e ben selezionati. Non solo chi vi lavora è mediamente molto bravo, ma anche, vi è un "controllo di qualità" interno su ogni pubblicazione. Significa che tutte le loro elaborazioni di dati sono corrette? Certamente no, tutti, anche i più bravi, possono commettere errori! Sempre si deve dubitare. Ma per orientarci è importante sapere decidere quanto è opportuno dubitare.

Veniamo al Centro Studi CGIA di Mestre. Pubblica analisi su temi anche molto diversi tra loro - il che richiederebbe una struttura robusta con competenze variate - con un tono che mi pare scandalistico. Nel loro sito Web non ho reperito neppure un elenco del nome dei ricercatori che presuntamente vi lavorano. A meno di casi particolari, ritengo improbabile che un bravo ricercatore possa accettare di lavorare in modo anonimo. Se sei anonimo come ti costruisci una reputazione? E chi ti assumerà se un giorno deciderai, o magari dovrai, cercare un nuovo impiego?

Il "rapporto" citato dall'On. Marattin nomina il coordinatore di quel Centro Studi. Non sono riuscito a reperire un suo curriculum, e non risulta di lui alcuna pubblicazione (tramite Google Scholar, che è il sito di riferimento per ricerche bibliografiche della letteratura scientifica). In nessun modo sto affermando che quel signore non sia un ricercatore capace. Affermo, ed è molto diverso, che non emergono informazioni che, in base ai criteri abitualmente utilizzati nel mondo della ricerca, indichino che lo sia - o almeno io tali informazioni "reputazionali" non le ho trovate, e sarò felice di correggere quanto qui scritto se esse dovessero emergere.

Quel "centro ricerche" appartiene all'"Associazione Artigiani e Piccole Imprese di Mestre": non conosco alcun caso al mondo in cui una piccola associazione di categoria sia in grado di sostenere un centro studi capace di pubblicare ricerche di qualità su un numero ampio di fronti. Questo ovviamente non dimostra che a Mestre non si sia prodotta una tale eccezione: deciderà ognuno con quale probabilità.

Qui potremmo fermarci, concludendo che i dati di quel "Centro Studi" non sono "citabili". Ripeto, non perché essi siano necessariamente erronei (non lo so e non mi interessa troppo verificare) e senz'altro non perché chi li ha prodotti sia in malafede. Non sono citabili perché non sussistono le condizioni per farlo: non ho elementi per ritenere che valgano molto più rispetto a quanto può raccontarmi l'anonimo vicino di caffè al bar. E ho invece un elemento che mi porta a distinguere i due casi: lo sconosciuto al bar potrebbe non essere in conflitto di interessi, mentre un'associazione di categoria è portatrice di interessi - legittimi, per carità - che indubbiamente possono intersecarsi coi temi trattati dal suo "centro studi".

Ma supponiamo di non accontentarci di questi ragionamenti e di voler esaminare il lavoro citato dall'On. Marattin. Infatti, è un esercizio utile, perché mi permette di suggerire un criterio di giudizio ulteriore.

4. Le capacità sono correlate

Non so suonare il violino, e supponiamo che qui sul tavolo ci sia un bel violino, e a fianco una brava violinista a guardarmi. Non avrebbe certo bisogno di sentire i miei primi suoni strazianti per rendersi conto con chi ha a che fare: le basterebbe osservare come raccolgo lo strumento dal tavolo, come lo tengo in mano, e quanto sono impacciato. Lo stesso vale per il lavoro di ricerca: se osservo certi errori di base, è improbabile che chi li commette sia in grado, metaforicamente parlando, di "far suonare i dati".

Diamo un'occhiata al rapporto in questione.

"Molti sostengono": chi, concretamente, e in quale occasione? Le fonti vanno sempre citate, ed esistono delle regole su come farlo (per esempio, nei cosiddetti "manuali di stile"). Allo stesso modo si doveva citare la fonte circa l'"importo previsto quest'anno per il reddito/pensione di cittadinanza" (espressione, quest'ultima, imprecisa). Citare le fonti correttamente è una delle regole di base del mestiere, e l'intero rapporto non ne cita una (non una) come si deve.

Veniamo ora ai dati citati dall'On. Marattin. Si trovano in una tabella che è un concentrato di errori.

Il titolo di una tabella dovrebbe riassumere il contenuto della medesima, non gridare una qualche conclusione. La fonte dei dati (in fondo), "dati Inps", è generica. L'Inps produce tanti dati: di quali si tratta e dove concretamente sono reperibili, insieme a una loro descrizione (definizione delle grandezze, eccetera)? E come è stata realizzata l'elaborazione? Non si reperiscono, nel testo, informazioni metodologiche di alcun tipo. Inoltre, le note a pié di tabella sono del tutto inadeguate per comprendere l'informazione proposta. Perché, per esempio, si sono incluse dal computo certe categorie, e se ne sono escluse altre? Certe scelte vanno motivate, e non lo si fa.

Potrei continuare, ma solo desidero utilizzare questo esempio per illustrare un criterio di giudizio: le capacità sono correlate, e chi ignora una parte del mestiere è improbabile che ne conosca l'altra.

Siamo bombardati da una gran quantità di informazioni, e per orientarci abbiamo bisogno di "euristiche" - insomma, di scorciatoie del pensiero. Ne ho riportate alcune, utilizzate abitualmente tra chi fa il mio mestiere. Ognuno giudicherà questi criteri come crede, ma torno al mio principio: quel che è davvero importante è sapere distinguere i problemi. E il problema della credibilità della fonte va tenuto separato dalla domanda circa la correttezza di quanto quella fonte comunica.