di Tommaso Nannicini e Stefano Gagliarducci
Ringraziamo gli autori dell’articolo sia per il supporto all’iniziativa sul contrasto alla povertà educativa sia per gli spunti critici, che sono senz’altro uno stimolo a migliorare un percorso di sperimentazione appena avviato. Ne approfittiamo per rispondere nel merito della principale questione sollevata, ossia la scarsità dei fondi allocati per la valutazione empirica degli interventi.
In verità, non sono del tutto assenti esempi internazionali, come ad esempio il J-Pal (The Abdul Latif Jameel Poverty Action Lab) dell’Mit (Massachusettes Institute of Techology), in cui i gruppi di ricerca si fanno carico dei costi di valutazione. Questo non solo perché animati da spirito solidaristico, ma soprattutto perché in cambio ricevono la possibilità di disegnare l’implementazione delle politiche (nel nostro caso, progetti fino a 3 milioni di euro) in maniera sperimentale o quasi-sperimentale, con evidenti ritorni in termini di qualità scientifica e pubblicazioni internazionali. Non solo, avere accesso a disegni sperimentali di questo tipo, come nel caso di randomized controlled trials, può aumentare le possibilità di accedere a finanziamenti internazionali alla ricerca, in un’ottica di matching funds che è anche uno dei cardini dell’iniziativa. In un mercato caratterizzato da forti asimmetrie informative, contenere le spese dirette ascrivibili alla valutazione empirica può essere un modo per selezionare questo tipo di ricercatori, interessati all’originalità della metodologia di valutazione prima di ogni altro fattore.
Detto questo, ci rendiamo conto che gli interventi finanziati dal Fondo per il contrasto della povertà educativa minorile saranno su larga scala, e non tutti i gruppi di ricerca necessari a valutare l’elevato numero di progetti messi in campo potrebbero avere le risorse economiche di J-Pal, indipendentemente dalle proprie capacità scientifiche. Per questo motivo, sul sito conibambini.org, è stata pubblicata una nota interpretativa sul bando in cui si esplicita quanto forse prima era poco chiaro: in aggiunta al rimborso spese di missione nel limite del 2 per cento del budget, “la coerenza e la congruità di eventuali altre spese, relative a risorse umane e acquisto di beni e servizi funzionali alla valutazione di impatto, saranno esaminate in sede di istruttoria”. Questo proprio per dotare tutti i gruppi di ricerca delle risorse necessarie, ad esempio, alla somministrazione di questionari, al reclutamento di assistenti alla ricerca, o più in generale alla raccolta dei dati.
Speriamo che questa risposta abbia chiarito almeno parte dei dubbi degli autori.
*Tommaso Nannicini è Sottosegretario alla Presidenza del Consiglio e Presidente del Comitato strategico per il contrasto alla povertà educativa.
Stefano Gagliarducci è Consigliere economico del Presidente del Consiglio e componente del Comitato strategico per il contrasto alla povertà educativa.
La replica degli autori
Restano i dubbi sulle risorse per la valutazione
di Alberto Martini, Barbara Romano e Ugo Trivellato
Ringraziamo Tommaso Nannicini e Stefano Gagliarducci per i commenti. Conosciamo abbastanza bene J-Pal: 143 professori affiliati a 49 università; 793 randomized control trial, completati o in corso, in 72 paesi; il sostegno di ingenti donazioni. Si colloca però su un’altra scala rispetto ai centri di ricerca che potranno essere coinvolti nel programma di contrasto della povertà educativa minorile.
Il nostro iniziale spunto critico ha riguardato l’immotivato vincolo a utilizzare i fondi destinati alla valutazione per rimborsi spese. La spiegazione di Nannicini e Gagliarducci non ci ha convinti del tutto. Abbiamo quindi letto con piacere la nota interpretativa pubblicata sul sito conibambini.org, che lo allenta.
Più in generale, quella del Fondo per la povertà educativa potrebbe essere un’esperienza importante per cambiare il rapporto tra politici e produttori di evidenza empirica, oggi largamente improntato ad altisonanti dichiarazioni dei primi seguite da piatte descrizioni da parte dei secondi. Appunto, potrebbe. Restano peraltro alcuni aspetti nebulosi e qualche perplessità.
- I due bandi richiedono che “ciascun ‘soggetto proponente’ si doti già in ‘prima fase’ di una strategia di valutazione, indicando nel partenariato un soggetto con comprovata esperienza nel settore. […] Nel caso in cui non riesca a identificare autonomamente soggetti con tali competenze, sarà predisposto un elenco di soggetti idonei”. Come avverrà l’accreditamento dei centri di ricerca non è però detto. Quali criteri saranno adottati? Saranno ammissibili centri di ricerca non italiani? Si tratta di informazioni essenziali, che è bene siano rese pubbliche tempestivamente.
- Vi sono parecchie differenze fra le iniziative che possono essere incluse nei progetti rispettivamente per i bandi 0-6 e 11-17 anni. Alcune sono comprensibili; altre meno. Un solo esempio: i conditional cash transfer (che sono stati uno dei cavalli di battaglia di J-Pal) sono previsti soltanto per i bandi 0-6 anni. Una banale svista o una scelta motivata?
- La nota interpretativa prevede che, al di fuori del tetto del 2 per cento, “la coerenza e la congruità di eventuali altre spese, relative a risorse umane e acquisto di beni e servizi funzionali alla valutazione di impatto, [sia] esaminata in sede di istruttoria”. Ci domandiamo: non sarebbe più saggio restare entro un tetto, forse elevato al 3-4 per cento, e richiedere un argomentato dimensionamento del finanziamento richiesto e un’argomentata ripartizione delle spese, in relazione al disegno dell’intervento e della sua valutazione?
- La nota conclude così: “Non potranno, comunque, essere previsti rimborsi o compensi per le attività di valutazione svolte successivamente alla conclusione del progetto”. Il progetto consta del solo intervento? Oppure comprende la valutazione d’impatto, che può svolgersi pienamente soltanto a intervento compiuto, quindi comporta costi anche dopo la sua conclusione? Sfortunatamente, i due bandi sono chiari: il centro di ricerca coinvolto “si [farà] carico di valutare l’andamento, i risultati conseguiti al termine delle attività e gli impatti raggiunti due anni [dopo]”. Quanto sia importante valutare l’impatto di un intervento anche diversi anni dopo la sua conclusione, lo mostra un esempio estremo: nel Perry Preschool Project – un randomized control trial su 123 bambini afro-americani di 3-4 anni a rischio di fallimento scolastico – gli effetti di essere stato assegnato a un programma di formazione pre-scolastica di elevata qualità, invece che esserne escluso, sono stati valutati seguendo quei 123 bambini oltre i 40 anni di età.
Palazzo Chigi sulla povertà educativa*
Di Desk
il 25/11/2016
in Commenti e repliche
di Tommaso Nannicini e Stefano Gagliarducci
Ringraziamo gli autori dell’articolo sia per il supporto all’iniziativa sul contrasto alla povertà educativa sia per gli spunti critici, che sono senz’altro uno stimolo a migliorare un percorso di sperimentazione appena avviato. Ne approfittiamo per rispondere nel merito della principale questione sollevata, ossia la scarsità dei fondi allocati per la valutazione empirica degli interventi.
In verità, non sono del tutto assenti esempi internazionali, come ad esempio il J-Pal (The Abdul Latif Jameel Poverty Action Lab) dell’Mit (Massachusettes Institute of Techology), in cui i gruppi di ricerca si fanno carico dei costi di valutazione. Questo non solo perché animati da spirito solidaristico, ma soprattutto perché in cambio ricevono la possibilità di disegnare l’implementazione delle politiche (nel nostro caso, progetti fino a 3 milioni di euro) in maniera sperimentale o quasi-sperimentale, con evidenti ritorni in termini di qualità scientifica e pubblicazioni internazionali. Non solo, avere accesso a disegni sperimentali di questo tipo, come nel caso di randomized controlled trials, può aumentare le possibilità di accedere a finanziamenti internazionali alla ricerca, in un’ottica di matching funds che è anche uno dei cardini dell’iniziativa. In un mercato caratterizzato da forti asimmetrie informative, contenere le spese dirette ascrivibili alla valutazione empirica può essere un modo per selezionare questo tipo di ricercatori, interessati all’originalità della metodologia di valutazione prima di ogni altro fattore.
Detto questo, ci rendiamo conto che gli interventi finanziati dal Fondo per il contrasto della povertà educativa minorile saranno su larga scala, e non tutti i gruppi di ricerca necessari a valutare l’elevato numero di progetti messi in campo potrebbero avere le risorse economiche di J-Pal, indipendentemente dalle proprie capacità scientifiche. Per questo motivo, sul sito conibambini.org, è stata pubblicata una nota interpretativa sul bando in cui si esplicita quanto forse prima era poco chiaro: in aggiunta al rimborso spese di missione nel limite del 2 per cento del budget, “la coerenza e la congruità di eventuali altre spese, relative a risorse umane e acquisto di beni e servizi funzionali alla valutazione di impatto, saranno esaminate in sede di istruttoria”. Questo proprio per dotare tutti i gruppi di ricerca delle risorse necessarie, ad esempio, alla somministrazione di questionari, al reclutamento di assistenti alla ricerca, o più in generale alla raccolta dei dati.
Speriamo che questa risposta abbia chiarito almeno parte dei dubbi degli autori.
*Tommaso Nannicini è Sottosegretario alla Presidenza del Consiglio e Presidente del Comitato strategico per il contrasto alla povertà educativa.
Stefano Gagliarducci è Consigliere economico del Presidente del Consiglio e componente del Comitato strategico per il contrasto alla povertà educativa.
La replica degli autori
Restano i dubbi sulle risorse per la valutazione
di Alberto Martini, Barbara Romano e Ugo Trivellato
Ringraziamo Tommaso Nannicini e Stefano Gagliarducci per i commenti. Conosciamo abbastanza bene J-Pal: 143 professori affiliati a 49 università; 793 randomized control trial, completati o in corso, in 72 paesi; il sostegno di ingenti donazioni. Si colloca però su un’altra scala rispetto ai centri di ricerca che potranno essere coinvolti nel programma di contrasto della povertà educativa minorile.
Il nostro iniziale spunto critico ha riguardato l’immotivato vincolo a utilizzare i fondi destinati alla valutazione per rimborsi spese. La spiegazione di Nannicini e Gagliarducci non ci ha convinti del tutto. Abbiamo quindi letto con piacere la nota interpretativa pubblicata sul sito conibambini.org, che lo allenta.
Più in generale, quella del Fondo per la povertà educativa potrebbe essere un’esperienza importante per cambiare il rapporto tra politici e produttori di evidenza empirica, oggi largamente improntato ad altisonanti dichiarazioni dei primi seguite da piatte descrizioni da parte dei secondi. Appunto, potrebbe. Restano peraltro alcuni aspetti nebulosi e qualche perplessità.