La Valutazione della Qualità della Ricerca: opinioni e dibattiti

di Fiorenzo Franceschini (Dipartimento di Ingegneria Gestionale e della Produzione).

Negli ultimi 10 – 20 anni un numero crescente di Paesi nel mondo si è organizzato per procedere ad una valutazione della qualità delle proprie strutture di ricerca pubbliche con i seguenti obiettivi:

• allocare le risorse pubbliche per la ricerca sulla base del merito;
• stimolare il miglioramento progressivo della produttività scientifica, attraverso analisi comparative tra prestazioni delle singole Istituzioni;
• identificare punti di forza e di debolezza delle varie discipline, in modo da potenziare ed ampliare le strategie di sviluppo della ricerca nel Paese;
• dotare i Contribuenti di informazioni convincenti sull’efficacia della ricerca e sui benefici che da essa ne possono derivare;
• ridurre l’asimmetria informativa tra utenti della conoscenza (studenti, imprese, agenzie di finanziamento, collettività) e fornitori (i singoli scienziati).

Su queste direttrici ideali si è mosso il programma di valutazione della ricerca in Italia denominato: VQR 2011-2014.

Per dare corpo all’iniziativa l’ANVUR (Agenzia Nazionale di Valutazione del sistema Universitario e della Ricerca) ha predisposto un imponente meccanismo di valutazione in termini di risorse umane e materiali coinvolte. I buoni propositi però non sempre vanno d’accordo con le buone pratiche. Il documento [1], limitandosi all’analisi della Aree cosiddette Bibliometriche, presenta una piccola rassegna delle principali criticità che sono emerse nell’esercizio VQR 2011-2014:

1. Perché sono stati analizzati solo due/tre lavori scientifici e non l’intera produzione dei singoli scienziati?
2. La valutazione dei lavori scientifici è stata fatta coincidere con la valutazione del prestigio delle riviste ospitanti. In altre parole il contenuto è stato fatto coincidere con il contenitore. È questa una pratica corretta?
3. Ogni documento è stato valutato componendo due indicatori: uno relativo alle citazioni ricevute e l’altro relativo al prestigio della rivista ospitante. Dapprima è stata effettuata una normalizzazione dei due indicatori, successivamente si è proceduto alla somma pesata dei percentili delle rispettive distribuzioni. Quest’ultimo passaggio, in particolare, è concettualmente scorretto, essendo i percentili espressi su scale ordinali.
4. Ogni GEV (Gruppo di Esperti Valutatori) all’interno della propria area di competenza ha stabilito, in maniera autonoma, i pesi da attribuire agli indicatori di cui al punto precedente. Con questo modo di procedere come possono essere confrontati i contributi delle varie Aree Disciplinari?
5. Per la valutazione di una parte della produzione scientifica complessiva sono stati sovrapposti due metodi di valutazione: uno puramente bibliometrico (Bibliometric Analysis) e uno prodotto da revisori competenti. Come possono essere messe a confronto queste due metodiche? Esiste qualche evidenza empirica che ne permetta l’abbinamento?

A valle del documento 1, l’ANVUR, per tramite dei suoi Presidenti Graziosi e Benedetto, ha fornito una risposta ai quesiti sollevati 2.

l’Editor della Rivista Journal of Informetrics (Ludo Waltman), visto il tema caldo, ha chiesto a Maisano e me se avessimo voluto replicare. La nostra controreplica è contenuta nel documento 3.

All’infiammarsi del dibattito sono intervenuti due altri importanti studiosi di problematiche bibliometriche: Abramo e D'Angelo. I contenuti del loro intervento sono riportati nel documento 4. Mentre nel documento 5 segue una ulteriore replica dei rappresentanti ANVUR.

I “botta e risposta” tra i vari interlocutori evidenziano i differenti punti di vista, i limiti e le criticità della metodologia. Personalmente ritengo che possano essere percorse altre strade per la valutazione della ricerca nelle Istituzioni Universitarie. Il recente manifesto di Leiden 6 offre dei validi spunti di riflessione a questo proposito.

Una buona valutazione dovrebbe aiutare le Istituzioni ad auto-conoscersi, non a diventare terreno di sterili classifiche tra Atenei o tra Aree Scientifiche Disciplinari, che non producono una reale crescita del Sistema Universitario nel suo complesso.

1. Franceschini F., Maisano D. (2017), Critical remarks on the Italian research assessment exercise VQR 2011-2014. «JOURNAL OF INFORMETRICS». v.11, n.2, pp. 337-357.

2.Benedetto S., Checchi D., Graziosi A., Malgarini M. (2017), Comments on the paper “Critical remarks on the Italian assessment exercise”, Journal of Informetrics,11 (2017) and pp. 337–357. «JOURNAL OF INFORMETRICS». v.11, n.3, pp.622-624.

3. Franceschini F., Maisano D. (2017), A rejoinder to the comments of Benedetto et al. on the paper “Critical remarks on the Italian research exercise VQR 2011-2014” (Journal of Informetrics, 11(2): 337-357). «JOURNAL OF INFORMETRICS». v.11, n.3, pp. 645-646.

4. Abramo G., D’Angelo C.A. (2017), On tit for tat: Franceschini and Maisano versus ANVUR regarding the Italian research assessment exercise VQR 2011–14. «JOURNAL OF INFORMETRICS». v.11, n.3, pp. 783-787.

5. Benedetto S., Checchi D., Graziosi A., Malgarini M. (2017), Comments on the correspondence “On tit for tat: Franceschini and Maisano versus ANVUR regarding the Italian research assessment exercise VQR 2011–2014”, J. Informetr., 11 (2017), 783–787. «JOURNAL OF INFORMETRICS». v.11, n.3, pp. 838-840.

6. Hichs D., Wouters P., Waltman L., de Rijcke S., Rafols I. (2015), The Leiden Manifesto for research metrics”. «NATURE». v.520, pp. 429-431.

P.S.: per gli utenti del Politecnico di Torino gli articoli citati sono scaricabili dal database SCOPUS. Per gli altri utenti può esserne richiesta copia scrivendo a fiorenzo.franceschini@polito.it.

In the latter 10–20 years, a growing number of countries have been implementing national exercises for assessing theperformance of research institutions, with five key objectives (Schotten and Aisati, 2014; Abramo & D’Angelo, 2015):1. Guiding merit-based allocation of public funding;2. Stimulating continuous improvement in research productivity, through comparative analysis of performance;3. Identifying the strengths and weaknesses in disciplines and geographic areas, so as to support formulation of researchpolicy and management strategies at a governmental and institutional level;4. Providing convincing information to tax payers on the effectiveness of research management and delivery of publicbenefits;5. Reducing the information asymmetry between knowledge users (i.e., students, enterprises, and funding agencies) andsuppliers (i.e., individual scientists).