Come valutare
la ricerca
Giudizio dei pari o indicatori numerici?
Quali sono i parametri più idonei per valutare "i prodotti intellettuali"
di
Paolo Tosi
In un quadro di crescente competitività,
gli atenei saranno considerati non solo per la qualità della didattica,
l'offerta di servizi e l'efficienza amministrativa, ma anche per la produzione
scientifica. Ma come valutare la ricerca scientifica? Il compito è certamente
non facile. Innanzitutto le diverse discipline hanno ciascuna obiettivi e modalità
proprie. In secondo luogo, il giudizio sulla produzione intellettuale è
influenzato dal quadro culturale e sociale di riferimento. Esiste infine l'irrisolto
problema teorico di come ordinare in una scala di merito i diversi attori, istituzioni
o singoli individui, evitando ambiguità logiche: K. Arrow ha infatti mostrato
l'impossibilità di trovare una regola non ambigua per stabilire un ordinamento
tra varie opzioni nel caso di più decisori. La valutazione della ricerca
rischia così di apparire più un'utopia che un obiettivo concreto,
e tuttavia elencare le difficoltà non deve impedire di affrontare il problema.
Purtroppo, una parte dell'ambiente accademico accoglie con fastidio e diffidenza
la richiesta di rendicontazione. R. Simone (L'Università dei tre tradimenti,
Laterza 1993) ha scritto: "...Il professore ha due proprietà essenziali:
la sacralità riottosa (o rifiuto del contatto con gli altri e di ogni forma
di controllo) e il mandarinismo (o gelosa conservazione dei privilegi)... L'intangibilità
è uno dei travestimenti del terrore, che i professori hanno, del confronto
col mondo esterno e di ogni forma di valutazione del proprio lavoro. Il miglior
modo di sottrarsi al confronto consiste nell'escluderlo in linea di principio
sin dall'inizio."
Le
attività di valutazione della ricerca si sono tradizionalmente basate sul
cosiddetto "giudizio dei pari", cioè sul giudizio di un comitato
di esperti (referees), possibilmente anonimi. Nei paesi più avanzati,
questo metodo è ben conosciuto e sperimentato. Finalmente è stato
adottato anche in Italia dal MURST per distribuire i fondi di ricerca ex 40%.
Dopo anni di distribuzione a pioggia, l'adozione di nuove procedure è stato
un notevole passo in avanti. Il metodo non è tuttavia esente da critiche.
La più forte consiste nella denuncia della soggettività del giudizio,
che è generalmente influenzato dalla personalità dei referees
e dai loro pregiudizi culturali. I valutatori che non lavorano direttamente nel
campo molto probabilmente non saranno in grado di capire pienamente il significato
della ricerca. D'altra parte, gli addetti ai lavori possono essere naturalmente
diffidenti verso teorie che sfidano i loro convincimenti o semplicemente essere
incapaci di stabilire l'importanza del lavoro sotto esame. Anche i referees
intellettualmente più onesti ed aperti si troveranno di fronte a difficoltà
oggettive. Per questa ragione, si sta sempre più affermando l'uso di indicatori
numerici (numero di pubblicazioni, di citazioni ricevute, ecc.) che quantifichino,
in modo più o meno rozzo ma uguale per tutti, la quantità e la qualità
della produzione scientifica. A sua volta, questo tipo di analisi presenta problemi:
la critica più radicale contesta la possibilità stessa di quantificare
numericamente un'attività complessa come la produzione intellettuale. A
tali critiche si può rispondere ricordando che i dati vanno opportunamente
interpretati. Consideriamo, ad esempio, il numero di citazioni ricevute. Questo
parametro non ci dice nulla sulla preparazione di un autore, sull'utilità
della sua ricerca e tanto meno sul suo impegno nella vita accademica. Ci dà
invece indicazioni su quanto il suo lavoro sia stato utile ad altri studiosi.
Inoltre se si vuole andare oltre una prima impressione, bisognerebbe sapere non
solo quanto uno è stato citato, ma soprattutto perché. Appare così
fin troppo ovvio che il numero di citazioni è solo uno dei molti strumenti
a disposizione dei valutatori. Ciò detto, va sottolineato che il suo uso
introduce importanti elementi di oggettività. Ad esempio, se dopo un certo
numero di anni una pubblicazione non ha ottenuto nemmeno una citazione, allora
con buona probabilità è stata letta solo dal suo autore e dai referees
della rivista. È interessante notare che una parte sostanziale della produzione
scientifica soddisfa a questo criterio di completa inutilità (40% per la
fisica, 60% per la matematica, percentuali ancora più alte per le scienze
sociali). Questo significa che in assenza di dati sulle citazioni, è possibile
costruire carriere accademiche sulla base di pubblicazioni assolutamente irrilevanti
(la cosiddetta "carta" o "pubblicazioni concorsuali"). Un
altra critica comune all'uso delle citazioni solleva il problema delle citazioni
negative. Anche se numerosi studi hanno mostrato che il numero di pubblicazioni
che ottengono attenzione esclusivamente in termini negativi è assolutamente
limitato, e costituisce perciò un'eccezione, mi sembra chiara la risposta
di Harry Collins, direttore della Scuola di Scienze Sociali dell'Università
di Bath: "Maybe it is possible to get a lot of citations by publishing something
wrong, but at least it has to be interestingly wrong and even that is better than
publishing something trivial, boring, or plagiarised - especially if it costs
a lot of money".
[Per ulteriori informazioni sugli indicatori bibliometrici vedere l'appendice
k del rapporto 1996 del Nucleo di valutazione interna dell'Università di
Trento ed il sito Internet
http://www-phys.science.unitn.it/sci/main.html]
|