Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
Siamo su:
www.carocci.it
www.facebook.com/ caroccieditore
www.twitter.com/ caroccieditore
Chiara Faggiolani
La bibliometria
Carocci editore
1' edizione, aprile 2015
©copyright 2015 by Carocci editore S.p.A., Roma
Introduzione 9
7
3·3· I database citazionali: wos, Scopus, Google Scholar 46
3 - 4- Gli indicatori bibliometrici di impatto 52
3·5· Dalla bibliometria alla webmetrica 64
Bibliografia 97
8
Introduzione
9
LA BIBLIOMETRIA
IO
INTRODUZIONE
II
LA BIBLIOMETRIA
Ringraziamenti
12
I
I. I
A partire dalla definizione
13
LA BIBL!OME TR!A
14
I. BIBLIOME TRIA: DEFINIZIONE, F UNZIONI E CONTESTI DI APPLI CAZIONE
15
LA BIBLIOME TRI A
FIGURA I.I
Relazione tra metriche
16
I. BIBLIOME TRIA: DEFINIZIONE, F UNZIONI E CONTESTI DI APPLI CAZIONE
1.2
A chi e a che cosa serve la bibliometria
I7
LA BIBL!OME TR!A
TABELLA 1.1
Funzioni e professioni della bibliometria
Professionisti Funzioni
!8
I. BIBLIOME TRIA: DEFINIZIONE, F UNZIONI E CONTESTI DI APPLI CAZIONE
FIGURA !.2.
Relazione tra bibliometria e le altre discipline
Research in
Services far
Scientific information
19
LA BIBL!OME TR!A
20
2
2.1
Gli anni Venti: la bibliografia statistica
21
LA BIBL!OME TR!A
22
2.. DALLA BIBLIO GRAFIA STATI S TI CA ALLA BIBLIOME TRIA MODERNA
2..2.
Gli anni Trenta: le tre leggi matematiche di base
23
LA BIBL10ME TR1A
Il numero (degli autori) che produce n contributi è di circa 1/m di coloro che
ne producono uno; la percentuale di tutti gli autori che producono un solo
contributo è di circa il 6o% (Lotka, 1926, p. 323, trad. mia).
2.5
LA BIBL!OME TR!A
2.3
Gli anni Quaranta-Cinquanta: «the Sputnik Shock»
Il ruolo della scienza nella vita sociale delle nazioni è andato crescendo
nella seconda metà del Novecento. Ne è una chiara testimonianza la
sensibilità del presidente Roosevelt nel commissionare nel r944 a Van
nevar Bush il ben noto Report to the President on a Program for Postwar
Scientifìc Research (Bush, 1945), che portò, di lì a cinque anni, alla co
stituzione della National Science Foundation (Cerroni, 2.003, p. 5 1 ) ,
l'agenzia governativa statunitense che sostiene l a ricerca e l a formazio
ne di base in tutti i campi della scienza eccetto la medicina, sostenuta
dai National lnstitutes of Health.
La guerra aveva mostrato che scienza e tecnologia potevano essere
controllate, manipolate e indirizzate verso obiettivi specifici.
Un altro evento che rese ancor più evidente questo fatto fu il pro
getto Sputnik ("satellite" o "compagno di viaggio") : il primo satellite
artificiale messo in orbita attorno alla Terra, lanciato il 4 ottobre 1957
dal cosmodromo di Baikonur, nell 'odierno Kazakistan.
Il progetto era iniziato dieci anni prima con una gara vinta dall ' U
nione Sovietica, o meglio dal "modello" sovietico, centrato sul con
trollo e sull 'orientamento della ricerca scientifica e completamente
contrapposto ad un modello statunitense decisamente più liberale ma
- evidentemente - inadeguato rispetto alle esigenze del tempo.
Gli USA risposero al cosiddetto « Sputnik Shock » (Leydesdorff,
2.0 04), creando la NASA (National Aeronautics and Space Administra
tion), l 'A RPA (Advanced Research Project Agency) e l ' oECD (Orga
nization for Economie Cooperation and Development), allo scopo di
colmare il gap scientifico nei confronti dell ' Unione Sovietica, e, so
prattutto, iniziando ad ipotizzare il razionamento della spesa e il con
trollo di possibili duplicazioni dei programmi di ricerca.
Da allora il peso della scienza sui bilanci statali è andato crescen
do in tutto il mondo : il carico delle spese avrebbe seguito una crescita
esponenziale per tutta la seconda metà del xx secolo ed avendo a di
sposizione budget sempre più limitati, l'accelerazione dello sviluppo
temo-scientifico e le richieste della crescente specializzazione compe
titiva avrebbero comportato l 'esigenza di prevenire gli sprechi e di fo
calizzarsi sulle ricerche dai risultati scientificamente più fruttuosi. È su
questa scia che è andato rapidamente crescendo il bisogno di strumenti
valutativi per la produzione scientifica (Cerroni, 2.00 3 , p. 52.).
2.. DALLA BIBLIO GRAFIA STATI S TI CA ALLA BIBLIOME TRIA MODERNA
2.4
Gli anni Sessanta:
Eugene Garfield e lo Science Citation Index
RI QUADRO 2.1
Indicizzazione per soggetto
28
2.. DALLA BIBLIO GRAFIA STATI S TI CA ALLA BIBLIOME TRIA MODERNA
Del resto, non sarebbe troppo esigere che lo studioso accurato controllas
se tutti gli articoli che hanno citato o criticato tali documenti, se solo potesse
ro essere localizzati rapidamente.
Il citation index rende questo controllo assolutamente praticabile.
Anche se non ci fossero altri utilizzi possibili per un indice di citazioni
oltre a quello di minimizzare la citazione di dati poveri, sarebbe comunque
valso lo sforzo necessario per la sua compilazione.
Questo articolo discute la possibile utilità di un indice di citazioni che
offre un nuovo approccio al tema del controllo della letteratura scientifica
(Garfield, 1955, p. 1 0 8, trad. mia) .
30
2.. DALLA BIBL I O G RAFIA STATI S TI CA ALLA BIBLIOME TRIA MODERNA
L' idea di Garfield in origine era quella di creare uno strumento che
fosse di supporto ai ri cer catori per selezionare gli arti coli più rilevanti
per le proprie ri cer che e utile alle bibliote che per uno sviluppo effi ca ce
delle collezioni. Il possibile utilizzo di questo strumento ai fini della
valutazione della s cienza fu una intuizione se condaria e su ccessiva :
In effetti il sistema fornirebbe una lista completa, per quanto riguarda le pub
blicazioni coperte, di tutti gli articoli originali che hanno citato l'articolo in
questione. Questo ovviamente sarebbe particolarmente utile in una ricerca
di carattere storico, quando si cerca di valutare l' importanza di uno specifico
lavoro e il suo impatto sulla letteratura e il pensiero nel corso del tempo ( Gar
field, I 9 55, p. 109, trad. mia) .
2 .S
Gli anni Settanta: il boom della bibliometria
e il lavoro di Derek de Solla Price
31
LA BIBL!OME TR!A
Negli stessi anni in cui Garfield lavorava allo S C I , us cirono tre volu
mi fondamentali per la riflessione sulla s cienza e le politi che dell 'infor
mazione s cientifi ca: The Structure if' Scientijìc Revolutions di Thomas
Kuhn (Kuhn, 1962) - una pietra miliare nel dibattito epistemologi co
sulla s cienza che ne analizza il pro cesso stori co e al quale si deve, tra l 'al
tro, l 'introduzione del con cetto di "paradigma" ( cfr. riquadro 2.2) - ,
Science since Babylon (Pri ce, 1 9 6 1 ) e Little Science Big Science (Pri ce,
1963) di Derek de Solla Pri ce.
Questi, come anti cipato , è considerato universalmente il padre
della s cientometria, ovvero la dis ciplina che si o ccupa della s cienza
come prodotto so ciale e culturale e che studia il progresso s cientifi co
e te cnologi co attraverso la valutazione e la misurazione del contri
buto di s cienziati e delle istituzioni all 'avanzamento delle conos cen
ze. I suoi studi sulla cres cita esponenziale della s cienza diedero un
forte impulso allo sviluppo degli indi catori bibliometri ci. Vediamo
il per ché.
Pri ce sosteneva che la trasformazione e il cambiamento che stava
investendo le modalità di diffusione e disseminazione dei risultati della
ri cer ca s cientifi ca rendevano urgenti strumenti di analisi nuovi rispetto
a quelli tradizionali, che consentissero un migliore controllo politi co
della ri cer ca.
Con il suo volume Little Science Big Science intendeva proprio
questo : la fine di una pi ccola s cienza di cui lo studioso individua
lista chiuso nel suo laboratorio di ri cerca era stato protagonista a
favore di una grande s cienza in cui i gruppi di ri cer ca lavoravano
aprendosi alla ne cessità di migliorare le condizioni di vita del pia
neta ( Pri ce, 1 9 6 3 ) . Si rendeva ne cessaria una riorganizzazione della
ri cer ca s cientifi ca pena la fine del pro cesso di cre s cita (esponenziale)
della s cienza.
A partire da al cuni sempli ci dati, Pri ce mise in evidenza come la
ri cer ca s cientifi ca presentasse negli ultimi due se coli dati di cres cita su
periori ad ogni altra attività umana (Bu cchi, 2010, p. 17). Uno dei dati
forniti riguardava il fatto che cir ca l '87% di tutti gli s cienziati mai vis
suti risultava in quel momento in attività, così che il numero comples
sivo era passato da s o.o o o alla fine del XIX se colo a più di un milione ;
il numero delle riviste s cientifi che era passato da cir ca 100 nel 1830 a
diverse de cine di migliaia; la quota di PIL destinata alla ri cer ca negli
Stati Uniti era passato dallo 0,2% del 1929 al 3 % nei primi anni Sessanta
del se colo s corso (ibid. ).
32
2.. DALLA BIBLIO GRAFIA STATI S TI CA ALLA BIBLIOME TRIA MODERNA
RI QUADRO 2..2
Il paradigma
33
LA BIBL!OME TR!A
R1 Q_UADRO 2.3
Effetto San Matteo
bution) che unifi cava le tre leggi matemati che di base e che trovava una
conferma nel lavoro intrapreso da Garfield :
Il successo sembra generare successo. Un documento che è stato citato più volte
ha più probabilità di essere citato nuovamente di quelle che avrebbe un docu
mento poco citato. Un autore di numerose pubblicazioni ha più probabilità di
pubblicare rispetto ad uno che è stato meno prolifico. Un giornale che è stato
spesso consultato per qualche scopo è più probabile che venga consultato di
nuovo rispetto ad uno che è stato poco usato (Price, 1976, p. 292, trad. mia) .
Pri ce riteneva che attraverso l'analisi delle citazioni fosse possibile ri
produrre le dinami che so ciali di un qualsiasi settore dis ciplinare che
poteva essere rappresentato grafi camente da una rete.
È in questo s cenario che nel 1973 venne sviluppato il primo di una
serie di S cien ce Indi cators Reports a cura del National S cien ce Board,
con l 'obiettivo di des crivere quantitativamente lo sviluppo della ri cer
ca s cientifi ca negli U S A .
I Reports, che utilizzavano gli indi catori citazionali e fa cevano rife
rimento allo S C I di Eugene Garfield, ebbero una tale e co da s catenare
l'esigenza di una riflessione diffusa e parte cipata sulla reale portata degli
indi catori bibliometri ci, esigenza che si tradusse in una conferenza che si
tenne a Stanford nel 1974 e dalla quale na cque quattro anni più tardi il
volume Toward a Metric ofScience ( Elkana et al., 1978 ) , che ispirò il lavo
ro dei bibliometristi delle generazioni su ccessive ( De Bellis, 2005, p. 45).
Due anni più tardi, Fran cis Narin pubbli cava il volume Evaluative
Bibliometrics: The Use ofPublication and Citation Analysis in the Eva!-
34
2.. DALLA BIBLIO GRAFIA STATI S TI CA ALLA BIBLIOME TRIA MODERNA
uation of Scien tifìc Activity (Narin, 1976) sotto l'egida della National
Science Foundation, in cui veniva definitivamente sancito il rapporto
tra numero di citazioni e valutazione della ricerca, alla base dell 'effica
cia dell 'Impact Factor e degli altri indicatori bibliometrici citazionali
progettati negli anni a venire.
Sempre negli anni Settanta viene inoltre sviluppata da Small e
Griffith (Small, Griffith, 1 974) attraverso la tecnica delle co-citazioni
l 'idea già insita nei precedenti lavori di Garfield ( Garfield, Sher, Thor
pie, 1964) , di una mappatura cronologica della scienza attraverso la
costruzione di mappe capaci di rappresentare graficamente un deter
minato episodio scientifico (un 'area di ricerca, un filone di studi ecc.) ,
attraverso i documenti fondamentali d i quel settore disciplinare.
Garfield aveva dimostrato come fosse possibile attraverso un esperi
mento condotto su un evento rivoluzionario, la scoperta del codice del
D NA raccontata da lsaac Asimov nel libro del 1963 The Genetic Code,
postulando così uno degli assunti fondamentali della bibliometria:
2 .6
Dagli anni Ottanta ad oggi:
l ' istituzionalizzazione della bibliometria
Dalla metà degli anni Settanta in poi, anche grazie al rapido sviluppo
delle tecnologie informatiche e alla disponibilità dei grandi database
bibliografici in formato elettronico, gli studi quantitativi della scienza
si sono sviluppati esponenzialmente.
Si assiste ad una vera e propria istituzionalizzazione della bibliome
tria, divenuta una disciplina pressochè autonoma anche grazie all 'in-
35
LA BIBL!OME TR!A
troduzione delle prime cattedre universitarie negli Stati Uniti, alla na
scita delle società scientifiche, al proliferare di conferenze in materia e
alla pubblicazione della manualistica dedicata.
Nel 1988 uscì uno dei principali manuali di riferimento : Han dbook
of Quantitative Studies of Science an d Technology curato da Anthony
Van Raan ( Van Raan, 1 9 8 8 ) , di cui il noto manuale del 2004, curato
da Henk F. Moed, Wolfgang Glanzel e Ulrich Schmoch, può essere
considerato una seconda edizione (Moed et al., 2004).
A partire dagli anni Ottanta nacquero alcune delle principali ri
viste dedicate che ampliarono il panorama di quelle già esistenti (il
"Journal of the American Society of lnformation Science-JASIST", già
edito del 1 9 5 0 ) :
- nel 1 9 7 8 "Scientometrics", l a rivista fondata d a Tibor Braun, che ha
ospitato alcuni tra i contributi più significativi in materia, il cui orien
tamento editoriale è prettamente quantitativo;
- nel 1979 il "Journal of lnformation Science", edito da Sage ;
- nel 1991 "Research Evaluation", più orientato verso l'applicazione
della bibliometria come strumento per la valutazione della ricerca;
- dal 20o7 Elsevier pubblica il "Journal of lnformetrics".
Nel corso degli anni Ottanta-Novanta nacquero anche in Europa
diversi centri di ricerca specializzati ( Glanzel, Horn bostel, 20 1 2) , tra
questi i più noti sono :
- in Spagna il Centro de Informaci6n y Documentaci6n Cientifica
( CINDOC ), nato negli anni Settanta, oggi lnstituto de Estudios Docu
mentales sobre Ciencia y Tecnologia (IED CYT) del Consejo Superior
de lnvestigaciones Cientificas ( CS I C), la cui linea di ricerca è finalizzata
all 'analisi, alla diffusione e al potenziamento dell ' informazione scien
tifica in ogni area della conoscenza (http :// www.iedcyt.csic.es) ;
- in Olanda il Centre for Science an d Technology Studi es ( CWTS)
dell' Università di Leiden, che si occupa di metodi bibliometrici avan
zati, pratiche di valutazione nelle scienze umane e sociali, impatto so
ciale della ricerca ecc. ( www.cwts.nl) ;
- in Germania l' Institut fur Dokumentation und Information uber
Sozialmedizin (miS), nato nel 1976 come evoluzione del Dokumenta
tionsstelle fiir Versorgungsmedizin, fondato nel 1956 da Otto Nacke,
cui si deve l 'origine del termine lnformetrica nel 1979 e l ' Institut fiir
Wissenschafts und Technikforschung (rwT) dell ' Università di Biele
feld chiuso a fine 201 2 ed oggi lnstitute for lnterdisciplinary Studies of
Science (I'sos);
2.. DALLA BIBLIO GRAFIA STATI S TI CA ALLA BIBLIOME TRIA MODERNA
37
3
3·1
Il significato della citazione
39
LA BIBL!OME TR!A
mi. An che se sottile, esiste una differenza tra i due termini ed una ve
rifi ca può essere fatta proprio grazie all'utilizzo dello S cien ce Citation
Inde x di Thomson Reuters: esso è organizzato in modo tale da consen
tire la ri cer ca di un autore a partire dalle sue citazioni, ed una, diversa
nella sezione Source Publication List, in cui l 'autore è presente come
"fonte informativa" (referenza) e non come autore citato.
Si è presenti, quindi, nel S cien ce Citation Inde x solo quando un pro
prio lavoro viene citato, mentre si è presenti nella Sour ce List quando un
proprio lavoro è stato pubbli cato su una delle riviste indi cizzate e inse
rite nell'ar chivio di base dell 'Isi, a pres cindere dall'eventuale citazione.
3·2
Contesto, qualità e peso della citazione:
il comportamento citazionale
40
3· BIBLI OMETRI A E ANALI S I CITAZIONALE
TABELLA 3 . 1
Peso, qualità e contesto della citazione
Per quanto riguarda le riviste, parametri quali l' internazionalità e l' ac
cessibilità ( intesa anche come open access) ai fini della citazione sono
molto influenti.
In generale, è opinione condivisa il fatto che le pratiche citaziona
li varino nelle diverse comunità scientifiche e in particolare che siano
radicalmente diverse nelle scienze dure rispetto a quanto accade nelle
scienze umane e sociali. In effetti, potremmo dire che sono proprio le
caratteristiche del settore disciplinare e della comunità scientifica di
riferimento a rendere più o meno applicabile la logica citazionale.
Può essere d'aiuto un esempio : l'analisi bibliomerrica degli studi di
oncologia potrebbe restituire dati relativamente robusti, visto il nume
ro di ricercatori che si occupano di questo tema (ho t topic) e l 'altissima
frequenza di pubblicazioni, a differenza di quanto accade in comunità
molto ridotte dove, per l'estremo specialismo e per il numero ridotto
di ricercatori, tali indicatori non possono restituire risultati statistica
mente significativi, neppure se opportunamente normalizzati ( Banfi,
De Nicolao, 2 0 I 3 ) .
Tra gli elementi contestuali va inoltre ricordato il cosiddetto "ef
fetto San Matteo", cui si è accennato nel CAP. 2 che, dal punto di vista
delle pratiche citazionali, implica la tendenza degli autori a citare pre
feribilmente lavori di scienziati dalla fama consolidata, trascurando le
ricerche di altri potenzialmente più pertinenti, sebbene meno influenti
dal punto di vista citazionale.
4I
LA BIBL!OME TR!A
Factor.
42
3· BIBLI OMETRI A E ANALI S I CITAZIONALE
RI Q_UADRO 3.I
Normalizzazione
Quello della normalizzazione dei dati è uno dei temi più controversi della
bibliometria moderna.
Una fonte particolarmente chiara ed esaustiva rispetto alle tecniche uti
lizzabili è il volume di Nicola De Bellis, Introduzione alla bibliometria: dalla
teoria alla pratica, in particolare il terzo capitolo (De Bellis, 2 0 I 4 , pp. 9 8-u9 ),
dove si trattano le principali strategie per la costruzione di indicatori relativi:
normalizzazione a posteriori, a priori e in stile PageRank.
Le tecniche di normalizzazione consentono di trasformare un indicato
re assoluto ( il numero di pubblicazioni o citazioni, ad esempio) in indica
tore relativo. Solo attraverso questo tipo di correzione sono possibili giudizi
comparativi del tipo : l'autore X che si occupa di oncologia - per riprendere
l'esempio sopra riportato - è più produttivo dell'autore Y che si occupa di
malattie rare.
Non solo, la citazione può essere utilizzata anche per motivi che esulano
dal piano strettamente scientifico e che riguardano, per così dire, l' aspet
to sociale e relazionale della ricerca: rendere omaggio ad un pari ecc.
In uno studio del I98S Terrence Brooks, attraverso 26 interviste a ri
cercatori di discipline scientifiche e umanistiche dell ' Università dello
lowa, ha approfondito le motivazioni che possono spingere gli scien
ziati a citare un pari.
I motivi proposti nella survey erano : la documentazione del proprio
livello di aggiornamento (currency scale) ; la critica dei lavori citati (nega
tive credit) ; la documentazione di informazioni di tipo "operativo': cioè
concetti, tecniche, strumenti, risultati ( operational infonnation); voler
persuadere i lettori della bontà delle proprie argomentazioni (persuasive
ness) ; la distribuzione di crediti positivi (positive credit); voler suggerire
ulteriori letture di approfondimento o utili per la comprensione del con
testo (reader alert); mostrare il proprio consenso con la comunità degli
specialisti citando i documenti che si pensa siano ritenuti meritevoli di
citazione da parte dei colleghi e potenziali lettori (social consensus).
Nell 'esperimento di Brooks la risposta più quotata per i ricercatori,
tanto di scienze dure quanto di scienze umane, si era rivelata quella
della persuasione : la maggior parte degli intervistati ammetteva di uti
lizzare le citazioni per supportare le proprie tesi e convincere i lettori
della loro bontà ( Brooks, I98s, p. 226; De Bellis, wos, p. I74 ) .
43
LA BIBL!OME TR!A
44
3· BIBLIOME TRI A E ANALI S I CITAZI ONALE
45
LA BIBLIOME TRIA
3 ·3
I database citazionali:
wo s , Scopus, Google Scholar
Gli indi catori citazionali, lmpact Factor e gli altri di cui si dirà di segui
to, possono essere cal colati in modo automati co a partire dagli ar chivi
citazionali, cioè i data sources degli indi catori ( GHinzel, 200 3 , p. 14).
Un ar chivio citazionale (o database bibliometri co) , inteso come
una lista ordinata di arti coli citati ognuno dei quali è a ccompagnato da
una lista di arti coli citanti, è cosa ben diversa da un ar chivio bibliogra
fi co. La prin cipale differenza tra i due sta nell 'uso che se ne può fare,
ovvero negli obiettivi che consentono di raggiungere.
I database bibliografi ci sono una ra ccolta di informazioni relati
ve alle pubbli cazioni, organizzati in modo da poter essere fa cilmente
a ccessibili agli utenti e vengono messi a punto e curati dalla comuni
tà s cientifi ca a fini di do cumentazione e ausilio alla ri cer ca. Le unità
costitutive di un database di questo tipo sono i re cord bibliografi ci
(uno per ogni pubbli cazione) , a loro volta suddivisi in campi ( autore,
titolo dell 'arti colo, titolo della rivista, abstra ct e cc.) . Nel campo del
la medi cina, PubMed è il database bibliografi co più noto al mondo :
a ccessibile liberamente, indi cizza cir ca 1 8 milioni di arti coli, offren
do la possibilità di consultare l 'abstra ct e talvolta di arrivare al full
te xt. PubMed utilizza un vo cabolario di termini controllati, chiamato
M E S H , formato da parole chiave (des crittori) che consentono una ri
cer ca affidabile.
I database citazionali (o bibliometri ci) inve ce, sono repertori di
citazioni (citation indexes) che, a partire da un dato do cumento, per
mettono di re cuperare e conteggiare tutte le citazioni ri cevute da quel
3· BIBLIOME TRI A E ANALI S I CITAZI ONALE
47
LA BIBL!OME TR!A
tori che contribuis cono con i propri arti coli, gli editor della rivista e
i membri dell 'Editoria! Advisory Board ( EAB ) ( comitato consultivo
editoriale);
- Citation Analysis: se e quanto la rivista è stata citata rispetto all 'am
bito dis ciplinare e nel breve periodo. Nel caso delle riviste delle aree
S S H questo parametro conta meno.
Le prin cipali cause di rifiuto da parte di Thomson per l 'indi cizza
zione in wo s sono la non puntualità della pubbli cazione, lo s carso va
lore citazionale rispetto alla dis ciplina, il formato della pubbli cazione
(newsletter, ad esempio) e il contenuto ridondante rispetto alla coper
tura dis ciplinare.
Per quanto riguarda S copus, una rivista per essere presa in consi
derazione e comin ciare il pro cesso di valutazione ai fini dell 'a ccredi
tamento, deve avere anzitutto un I S SN, una periodi cità regolare, deve
adottare la peer review nella selezione degli arti coli (Kahler, 2.0 I O ). La
candidatura può essere presentata direttamente online e la valutazio
ne viene portata avanti da un Comitato S cientifi co Internazionale
( C SAB - Content Sele ction & Advisory Board) sulla base di criteri
più spe cifi ci, raggruppati in s categorie :
- journal Policy: la rivista che si sottopone all 'indi cizzazione deve
avere una chiara politi ca editoriale, deve appli care il pro cesso di peer
review, gli autori e gli editors devono provenire da tutto il mondo ;
- Content: le riviste devono dare un contributo tangibile alla dis cipli
na, gli abstra ct devono essere chiari e la qualità della rivista deve essere
conforme agli s copi di chiarati;
- Journal Standing: la rivista deve avere una reputazione garantita
dal comitato editoriale e un buon impatto citazionale degli arti coli in
S copus;
- Regularity: la pubbli cazione deve essere puntuale ;
- Online Availability: la rivista deve essere a ccessibile an che online
attraveso un sito che abbia una interfa ccia grafi ca chiara e di qualità
(oltre che essere in lingua inglese).
Per quanto riguarda Google S cholar i criteri di in clusione nel da
tabase sono po co chiari e non vengono espressi apertamente come a c
cade nei siti di Thomson per wos e di Elsevier per S copus: del resto
Google protegge i suoi algoritmi e ciò riguarda an che S cholar, pertan
to non è possibile monitorare i criteri utilizzati per la copertura offerta
dal database.
49
LA BIBL!OME TR!A
Per con cludere questa panorami ca rispetto alla copertura dei data
base, possono essere utili al cune indi cazioni di carattere quantitativo
sintetizzate nella TAB . 3 . 2.
La letteratura in materia è molto ri cca e diversi sono gli studi dispo
nibili. Per esempio sulla differenza tra wos e Google S cholar uno dei
più signifi cativi è lo studio condotto da Lokman l. Meho e Kiduk Yang
(Meho, Yang, 2 0 07 ).
Su Google S cholar non è possibile fornire dati pre cisi ma l a sua
copertura è andata aumentando esponenzialmente dal 2 0 0 4 ad oggi.
Per quanto riguarda i libri, solo una pi ccola parte dei libri indi cizzati
in Google Books è a ccessibile all 'analisi bibliometri ca tramite Google
S cholar. Se e quando le due fonti saranno relazionare il panorama del
la valutazione delle aree umanisti che - dove la monografia, come si
vedrà, è la tipologia di pubbli cazione più diffusa - potrebbe cambiare
forse radi calmente.
Ri capitolando, rispetto agli ar chivi ci razionali, tre sono i criteri che
vanno tenuti in considerazione al momento di s cegliere e utilizzare gli
indi catori che da essi vengono cal colati :
- la quantità : le dimensioni del database, ovvero quanti do cumenti
indi cizza;
- la qualità : la copertura dis ciplinare del database e la tipologia di do
cumenti che indi cizza (arti coli, monografie, capitoli di libro, pro ceed
ings e cc. ) ;
- i l citation matching, ovvero l'asso ciazione tra do cumenti citanti e
do cumenti citati e la presenza all 'interno del database stesso. In wos e
S copus le fonti indi cizzate (master list) sono prevalentemente riviste di
area s cientifi ca. Queste tendono a citare altre riviste di area s cientifi ca,
probabilmente ugualmente indi cizzate, ma può a ccadere che le cita
zioni sfuggano a questo cir colo chiuso. Questo a ccade quando in un
do cumento che fa parte della master list vengono citati do cumenti che
so
3· BIBLIOME TRI A E ANAL I S I C I TAZI ONALE
TABELLA 3.2
I database citazionali (dati aggiornati al gennaio 2 0 1 5 )
Anno di Database
commercializzazione Editore bibliometrico Contenuto
SI
LA BIBL!OME TR!A
RI Q_UADRO 3.2.
Le citazioni "orfane" e le citazioni "isolate"
Negli ultimi de cenni sono sorti diversi ar chivi bibliografi ci dis ciplina
ri con l'obiettivo di mettere a disposizione della comunità s cientifi
ca di riferimento la letteratura prodotta nello spe cifi co settore. Per le
dis cipline filosofi che, ad esempio, il prin cipale ar chivio bibliografi co
è Philosopher 's inde x curato dal Philosopher Information Center, in
ambito e conomi co un punto di riferimento è E conlit, curato dalla
Ameri can E conomie Asso ciation, per le s cienze so ciali il più impor
tante archivio dis ciplinare è So ciologi cal abstra cts.
3 ·4
Gli indicatori bibliometrici di im patto
Gli indi catori bibliometri ci, elaborati automati camente a partire dai
database citazionali, appartengono alla famiglia degli indi catori cita
zionali, perché cal colati sulla base della citazione considerata « l 'unità
minima informativa, codifi cata attraverso stili internazionali condivi
si, indispensabile per identifi care in maniera univo ca una pubbli cazio
ne s cientifi ca » (Cassella, Bozzarelli, 2.011, p. 6 8 ) .
Numero d i citazioni e numero d i pubbli cazioni sono misure i n un
certo senso "mute", in capa ci di esprimere (in valore assoluto) il peso
reale di un lavoro s cientifi co.
Con il numero di pubbli cazioni si può misurare la produttività di
un ri cer catore, ma an che in questo caso tale valore, per essere indi cati-
5 2.
3· BIBLI OMETRI A E ANALI S I C I TAZI ONALE
TABELLA 3 ·3
Indicatori bibliometrici
Impact Factor
5Year IF
Immediacy In dex
wos (attraverso J C R)
CitedHalf
Indicatori bibliometrici Life Total Cites
per le riviste Citable Items
scimago]R
SCimago Total Cites
Scopus
H index rivista
SNIP
Indicatori bibliometrici Eigenfactor
Modello Open Access
per le riviste/ articoli Artide Injluen ce Score
Indicatori bibliometrici wos, Scopus, Google
H index e sue varianti
per gli autori Scholar
vo, andrebbe relazionato alla sua età anagrafi ca, alla sua età a ccademi ca,
al settore di riferimento, alla tipologia di pubbli cazione, e non ultimo
alla qualità della sua ri cerca, ovvero a elementi come l'originalità, la ri
levanza, il rigore metodologi co e cc., temi sui quali si tornerà nel CAP. 4·
Possiamo definire "indi catori primari" il numero delle pubbli ca
zioni, il numero delle citazioni, così come il numero di a ccessi ad una
pagina web o il numero di download di un arti colo, an che se l 'espres
sione indi catore è utilizzata impropriamente per ché essa sottende un
rapporto tra due misure che in questo caso non c'è.
Sono inve ce "indi catori se condari" quelli che realmente esprimono
un rapporto come ad esempio l'Impact Factor, l'Immediacy Index, il
Cited Ha/fLife, lo SCimago]ournal Rank e cc. (TAB. 3.3).
Di seguito ci soffermeremo su al cuni indi catori cal colati automa
ti camente in wos e S copus per le riviste e sull 'h in dex per gli autori,
per poi passare a des crivere le caratteristi che di al cune metri che web di
ultima generazione.
Si tenga presente che questa trattazione non ha la pretesa di essere
esaustiva, essendo questo un tema in cui le sperimentazioni e le novità
53
LA BIBL!OME TR!A
54
3· BIBLI OMETRIA E ANALI S I C I TAZI ONALE
RI Q.UA D RO 3-3
Il Journal Citation Reports ( J C R)
FIGURA 3.1
Schermata principale e imerfaccia di ricerca del Journal Citation Reports
� -- .
y
ss
LA BIBL!OME TR!A
F I G U RA 3 .2
Schermata di calcolo dell'IF su JCR per la rivista "Scientometrics"
Cites in 2012 to items published in: 201 1 = 456 Number of items published in: 2011 = 217
2010 = 489 2010 = 226
Sum : 945 Sum : 443
calculatlon :C!tes to recent 1tems � = 2.133
Number of recent ltems 443
s6
3· BIBLIOME TRI A E ANALI S I C I TAZI ONALE
57
LA BIBL!OME TR!A
È così possibile calcolare l'Aggregate Impact Factor per una data area
tematic a che consiste nel calcolo dell' IF con le stesse modalità di quello
calcolato per le riviste, ma prendendo in considerazione nel loro com
plesso tutte le riviste della categoria tematica. Si tratta di un termine
di riferimento importante per dare il giusto peso all'IF di una rivista
rispetto alla categoria tematica di appartenenza.
Attraverso il J CR è possibile calcolare oltre all 'IF anche altri indica
tori. Vediamoli di seguito.
- 5 Year Impact Factor, disponibile dal 2 0 07, è il numero di citazioni
ricevute, in un dato anno, dagli articoli pubblicati in una rivista X nei
cinque anni precedenti e si ottiene dividendo la cifra per il numero
di articoli pubblicati dalla stessa rivista nei cinque anni considerati. Si
tratta cioè di una estensione dell' IF ad un periodo più lungo, che può
essere funzionale nei settori dove la validità di una ricerca ha bisogno
di più tempo per essere scoperta, come è il caso delle scienze umane e
sociali;
- Immediacy In dex: misura quanto velocemente in media una rivista
viene citata. Questo indicatore ci dice quanto spesso articoli pubbli
cati su una rivista sono citati durante lo stesso anno e viene calcolato
dividendo il numero di citazioni di una rivista in un dato anno per il
numero di articoli pubblicati nell 'anno corrente ;
- Cited Half Lifè: quantifica per quanti anni sono citati gli articoli
della rivista in esame. Al contrario dell' Immediacy Index che misura la
velocità, questo indicatore misura la persistenza nel tempo, indicando
il numero di anni, valutati a ritroso a partire dall'anno considerato, ai
quali è riferito il so% delle citazioni di articoli della rivista nell'anno in
esame. Si tratta cioè dell 'età mediana degli articoli della rivista citati, in
un dato anno, dalle altre riviste incluse nel JCR.
Grazie alla diffusione del modello Open Access (cfr. riquadro 3.4)
stanno nascendo una serie di progetti per sperimentare soluzioni alter
native all ' Impact Factor.
Uno di questi è l' Eigenfactor (http :/ / www.eigenfactor.org ) : un
progetto di ricerca accademica non commerciale, promosso dal labo
ratorio Bergstrom dell ' Università di Washington, che ha lo scopo di
s8
3· BIBLI OMETRI A E ANALI S I C I TAZI ONALE
RI Q_UADRO 3·4
Il modello Open Access
59
LA BIBL!OME TR!A
Per quanto riguarda Scopus due sono gli indicatori citazionali che si
riferiscono alla rivista, disponibili all'interno della funzione Analytics
(FIG. 3.3 ) :
- SJR - SCimago ]o urna! Rank;
- SNIP - Source Nonnalized Impact per Paper.
Entrambi vengono calcolati automaticamente sulla base di tutti gli
articoli indicizzati da Scopus.
seImago JR : è un indicatore citazionale sviluppato da Félix de Moya
del Consejo Superior de Investigaciones Cientijìcas di Spagna e da Vicen
te Guerrero-Bo te dell ' Università dell ' Extremadura ( Gonzalez-Pere i
ra, Guerrero-Bote, Moya-Aneg6n, w n ) .
Lo SJR è sviluppato a partire da un algoritmo simile al PageRank
di Google, per il quale non tutte le citazioni sono uguali e vengono
quindi "pesate". Oltre a calcolare l' impatto per rivista, calcola anche
l 'impatto per paese attraverso la funzione Country Rank. I risultati
delle analisi di SJR sono consultabili gratuitamente attraverso il sito
del progetto scrmago (http :/ / www.scimagojr.com). All' interno della
funzione Analytics di Scopus è possibile calcolare il SJR.
SNIP (Source Normalized Impact per Paper) : progetto sviluppato da
Henk Moed e dal Centre for Science and Technology Studies ( Uni
versità di Leiden) per Scopus, è un indicatore che misura l' impatto
citazionale nell'area disciplinare della rivista, riducendo le differenze
6o
3· BIBLIOME TRI A E ANALI S I C I TAZI ONALE
F I G U RA 3 -3
Schermata della funzione An alytics di Scopus
Sco pus
Qulcll s-dl
L_______...J
l Joumel Tl1le • j
l llullld�ry ·l
Sllow (!) SJR U SHIP U ISSH
Searcll
L'h index o indice di Hirsch prende il nome appunto dal suo ideatore,
]orge E. Hirsch della University of California di San Diego, che lo ha
presentato nel 20 05 nel saggio An Index to Quantijy an In dividual's
Scientijìc Research Output, apparso sui prestigiosi "PNAS Proceedings
of the National Academy of Sciences" (Hirsch, w os). Questo indica
tore si basa sul numero delle pubblicazioni di un autore e sul numero
di citazioni ricevute e si propone di combinare due dimensioni : la pro
duttività e l' impatto del lavoro degli scienziati.
6r
LA BIBL!OME TR!A
F I G U RA 3 · 4
Esempio di calcolo dell'h index
/\
Paper rank I 2 3 4 s
l� 7 8 9
Numero di citazioni 40 25 22 12 9 7 6 2 o
3 ·S
Dalla bibliomerria alla webmerrica
6s
LA BIBL!OME TR!A
un WIF alto può essere considerato più prestigioso rispetto a quei siti
web con un fattore d' impatto minore.
Altra analogia di questo indicatore con l' IF è legata alla copertura
del database a partire dal quale viene calcolato : come avviene per gli
indicatori citazionali i cui risultati variano a seconda dell 'utilizzo di
Scopus o wos, anche il WIF dipende dalla copertura del motore di ri
cerca che varia dal punto di vista quantitativo e qualitativo.
In questo caso è soprattutto la dimensione temporale a rivestire un
ruolo fondamentale : i dati relativi ai siri web contenuti nei database
dei motori di ricerca non sono costanti nel tempo e variano in modo
considerevole anche in un breve lasso temporale.
In estrema sintesi, i vantaggi di questo indicatore sono legati alla
flessibilità dello strumento web e al fatto che si tratta di una metrica
immediatamente applicabile ; per quanto riguarda i limiti, essi sono re
lativi principalmente al livello di approssimazione delle misure fornite
e al fatto che, come l' IF, anche il WIF non può essere considerato un
indicatore di qualità (Noruzi, 2006).
Iljournal Usage Factor (JuF) è un indicatore bibliometrico quanti
tativo di nuova generazione che considera il download completo del
la versione digitale di un articolo come misura dell' interesse suscitato
dall'articolo stesso, modificando così la logica valutativa basata sulle ci
tazioni e sull 'impatto. Può essere definita una metrica complementare
al tradizionale modello dell'IF. Questo indicatore si calcola dividendo
il numero totale di download degli articoli pubblicati da una rivista in
un determinato anno e il numero totale di articoli pubblicati nella ri
vista nello stesso anno. L' indicatore è stato messo a punto nell'ambito
del progetto Usage Factor avviato per iniziativa dello United Kingdom
Serials Group ( u KsG ) , che dal w o 6 studia le potenzialità offerte dalle
statistiche d'uso alla valutazione della ricerca scientifica. Obiettivo del
progetto Usage Factor è esplorare e definire il concetto di]UF e vali dar
lo come criterio per valutare l' impatto della ricerca scientifica.
In conclusione, nonostante le aspettative e la fiducia riposta in que
sta nuova concezione di impatto legata all'uso, WIF eJUF possono esse
re al momento considerati strumenti complementari e non alternativi
ai tradizionali indicatori citazionali.
66
4
Valutare la ricerca:
cosa, come e perché ?
4·1
Oggetti della valutazione:
qualità, impatto, importanza
TABELLA 4.1
Sintesi degli aspetti da considerare in una attività di valutazione
Ripartizione finanziamenti
Finalità della valutazione Progressione di carriera
Abilitazione scientifica nazionale ( ASN ) ecc.
Qualità interna
Impatto scientifico
Oggetto della valutazione
Importanza
Impatto sociale ed economico
Scienze dure
Grandi aree disciplinari Scienze sociali
Scienze umane
68
4· VALU TARE LA RI CERCA : COSA, COME E PERCH É ?
RI Q_UADRO 4.1
Quando una pubblicazione è scientifica ?
70
4· VALU TARE LA RI CERCA : COSA, COME E PERCH É ?
71
LA BIBL!OME TR!A
RI QUADRO 4.2
Le belle addormentate (sleeping beauties)
4·2
Il livello della valutazione
73
LA BIBL!OME TR!A
4 ·3
Come valutare: bibliometria vs peer review
74
4· VALU TARE LA RI CERCA : COSA, COME E PERCH É ?
75
LA BIBL!OME TR!A
RI Q_UADRO 4·3
Single-blind e double-blindpeer review
77
LA BIBL!OME TR!A
RI Q_UADRO 4·4
DORA - la dichiarazione di San Francisco
La valutazione della ricerca deve rispondere agli stessi standard adottati nel
lavoro scientifico: è questo l' invito di D ORA (Declaration On Research As
sessment), la dichiarazione sostenuta da un gruppo di redattori ed editori di
riviste scientifiche che, riuniti a San Francisco in occasione della riunione
annuale della società americana di biologia cellulare ( The American Society
Jor Ce/l Biology - AS CB) il 1 6 dicembre 201 2, hanno messo a punto la prima
bozza del documento disponibile al link http:/ /am.ascb.org/dora.
La dichiarazione contiene r8 raccomandazioni rivolte ai diversi attori del
mondo della ricerca scientifica e ruotano intorno a tre temi principali:
r . la necessità di eliminare l'uso delle metriche riferite alle riviste (IF ad
esempio) per la progressione di carriera dei singoli ricercatori;
2. la necessità di valutare l'articolo scientifico per il suo valore intrinseco e
non sulla base della rivista in cui viene pubblicato. Si valuta il contenuto e
non il contenitore ;
3 · la necessità di sfruttare al meglio le opportunità fornite dalla pubblicazio
ne online e, dunque, di approfondire nuove metriche.
Tra le r8 raccomandazioni, 4 sono destinate alle organizzazioni che for
niscono indicatori bibliometrici, naturalmente in prima linea Thomson per
wos ed Elsevier per Scopus.
DORA raccomanda la trasparenza sui dati e sui metodi usati per calcolare
tutte le metriche, la definizione di regole per combatterne la manipolazione,
la definizione precisa delle metriche in riferimento a differenti campi di inda
gine e tipologie di prodotti di ricerca (Baccini, 201 3).
4· VALU TARE LA RI CERCA : COSA, COME E PERCH É ?
4 ·4
La cultura della valutazione e l 'esperienza italiana
79
LA BIBL!OME TR!A
So
4· VALU TARE LA RI CERCA : COSA, COME E PERCH É ?
81
LA BIBL!OME TR!A
RI Q_UADRO 4·5
Le 14 aree scientifiche CUN
12 - Scienze giuridiche
1 3 - Scienze economiche e statistiche
1 4 - Scienze politiche e sociali
Rispetto alla VQ_R i GEV delle aree 1-9 hanno utilizzato essenzialmente stru
menti bibliometrici; per le aree 10-1 4 ci si è avvalsi invece della p eer review.
Da notare che le aree 8 e I I sono state divise, ai fini della VQ_R, in due diver
se su h-aree, bibliometrica e non bibliometrica, proprio per i diversi strumenti
valutativi utilizzati.
4· S
Valutare le scienze umane con la bibliometria: si può ?
TABELLA 4.2.
Comparazione tra scienze dure e scienze umane
8s
LA BIBL!OME TR!A
RI Q_UADRO 4.6
Valutazione bibliometrica delle monografie: !aLCA (Library CatalogAnalysis)
86
4· VALU TARE LA RI CERCA : COSA, COME E PERCH É ?
88
4· VALU TARE LA RI CERCA : COSA, COME E PERCH É ?
RI Q_UADRO 4·7
Database citazionali per le scienze umane
Il principale motivo per cui l'analisi bibliometrica non può essere applicata
alle scienze umane e sociali è la mancanza di una anagrafe certificata, senza
la quale non è possibile neanche fare analisi di base, come ricorda Alberto
Baccini: non è possibile neppure sapere quanto si pubblica, dove ed in che
forma (Baccini, :z.or r ) .
Senza un database che indicizza i prodotti della ricerca umanistica non è
possibile costruire indicatori di produttività a qualsiasi livello di aggregazio
ne e quindi indicatori di impatto.
Questa esigenza è sentita da più parti, forse più dal valutatore che non
dai soggetti valutati che rispetto a questi strumenti nutrono comunque molte
resistenze e perplessità, almeno nel nostro paese.
A livello internazionale ci sono vari progetti che vanno in questa direzio
ne, solo per fare alcuni esempi:
- in Norvegia, CRI S tin (Current Research Information System in Norway)
(http:// www.cristin.no/ english) ;
- in Svezia, SwePub (http:/ /swepub.kb.se);
- in Russia, Elibrary.ru ( http:/ l elibrary.ru/projects/ citation/ cit_index.asp)
ecc.;
- in Spagna, In�RECS ( Indice de Revistas Espaflolas de Ciencias Socia
les) dell' Università di Granada (http:/ /eq.ugr.es/in-recs/) e l'equivalente
In�RECH ( Indice de Revistas Espafiolas de Ciencias Humanas) (http:/ /eq.
ugr.es/in-rech/).
Anche l'Agenzia Nazionale della Valutazione della Ricerca in Italia
(ANVUR) si sta muovendo verso la realizzazione di un database delle riviste
italiane di area umanistica e sociale, sviluppato con la finalità di raccogliere i
dati utili alla valutazione e ad una migliore comunicazione internazionale dei
risultati della ricerca del nostro paese.
Tale progetto, pensato in una fase sperimentale per le sole riviste classifi
cate in fascia A, è stato affidato al gruppo di esperti "Database e nuovi indi
catori" che ha predisposto uno studio di fattibilità (http:// www.anvur.org/
asn/database_nonbiblio) , che è stato condiviso e discusso con le comunità
scientifiche nel gennaio 2.0 1 4 , suscitando non poche polemiche.
Tale indicazione rispetto alla condivisione viene riportata anche da Diana
Hicks nel documento già citato Towards a Bibliometric DatabaseJor the Social
Sciences and Humanities (http:/ /works.bepress.com/diana_hicks/r8), punto
di riferimento in materia.
Al momento in cui si scrive, non sappiamo se e come tale progetto verrà
concretizzato.
90
4· VALU TARE LA RI CERCA : COSA, COME E PERCH É ?
91
s
Conclusioni:
bibliometria e scienza Mode 2
Il nuovo modo agisce all' interno di un contesto applicativo nel quale i pro
blemi non sono inquadrati in un'ottica disciplinare. È transdisciplinare piut-
93
LA BIBL!OME TR!A
94
5· CONCLUSI ONI : BIBLI OMETRIA E S CIENZA MODE 2
95
LA BIBL!OME TR!A
Letture consigliate
97
LA BIBL!OME TR!A
I
Bibliometria: definizione, funzioni
e contesti di applicazione
Per le origini del termine bibliometria cfr. PRITC HARD (1969 ), RANGANA
T H AN (1 949), OTLET ( 1 93 4) .
Per l e origini della scientometria cfr. NALIM OV, M U L C H ENKO ( 1 9 6 9 ) e le
opere di Derek de Solla Price, soprattutto PRICE ( 1 963, 1976). La monogra
fia Evaluative Bibliometrics di Narin del 1 9 76, edita dalla National Science
Foundation, è stata la prima presentazione sistematica dello stato dell'arte
nella disciplina, punto di riferimento anche per la cosiddetta "bibliometria
valutativa".
In ambito biblioteconomico segnano l'origine della riflessione in materia
nel nostro paese i contributi di S E RRAI ( 1 9 84, 1 9 85 ) . Per una distinzione tra
bibliometria, scientometria, informetrica cfr. BRO O K E S (1990 ).
BIBLIO GRAF IA
2
Dalla bibliografia statistica alla bibliometria moderna
3
Bibliometria e analisi citazionale
Per una introduzione al tema cfr. RIDI (20Io ) che offre una bibliografia ag
,
99
LA BIBL10ME TR1A
per lo sviluppo della webmetrica e degli indicatori d'uso cfr. ALMIND, INGWER
SEN ( 1997 ) , INGWERS EN ( 1998 ) , BJÒ RNEBORN, INGWERSEN ( 2.004 ) .
Per l'analisi delle co-citazioni oltre a S MALL ( 1973 ) e S MALL, GRIFFITH
( 1974 ) , cfr. il quinto capitolo del già citato volume di Nicola De Bellis ( DE
B ELLIS , 2.014, pp. 157- 71 ) .
Per un approfondimento sul tema del comportamento citazionale si ri
manda al lavoro di Christine Borgman e Jonathan Furner dal titolo Scholarly
Communication and Bibliometrics in cui vengono analizzati i comportamenti
citazionali e le motivazioni di base delle citazioni che, come si è visto, non
sono legati esclusivamente al piano scientifico ( B O RGMAN, F URNER, :z.oo:z. ) .
4
Valutare la ricerca: cosa, come e perché ?
s
Conclusioni: bibliometria e scienza Mode 2
IOO
BIBLIO GRAF IA
Riferimenti bibliografici
101
LA BIBLIOME TRIA
10 2.
BIBLIO GRAF IA
103
LA BIBLIOME TRIA
104
BIBLIO GRAF IA
IOS
LA BIBLIOME TRIA
106
BIBLIO GRAF IA
ro8
BIBLIO GRAF IA
109
LA BIBLIOME TRIA
110