Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
Mario Albornoz
Evaluating Federal Research Programs, National Academy Press, Washington, 1999. Informe
del Commitee on Science, Enginnering and Public Policy (COSEPUP), dependiente de la
National Academy of Science, la National Academy Enginnering y el Institute of Medicin de los
Estados Unidos.
Recursos y financiamiento
Coherencia
Claridad de propsitos
Acceso a la informacin
Diseo del proyecto
Adecuacin de la metodologa
Conocimiento del campo de investigacin
Probabilidad de xito en el logro de
resultados
Pertinencia
Valor econmico de los resultados
Adecuacin a prioridades
Desarrollo de capacidades o experiencia
Resultados potenciales
Planes de diseminacin de los conocimientos
Aplicaciones prcticas
Utilidad potencial
Criterios de pertinencia
Estos criterios determinan la relacin de las investigaciones con objetivos econmicos
y sociales, as como tambin con objetivos institucionales. Cuando la poltica cientfica
contiene prioridades definidas explcitamente, la pertinencia se refiere a la adecuacin
a ellas. Si bien los criterios de pertinencia se corresponden mayormente con la
investigacin aplicada y el desarrollo experimental, tambin se toman en cuenta
cuando se trata de investigacin estratgica. En este caso se considera la utilidad
4
Tasa
de
econmico
retorno Cuantitativo.
Muestra los beneficios
econmicos de la I+D
cuantitativas. No es til en
todos los programas y
campos. Las comparaciones
entre campos y pases son
difciles. Pueden ser
artificialmente influenciados.
Mide slo beneficios
financieros, no beneficios
sociales (tales como el
mejoramiento de la calidad
de la salud). El tiempo
transcurrido entre la I+D y el
beneficio econmicos es
frecuentemente largo.
No es til en todos los
programas y campos.
Se focaliza principalmente
sobre la calidad de la
investigacin. Otros
elementos son secundarios.
Generalmente sirve para
evaluar proyectos, no
programas. Gran diversidad
entre las diferentes agencias.
Reparos contra el uso de
redes de viejos. Los
resultados dependen de que
se involucre gente de la alto
nivel en el proceso evaluador.
Casos aislados, no
comparables entre
programas. Focalizar la
evaluacin sobre casos
puede acarrear dificultades
para evaluar los beneficios de
una programacin.
Estudio de casos
10
tradicionales, por ejemplo). En este sentido, se puede afirmar que la ciencia moderna
est renovando su localizacin social en un contexto enriquecido. La tendencia actual
es hacia el diseo de procesos de evaluacin que combinen diversos mtodos. En
general, se puede establecer la siguiente tipologa:
Juicio de pares directo: Evaluacin realizada por especialistas de la misma
disciplina. Evala el valor cientfico.
Juicio de pares modificado: Evaluacin de pares con la inclusin de otros
actores, en forma adaptada a la necesidad de ampliar los criterios a considerar.
Juicio de pares indirecto: Evaluacin realizada en base a la utilizacin de
opiniones de pares emitidas inicialmente con otros propsitos.
Juicio Indirecto: Evaluacin realizada mediante la utilizacin de indicadores
bibliomtricos (publicaciones, frecuencia de citas, calidad de citas y citas asociadas) y
otros indicadores que tomen cuenta premios, congresos y financiamientos obtenidos
para I+D anteriormente, entre otros.
Todos los mtodos tienen ventajas y desventajas que deben ser tomadas en cuenta
en el diseo del proceso de evaluacin. En el juicio de pares existe un cierto peligro de
subjetividad (prejuicios o intereses) y en el juicio indirecto el peligro de una pseudoobjetividad en posible estmulo a ciertas disfuncionalidades tales como la compulsin a
la publicacin (publish or perish). En algunas disciplinas la legitimacin del juicio de
pares es muy escasa o negativa, dadas las tradiciones en materia de difusin de los
conocimientos, la que no siempre se produce por medio de revistas acreditadas en las
bases de datos sobre las que se elaboran los indicadores.
11
El juicio de los pares puede ser considerado como central para la funcin de una
comunidad acadmica cuyo trabajo est sometido a los comentarios y a la crtica de
los pares acadmicos como una obligacin profesional (Informe Boden sobre la
evaluacin por pares, 1990).
La prctica de la revisin por pares o evaluacin por pares es una forma de
autorregulacin de la comunidad cientfica. Si bien es cierto que la autorregulacin
tiene amplias races en las estructuras profesionales, en este caso se produce la
particularidad de que sus consecuencias (en trminos de aprobacin o desaprobacin
de proyectos) comprometen al Gobierno en decisiones de financiamiento. Se ha
observado que en un mundo en el que la autorregulacin est siendo crecientemente
puesta en tela de juicio, basar el proceso de evaluacin sobre ella es una posicin de
dbil defensa. Sin embargo, el gobierno ingls, como sostn financiero de la ciencia
bsica, ha reconocido esta capacidad a la evaluacin por pares ya en 1918, al haber
adoptado lo que se conoce como el Principio Haldane surgido de las
recomendaciones formuladas por el Comit del mismo nombre.
El nivel cientfico y tecnolgico de todas las propuestas de investigacin
recomendadas para su apoyo por parte del estado est garantizado por la asistencia
constante de un Consejo Asesor integrado por un pequeo nmero de eminentes
cientficos con un coordinador administrativo. (Informe Haldane, 1918)
Tambin las empresas y las instituciones privadas que financian y apoyan la I+D han
profesado idntico respeto por el juicio de los pares. Sin embargo, el mtodo de la
revisin o evaluacin por pares ha comenzado a ser revisado y discutido en forma
creciente. A lo largo del debate suscitado, no obstante, el juicio de pares como mtodo
de evaluacin no fue invalidado, si bien varios aspectos de su aplicacin prctica
merecen revisin. En realidad, los cientficos no pueden cuestionarlo porque hacerlo
sera poner en tela de juicio su propio protagonismo. Muy por el contrario, slo
reclaman el derecho de que sus juicios sean reconocidos como verdaderos. El debate,
por lo tanto, ha estado centrado en algunos aspectos operativos y conceptuales. Por
ejemplo, en la descripcin de las prcticas de investigacin de los Consejos de
Investigacin abundan los trminos como excelencia, calidad y originalidad, pero
no se definen criterios que puedan hacerlos operacionales. Esto significara que los
pares reconocen esos atributos pero no pueden anticipar qu es lo que buscan cuando
se abocan a una evaluacin.
En 1993, el Libro Blanco de la Ciencia, la Ingeniera y la Tecnologa reabri la
discusin bajo la perspectiva de la relacin entre el juicio de los pares y la poltica
cientfica del gobierno. Se afirmaba:
En el futuro, las decisiones acerca de las prioridades para el financiamiento deben
estar ms claramente orientadas hacia el encuentro con las necesidades del pas y
con el fortalecimiento de la capacidad nacional para generar riqueza. (Libro Blanco de
la Ciencia, la Ingeniera y la Tecnologa, 1993)
Este punto de vista caus preocupacin en la comunidad cientfica, en el sentido de
que la primaca de la opinin de los pares fuera desafiada. Sin embargo, muchos
sectores acadmicos haban comenzado a ser crticos por lo que perciban como un
sesgo conservador en la evaluacin por pares que favorecen las formas de
investigacin familiares y seguras, frente a las innovadoras y riesgosas. En efecto,
desde el punto de vista de la relacin de la ciencia con la sociedad, el mtodo de
evaluacin por pares es congruente con lo que se conoce como el modelo lineal,
segn el cual el conocimiento se transfiere a la sociedad a partir de la investigacin
12
PRICE, Derek de Solla (1973), Hacia una ciencia de la ciencia, Editorial Ariel, Barcelona.
13
Las principales objeciones que se le formulan remiten tanto a los factores internos
como a los externos. Ellas son:
Sobreexigencia. La creciente limitacin de recursos est produciendo una
elevacin en el rango mnimo de selectividad en el financiamiento de proyectos. Por
ello se requieren distinciones cada vez ms finas entre propuestas que son, ms o
menos, igualmente meritorias. Esto conduce a que se produzcan decisiones arbitrarias
en el establecimiento de los rdenes de prioridad.
Fatiga. En conexin con el problema anterior, el incremento de los objetos a evaluar
(proyectos, artculos, informes de investigadores y grupos) genera gran presin sobre
los evaluadores, reduce su espritu de colaboracin y afecta la calidad de su trabajo.
Corrupcin. El sistema tiene cierta vulnerabilidad frente a la corrupcin, derivada del
hecho de que generalmente las personas ms calificadas para juzgar el mrito de un
investigador son, precisamente, sus ms cercanos competidores. Con cierta
frecuencia se recogen en la literatura denuncias sobre plagio y aprovechamiento
indebido de informacin obtenida durante el proceso de evaluacin.
Imprecisin. En la descripcin de las prcticas de evaluacin abundan los trminos
como excelencia, calidad y originalidad, pero a menudo no se definen criterios que
puedan hacerlos operacionales. Esto significa que los pares reconocen esos atributos
pero no pueden anticipar qu es lo que buscan cuando se abocan a una evaluacin, lo
cual es un serio problema para el establecimiento de reglas de juego crebles. Segn
la experiencia de la National Science Foundation, los jueces convergen en los
extremos (proyectos excelentes o muy malos), pero divergen en los casos intermedios,
en los que la aplicacin de criterios netos de excelencia, calidad y originalidad es
ms compleja.
Sesgo conservador. La evaluacin por pares suele privilegiar las concepciones
tradicionales sobre las innovadoras. Fomenta la ciencia normal, frente a la revolucin
de los paradigmas. Favorece las formas de investigacin familiares y seguras, frente a
las innovadoras y riesgosas. Con frecuencia, la evaluacin est contaminada por
prejuicios (por ejemplo, frente a proyectos poco ortodoxos).
Imparcialidad. En comunidades cientficas pequeas o en la evaluacin de
proyectos que requieren grandes inversiones, los jueces frecuentemente son parte y
su imparcialidad se ve afectada. En comunidades cientficas pequeas, adems, el
secreto con respecto al nombre de los evaluadores es relativo y puede dar lugar, o
bien a juicios de compromiso, o bien a arbitrariedades e impunidad.
Lmites frente a la heterogeneidad. En el marco de las polticas de estmulo a
la vinculacin, los procesos de evaluacin ataen a proyectos que incluyen
esencialmente aspectos econmicos y tecnolgicos. En estos proyectos prevalece la
evaluacin de resultados e impactos. El mtodo de evaluacin exclusivamente a cargo
de pares no resulta adecuado porque en l participan solamente los cientficos. La
evaluacin de proyectos correspondientes al modo 2 no puede quedar limitada al
juicio de los pares, ya que stos son incapaces de dar cuenta de la heterogeneidad de
actores y aspectos cientficos y no cientficos- involucrados6.
14
15
1.3. La autoevaluacin
En el desarrollo de un proceso de evaluacin institucional, la etapa previa de
autoevaluacin suele ser un elemento de gran importancia, ya que permite la
participacin plena de los actores y favorece la internalizacin de los resultados. La
autoevaluacin no sustituye el juicio evaluador de los rbitros externos, sino que est
referida a aspectos complementarios. Lo propio de la autoevaluacin es abordar el
examen de ciertos aspectos que iluminen aquellos rasgos del funcionamiento de la
institucin que inciden sobre la calidad, orientacin, utilidad social y racionalidad
institucional de la investigacin cientfica y tecnolgica desarrollada.
16
17
18
entre otros. La pertinencia o relevancia social de los proyectos de I+D puede surgir de
la aplicacin de prioridades establecidas en alguna instancia de poltica cientfica, o
bien de la demanda de agentes externos a la institucin. Esta informacin debe ser un
insumo a disposicin de los participantes en las reuniones de autoevaluacin.
Frecuentemente, la relevancia social de la investigacin es determinada casi
exclusivamente a partir de percepciones de los propios grupos involucrados acerca de
lo que es socialmente relevante. En este caso, la percepcin del grupo puede
corresponderse con la realidad o no, en cuyo caso la efectiva transferencia hacia
potenciales usuarios se vera dificultada y eventualmente no se concretara. El juicio
acerca de esta dimensin es propio de la autoevaluacin y est estrechamente
vinculado con el anlisis de los procesos de toma de decisin. Es conveniente que en
el proceso de autoevaluacin se discuta acerca del ajuste en la previsin del posible
inters o impacto social, as como de la existencia, en los planes de trabajo, de
actividades de difusin social de los conocimientos adquiridos.
c) Proceso de toma de decisiones
Los enfoques actuales de la evaluacin en ciencia y tecnologa toman en cuenta muy
especialmente los procesos de decisin que conducen a la apertura de campos, lneas
y proyectos de investigacin. Este eje ofrece pocas dimensiones apropiadas para la
aplicacin de indicadores cuantitativos y pautas normativas establecidas a priori. Para
evaluar en forma adecuada la capacidad cientfica en el marco de la evaluacin
institucional es necesario analizar cmo funciona en la prctica el proceso de toma de
decisiones en materia de investigacin cientfica y tecnolgica. Tal anlisis merece un
abordaje desde mltiples niveles:
a) El primero remite a la instancia de decisin en la estructura de gobierno de la
institucin as como los criterios tomados en cuenta.
b) El segundo nivel de abordaje analiza las relaciones de la institucin con los
organismos del sistema de ciencia y tecnologa, a partir de sus propios
espacios de actuacin en particular los mecanismos de coordinacin del
sistema- bajo la perspectiva de identificar cmo las lneas de I+D son
influenciadas o determinadas por tales organismos.
c) El tercer nivel examina el grado de participacin de diferentes actores sociales
en la definicin de la estrategia de I+D adoptada por la institucin y el modo en
que son tomadas en cuenta las demandas surgidas del entorno social.
Como resultado del anlisis en los tres niveles mencionados es posible describir el
proceso de toma decisiones en materia de la estrategia institucional de I+D,
predicando acerca de su eventual coherencia, integracin y articulacin con otros
componentes o mbitos de decisin.
19
ciencia y tecnologa conlleva, en forma inherente, una reflexin acerca del proceso
social mediante el cual son generadas aquellas actividades de las que stos dan
cuenta. En otras palabras, la cuestin de los indicadores remite al desempeo de
actores sociales concretos, en un determinado contexto, desde la perspectiva
internacional de formular diagnsticos orientados a la toma de decisiones, la gestin y
la evaluacin.
20
21
22
23
INSUMO
PRODUCTO
Recursos
Humanos
Publicaciones
Recursos
Financiero
s
Sistema
cientficoy
tecnolgico
Patentes
REALIMENTACIN
24
25
Indicadores de "output"
La medicin del output o resultado de los esfuerzos en ciencia y tecnologa es
imprescindible para evaluar productividad pero, su aplicacin resulta controvertida,
especialmente en lo que se refiere a la utilizacin de los "artculos publicados en
revistas con referato".8 El nivel de la polmica sobre si los indicadores de output
realmente dan cuenta de los resultados de las actividades cientficas y tecnolgicas es
tal que en la publicacin de "Los Principales Indicadores en Ciencia y Tecnologa" de
la OCDE (OCDE 2004) se reconoce que "no existen medidas directas de resultados de
la ciencia y la tecnologa, sino solo indicadores aproximativos sobre datos recogidos
para otros propsitos.
Los indicadores de resultado generalmente construidos internacionalmente pueden
agruparse en tres familias principales:
a) Actividad innovadora (incluyendo innovacin y estadsticas de patentes)
b) Impacto de la ciencia y la tenologa en la economa (incluyendo comercio
internacional y tecnologa, balanza de pagos tecnolgica y relacin entre
tecnologa y productividad)
c) Indicadores de la produccin cientfica (incluyendo anlisis bibliomtricos e
ndices de citaciones).
26
27
1.4.7. Usuarios
La necesidad de indicadores de ciencia y tecnologa proviene de usuarios distintos,
que muchas veces son tambin productores de informacin, y que requieren distintas
caractersticas en los datos para amoldarlos a sus objetivos. Se suele sealar la
existencia de tres tipos distintos de usos de la informacin cientfica y tecnolgica. El
primero es el uso en la toma de decisiones, en cualquiera de los niveles
mencionados. Desde mximo funcionario gubernamental en el rea cientfica y
tecnolgica, hasta los directores de las instituciones pblicas y privadas del sistema
cientfico y tecnolgico, utilizan los indicadores para reducir la incertidumbre en la toma
de decisiones. En general, los datos se refieren a lo que est sucediendo con los
recursos comprometidos y las actividades realizadas, as como a la capacidad de
satisfacer los objetivos fijados.
En segundo lugar el uso de la informacin estadstica en la investigacin y el
anlisis de las polticas cientficas, tecnolgicas y de innovacin. En este caso,
los investigadores requieren de indicadores para comprobar sus modelos tericos y
verificar el funcionamiento real del sistema de ciencia y tecnologa. Por ltimo, el uso
de la informacin para el pblico en general, como por ejemplo en artculos en
medios masivos de comunicacin. La disponibilidad de indicadores de ciencia y
tecnologa precisos y atrayentes para su divulgacin general contribuye a fomentar el
debate pblico sobre la importancia de la ciencia y la tecnologa y a alentar la
participacin pblica en estos temas.
28
29
Eplogo
El recorrido realizado por distintos aspectos de los procesos de evaluacin en ciencia
y tecnologa, as como las crticas que despierta su aplicacin concreta, en
determinados contextos histricos e institucionales, pone en evidencia al mismo
tiempo la importancia que ocupan para la toma de decisin. Esto ubica el problema en
un campo heterogneo, en el que confluyen distintas lgicas: la de los propios
cientficos con su idea de calidad y excelencia y la de otros actores sociales que
representan distintos intereses polticos, econmicos y sociales. El valor creciente de
la evaluacin como orientadora de polticas e instrumento de gestin est ligado a la
capacidad social de instalar una cultura adecuada su prctica. Esta cultura es
necesariamente plural, ya que requiere la convivencia y articulacin de lgicas y
sistemas de intereses diferentes. En ello radica, al mismo tiempo, su complejidad y su
riqueza.
En cuanto a los indicadores que den cuenta de los sistemas de ciencia, tecnologa e
innovacin en Iberoamrica, hay una doble tarea que debe ser llevada a cabo: por una
parte, la construccin de fuentes de informacin objetivas y confiables, que permitan la
construccin de indicadores ajustados a normativas internacionales, con el propsito
de garantizar la comparabilidad. Por otra parte, no es posible renunciar a la bsqueda
de indicadores ms adecuados a la realidad de los sistemas cientfico, tecnolgico y
productivo en la regin, tomando en cuenta la nitma relacin que el problema de las
capacidades cientfica y tecnolgica tienen con el sistema educativo, en la medida que
el gran escollo a resolver por los pases iberomaricanos es la disponibilidad de capital
humano; esto es, profesionales, cientficos y tecnlogos con alto nivel de formacin, y
en nmero suficiente, para permitir a los pases ingresar bien pertrechados al
escenario de nuevas oportunidades y nuevas amenazas que caracteriza a la sociedad
del conocmiento.
30
Bibliografa
BARRE, Rmi (1997), 'La produccin de indicadores para la poltica de investigacin e
innovacin: organizacin y contexto institucional', en: El Universo de la Medicin. La
perspectiva de la ciencia y la tecnologa, RICYT COLCIENCIAS - Tercer Mundo,
Bogot.
COMMITEE ON SCIENCE, ENGINNERING, AND PUBLIC POLICY (1999), Evaluating
Federal Research Programs, National Academy Press, Washington.
FLAMENT, Michel (1993), 'Evaluacin multicriterio de proyectos en cienca y
tecnologa', en: Estrategias, Planificacin y Gestin de Ciencia y Tecnologa, Nueva
Sociedad, Caracas.
GMEZ CARIDAD, Isabel y BORDON GANGAS, Mara (1997), 'Limitaciones en el uso
de los indicadores bibliomtricos para la evaluacin cientfica', en: Poltica Cientfica N
46, Madrid.
LPEZ, Andrs y LUGONES, Gustavo (1997), 'El proceso de innovacin tecnolgica
en Amrica Latina en los aos noventa. Criterios para la definicin de indicadores', en:
Redes N 9, Editorial de la UNQ, Buenos Aires, p. 13.
OCDE (1993), La medicin de las actividades cientficas y tcnicas / Manual de
Frascati, OCDE, Pars.
OCDE (1996), Manual de Oslo, OCDE, Paris.
OSZLAK, Oscar y ODONNELL, Guillermo, 'Estado y polticas estatales en Amrica
Latina: hacia una estrategia de investigacin', en: Redes N 4, Editorial de la UNQ,
Buenos Aires, 1995.
SALOMON, Jean Jacques (1994), 'Tecnologa, diseo de polticas, desarrollo', en:
Redes N 1, Editorial de la UNQ, Buenos Aires, p. 9.
UNCTAD (1991), Los indicadores tecnolgicos y los pases en desarrollo,
UNCTAD/ITP/TEC/19, GINEBRA.
VELHO, Lea, 'Indicadores Cientficos: Aspectos Tericos y Metodolgicos', en:
Eduardo Martnez (compilador),Interrelaciones entre la Ciencia, la Tecnologa y el
Desarrollo: Teoras y Metodologas, UNESCO Nueva Sociedad, Caracas, 1993.
31