Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
Anales de la Facultad
Universidad NacionaldeMayor
Medicina
de San Marcos Vol. 64,
Vol. 64, Nº
Nº 22 -- 2003
2003
Copyright © 2003 Págs. 112 - 118
RESUMEN
OBJETIVO: Evaluar la calidad de la producción científica de los investigadores de la Facultad
de Medicina, UNMSM. MATERIAL Y MÉTODOS: Fuente de información secundaria: 1)
base de datos del Registro de Actividades de Investigación de San Marcos (RAIS); 2) texto
completo de publicaciones periódicas 1991-2000 registrados en RAIS. Los 462 artículos fueron
clasificados y separados los correspondientes a estudios. De éstos se seleccionó al azar 20%
(n=59) y se procedió con la revisión de pares, utilizando el estilo Vancouver como estándar de
calidad. Se asignó puntaje a cada sección de la publicación para medir la confiabilidad
interevaluador, así como clasificar el resultado de la evaluación. RESULTADOS: El coeficien-
te de confiabilidad interevaluador varió entre las diferentes partes del artículo. El 71,2% de los
estudios fue evaluado como bueno-excelente; sin embargo, el 80% no describió procedimiento
estadístico y el 85% no comunicó sobre aspectos éticos. CONCLUSIÓN. Las normas de
Vancouver fueron útiles para establecer aspectos de calidad de los artículos.
Palabras clave: Revisión de pares; investigación; publicaciones periódicas; revisión de pares,
investigación; estandares de referencia.
112
Anales de la Facultad de Medicina Vol. 64, Nº 2 - 2003
proponen como criterios de calidad las siguien- Revisión de pares (peer review). El término
tes categorías (4): revisión de pares se usa para describir una serie
de procesos editoriales, más comúnmente, ob-
• Importancia. Los hallazgos del estudio tie-
tener opiniones críticas de expertos externos,
nen un impacto mayor sobre la salud o la
pero también, revisiones de editores internos (4).
atención de salud.
El disentimiento es frecuente en este proceso y
• Utilidad. El estudio contribuye signi- “hay que alcanzar un delicado equilibrio entre
ficativamente al debate científico o conoci- tres intereses distintos: los del autor, los del
miento sobre la materia. director de la publicación y los del árbitro” (7).
• Relevancia. El tópico es relevante para las
metas de la revista y de los lectores. Algunos predicen que la revisión de pares
llegará a su fin con las transformaciones estruc-
• Adecuación metodológica. Los métodos en
turales de la ciencia y “obligará a lectores de
uso son capaces de responder a la pregunta
revistas, aún aquellas de investigaciones clíni-
de investigación.
cas, a tomar parte más activa en la evaluación
• Adecuación ética. Se ha evitado daño innece- intelectual del trabajo publicado. Eventualmen-
sario a humanos y animales. El estudio ha sido te, pero más pronto de lo que imaginamos, ve-
llevado a cabo y comunicado honestamente. remos una evolución hacia una forma de publi-
• Integridad. Se presenta toda la información cación que será un continuo diálogo abierto y
relevante. de colaboración entre científicos que aportan,
• Precisión. La información presentada es un editores, comentaristas expertos y lectores” (8).
reflejo de lo ocurrido.
Otros diferencian entre el proceso general por
De otro lado, el tema de calidad de las publi- el que los editores dirigen manuscritos (adminis-
caciones médicas ha llevado a las prestigiosas tración) y la parte cognitiva del proceso (evalua-
revistas médicas Journal of the American ción). Y estando a favor de la revisión, dicen:
Medical Association (JAMA) y British Medical “no es completamente acientífica, arbitraria o
Journal (BMJ) a organizar congresos interna- subjetiva como algunos han propuesto y sus mé-
cionales, cada cuatro años, desde 1989, para ritos son substanciales cuando es dirigido y utili-
presentar y analizar investigaciones realizadas zado por un comité editorial cuidadoso. Tal como
sobre el proceso editorial de la publicación, Bailer y Patterson expresaron algunos años atrás,
particularmente, la revisión de pares ( 5). la revisión de pares puede eliminar investigacio-
nes que son pobremente concebidas, diseñadas,
Los mencionados congresos “se iniciaron ejecutadas, triviales, marginales o difíciles de
como una respuesta, al llamado de Bailer y interpretar; mejora la calidad del manuscrito;
Patterson, en 1983, de llevar a cabo estudios encamina los resultados de la investigación ha-
sobre la revisión editorial. Había abundancia cia las revistas adecuadas; y ayuda a las personas
de opiniones publicadas, pero pocos estudios que no son expertas a decidir en qué creer” (9).
empíricos y era obvio que conocíamos muy
poco acerca de uno de los procesos centrales Estudios sobre revisión de pares. Los estu-
de la ciencia (…) Eran pocos los estudios pu- dios sobre el tema son diversos. Por ejemplo, en
blicados sobre el tema antes de 1986, pero ac- el Cuarto Congreso Internacional sobre Revisión
tualmente existen cerca de 170 a 200 por año. de Pares en Publicaciones Biomédicas, que tuvo
Esto sugiere que se ha creado una nueva área lugar en el año 2001, en España, los tópicos de
de la ciencia; aunque estas investigaciones interés incluyeron los mecanismos de la revisión
usualmente no son financiadas y llevadas a cabo de pares y la toma de decisiones editoriales, así
por autores con otros intereses profesionales, como las evaluaciones de su validez y aplica-
está empezando gradualmente a proporcionar bilidad; la garantía de calidad para revisores y
una descripción de la revisión y otros procesos editores; los fracasos, debilidades y sesgos; la
editoriales así como algunas de sus consecuen- revisión de pares para propuestas de grants; el
cias” ( 6 ). conflicto de intereses; la inmoralidad científica;
113
Anales de la Facultad de Medicina Vol. 64, Nº 2 - 2003
los aspectos económicos de la revisión de pares y haber publicado previamente en una revista dada
la publicación científica; el método para mejorar y las recomendaciones de colegas (14).
la calidad, eficiencia y distribución equitativa de
la información biomédica; el método para medir Sección metodología. Esta sección debe dar
la calidad de la información impresa y en línea; una idea clara de todo aquello que se hizo (15).
los sistemas digitales interactivos y otras nuevas Algunos autores han identificado errores
tecnologías que afectan la diseminación biomédica metodológicos en artículos médicos, tales como
y el futuro de la publicación científica (10). fallas en describir el diseño estadístico o serios
errores estadísticos. No obstante que se reco-
Características de los revisores. Un estudio mienda ampliamente la contribución estadística
sobre las características de un buen revisor y de en la investigación médica, los profesionales que
una buena revisión no halló asociaciones entre proporcionan tal experiencia a menudo no están
revisiones de calidad y ciertas características de involucrados hasta llegada la fase de análisis de
aquellos, tales como: estar activamente datos y, muchos de ellos, ni siquiera son reco-
involucrado en investigación, ocupar puestos nocidos como autores ni mencionados en agra-
académicos y ser miembro de organismos que decimiento (16).
financian la investigación. Se concluyó que exis-
Sección discusión. Esta sección típicamente
ten tantos tipos de buenos revisores como de es para resumir los principales hallazgos y ubi-
buenas revisiones. No obstante, sugiere a los carlos en perspectiva, en el contexto de otros
editores recluten revisores con adiestramiento trabajos (15). Un estudio examinó la sección dis-
en epidemiología o estadística y enrolen perso- cusión de ensayos clínicos aleatorizados y con-
nas más cercanas a los 40 que a los 60 años. Y trolados publicados entre 1997-2001, en cinco
a los revisores, que no inviertan más allá de revistas médicas generales de prestigio. Halló
cuatro horas en la revisión (11). que ninguna de las 30 comunicaciones incluyó
Se admite que no existe “una regla de oro” una discusión de los resultados del ensayo clí-
para juzgar la calidad de una revisión (12). En- nico en el contexto de revisiones sistemáticas
tre los estudios publicados, por ejemplo, res- actualizadas de otros estudios relevantes (17).
pecto a la calidad general de los manuscritos
seleccionados para publicación en Annals of
Internal Medicine, se halló concordancia entre MATERIAL Y MÉTODOS
lectores y revisores, aunque discrepancia en Material. Se hizo uso de fuentes de infor-
cuanto a la importancia clínica de los mismos. mación secundaria constituidas por: 1) publica-
Los primeros exigen relevancia clínica, mien- ciones científicas, con autoría de docentes
tras que los segundos evalúan las fortalezas y sanmarquinos, a partir de 1990, contenidos en
debilidades científicas del estudio. Sugiere a los la base de datos del Registro de Actividades de
editores incorporen la perspectiva de los lecto- Investigación de San Marcos (RAIS), actualiza-
res en el proceso de revisión de pares e investi- do a enero del 2001; 2) archivo de las publica-
guen sobre sus efectos (13). ciones en revistas periódicas, en texto completo
Elección de la revista. Es importante saber y registrados en el RAIS.
cómo eligen los autores las revistas para some- El ámbito de estudio fue la Facultad de Me-
ter a ella sus manuscritos. Un estudio demostró dicina de la Universidad Nacional Mayor de San
que en la primera presentación del manuscrito Marcos (UNMSM).
parece más importante tratar de influir o impre-
sionar a colegas de la misma especialidad. La Método. El presente estudio, en continuidad
primera elección son las revistas altamente pres- con uno previo sobre la tendencia 1991-2000 de
tigiadas que publican frecuentemente artículos la producción científica de los investigadores
afines para lectores interesados. En las presen- de la Facultad de Medicina, UNMSM, analiza
taciones siguientes ganan prominencia factores aspectos de la calidad de tal producción. Para
más prácticos, tales como tasa de aceptación, ello, se clasificó, en primer lugar, los 462 artí-
114
Anales de la Facultad de Medicina Vol. 64, Nº 2 - 2003
culos publicados entre 1991-2000, utilizando los nuscritos que se enviaba a sus revistas. Desde
conceptos de pesquisa, estudio e investigación entonces, dicho estilo ha sido aceptado por la
propuestos por Frenk y colaboradores, que se mayoría de las revistas científicas. Sus normas
resume a continuación (18): han sido revisadas en cuatro ocasiones poste-
riores, aunque sólo se ha introducido modifica-
• Pesquisa (Averiguación). Simple recolección
ciones ligeras (19).
de datos para describir un segmento de la
realidad. Revisión de pares. Se procedió a un muestreo
• Estudio. Actividad que da lugar a la infor- sistemático de los 293 estudios, seleccionándose
mación, es decir, conjunto de datos ligados a el 20% (n=59). Utilizando como guía el estilo
una pregunta o un problema. Su nivel de Vancouver, dos investigadores evaluaron inde-
aproximación a la realidad es más profundo pendientemente un número de tales estudios.
que el de la averiguación, en la medida en Luego, se reunieron para discutir sobre las dis-
que aspira a establecer correlación entre va- crepancias y, resueltas las diferencias, proce-
riables. dieron con la evaluación de los restantes.
• Investigación. Nivel más complejo de inte-
Los evaluadores utilizaron una tabla de califi-
gración, cuyo objetivo es explicar la reali-
cación, creada para la cuantificación de cada una
dad a través de la producción de inteligencia
de las partes que comprende el artículo y al final
(conocimiento).
llegar a un puntaje global (Tabla 1). La
En nuestro trabajo, dada la dificultad para cuantificación facilitó el cálculo de la
diferenciar entre estudio e investigación, se optó confiabilidad interevaluador; asimismo, el pro-
por juntar ambos bajo el rótulo de estudio; asi- medio del puntaje global de ambas evaluaciones
mismo, se diferenció los artículos de revisión, permitió clasificar los estudios, de acuerdo al
ensayos y otros. Dos investigadores participa- cumplimiento de las normas de Vancouver, en
ron independientemente en la clasificación. Los pobre, regular, aceptable, bueno y excelente.
462 artículos en orden de frecuencia fueron:
Adicionalmente a la calidad, se describe al-
estudios 293 (63,4%), revisiones 65 (14,1%),
gunas características de los estudios y para ello
pesquisas 64 (13,8) y otros 40 (8,7%).
éstos fueron subdivididos en biomédicos, clíni-
Finalmente, los 293 estudios constituyeron cos y de salud pública (18).
el material para evaluación de calidad, a través • Biomédico. Se ocupa de las condiciones y los
del proceso de revisión de pares. procesos (biológicos, psicológicos y socia-
les) determinantes de la salud y la enferme-
Calidad (Estilo Vancouver). En el marco del
dad a nivel individual o subindividual (celu-
presente estudio, la calidad se evaluó utilizando
lar, molecular, etc.).
como criterio las normas del grupo Vancouver
para cada una de las partes que comprende el • Clínico. Suele enfocarse hacia el estudio de
artículo original (título, resumen, introducción, las respuestas (externas que la sociedad or-
metodología, resultados y discusión). Es decir, ganiza) preventivas, terapéuticas o para la
se examinó aspectos más de estructura que de rehabilitación aplicadas al individuo.
contenido del artículo. La razón de ello es que, • Salud pública (Epidemiológico). Se ocupa del
evaluar la calidad científica de estudios tan estudio de las respuestas preventivas, tera-
heterogéneos hubiera exigido la participación de péuticas o para la rehabilitación analizados a
expertos en diferentes disciplinas y especialida- nivel de población.
des médicas.
Análisis estadístico. Se elaboró una base de
Como se sabe, el estilo Vancouver se esta- datos en Visual Foxpro y se utilizó los paquetes
bleció en una reunión de editores de las princi- estadísticos EpiInfo6 y SPSS 7,5, para la prue-
pales revistas biomédicas en 1978, en la ciudad ba de significado estadístico y la confiabilidad
canadiense del mismo nombre, con el fin de interevaluador Kruder Richardson 20 (Modelo
uniformizar los requisitos exigibles a los ma- alpha), respectivamente.
115
Anales de la Facultad de Medicina Vol. 64, Nº 2 - 2003
116
Anales de la Facultad de Medicina Vol. 64, Nº 2 - 2003
Tabla 3.- Calidad de los estudios. los artículos, aunque señalan que pueden no ser
generalizables a otras revistas (20).
Cumplimiento Puntaje n=59 %
De otro lado, la confiabilidad interevaluador,
Pobre (50,00-59,50) 00 0,0 expresada en el puntaje global de la calificación
Regular (60,00-69,50) 05 8,5 del estudio, fue moderada. A propósito de este
Aceptable (70,00-79,50) 12 20,3 hallazgo, consideramos importante el comenta-
Bueno (80,00-89,50) 29 49,2 rio de Kassirer y Campion: “El desacuerdo en-
Excelente (90,00-100) 13 22,0 tre revisores es común y es probable que sea
primariamente un reflejo de la complejidad del
(Sogi y cols, 2002) proceso de evaluación del manuscrito más que
evidencia de que el proceso de revisión de pa-
res es arbitrario o caprichoso”. Agregan que un
individual fue menos frecuente en los estudios
acuerdo respetable entre revisores puede dar
biomédicos (p <0,05). La colaboración interins-
menos información a autores y editores, que
titucional y la participación de seis o más auto-
evaluaciones completamente diferentes por re-
res fueron más frecuentes en los estudios
visores con diferente experiencia, diferentes
epidemiológicos que en los otros dos, pero las
áreas de experiencia y disciplina (9).
diferencias no fueron estadísticamente significa-
tivas. En el segundo quinquenio 1996-2000 dis- Es posible que nuestros evaluadores atribuye-
minuyó la frecuencia de los tres tipos de estudio. ran criterios diferentes al sistema de calificación
utilizado, pese a la guía de las normas de
La mayor frecuencia de los estudios
Vancouver. Estas diferencias en la interpretación
biomédicos caracterizaron al CIBN (p <0,001)
fueron observadas también por Howard y
y al IBA (p <0,01) y lo contrario al IIC (p <0,01)
Wilkinson, quienes investigaron la asociación
y los Departamentos Académicos (p <0,001), tal
entre evaluaciones de revisores y decisiones edi-
como se observa en la Tabla 4.
toriales en el British Journal of Psychiatry. Asi-
mismo, los citados autores hallaron que reviso-
res y editores tienden a coincidir en aquellos ar-
DISCUSIÓN tículos que claramente no son aceptables para
Limitaciones del estudio. En primer lugar, publicación, pero el acuerdo fue menor en aque-
los resultados no pueden ser generalizados a la llos que fueron evaluados como aceptables (21).
totalidad de las publicaciones de los investigado-
res de la Facultad de Medicina, porque sólo con-
sideran aquellos registrados en el RAIS; y, en Tabla 4.- Tipo de estudios por institución.
segundo lugar, los evaluadores fueron pocos para
la heterogeneidad de la producción científica. Institución Biomédico Clínico Epidemiológico p
(n=98) (n=79) (n=114)
Calidad. Nuestro hallazgo, de que 71,2% de
los estudios fue evaluado como bueno y exce- CIBN 28,6 1,3 0,9 ***
lente en cuanto a cumplimiento de las normas IBA 9,2 5,1 0,0 **
de Vancouver, estaría en relación con la cali- IIC 7,1 21,5 24,5 **
dad de la revisión editorial de las revistas. Se IMT 32,7 21,5 35,1 ns
asume que uno de los objetivos de la revisión IP 12,2 12,7 7,0 ns
editorial es mejorar la calidad del manuscrito DA 10,2 38,0 32,5 ***
entre su presentación y publicación. Al respec-
to, Wager y Middleton llevaron a cabo una re- Centro de Investigación de Bioquímica y Nutrición (CIBN);
Instituto de Biología Andina (IA); Instituto de Investiga-
visión sistemática de 11 estudios sobre efectos
ciones Clínicas (IIC); Instituto de Medicina Tropical (IMT);
de las correcciones técnicas en revistas médi- Instituto de Patología (IP); Departamentos Académicos
cas, y hallaron asociación entre este proceso y (DA). ns no significativo; ** p <0,01; *** p <0,001 (Sogi
mejora en la amenidad del estilo y la calidad de y cols, 2002).
117
Anales de la Facultad de Medicina Vol. 64, Nº 2 - 2003
118