Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
Puntos clave
199
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
8.1 Introduccin
El grado en el cual una revisin Cochrane puede establecer conclusiones acerca de los efectos
de una intervencin depende de si los datos y resultados de los estudios incluidos son vlidos.
En particular, un metanlisis de estudios no vlidos puede producir resultados errneos con
un intervalo de confianza estrecho alrededor de la estimacin errnea del efecto de la
intervencin. Por lo tanto, la evaluacin de la validez de los estudios incluidos es un
componente fundamental de una revisin Cochrane y debera influir en el anlisis, la
interpretacin y las conclusiones de la revisin.
Se puede considerar que la validez de un estudio tiene dos dimensiones. La primera
dimensin es si el estudio formula la pregunta de investigacin apropiada, lo que a menudo
se describe como validez externa, y su evaluacin depende del objetivo para el cual se va a
utilizar el estudio. La validez externa est ntimamente conectada con la generalizabilidad o la
aplicabilidad de los hallazgos de un estudio, y se aborda en el Captulo 12.
La segunda dimensin de la validez de un estudio se relaciona con el hecho de si el mismo
responde a su pregunta de investigacin correctamente, es decir, de una manera libre de
sesgo, lo que a menudo se describe como validez interna y que es el aspecto de la validez
que se abordar en este captulo. Como la mayora de las revisiones Cochrane se centran en
ensayos aleatorizados, esta parte se centrar en cmo evaluar la validez de este tipo de
estudios. El Captulo 13 aborda otros aspectos de la evaluacin de los estudios no
aleatorizados, y el Captulo 14 incluye consideraciones adicionales para los efectos adversos.
Las evaluaciones de la validez interna se citan frecuentemente como evaluaciones de la
calidad metodolgica o evaluacin de la calidad. Sin embargo, se evitar el trmino calidad
por motivos que se explican ms adelante. En la siguiente seccin se define sesgo y se
distingue de los conceptos relacionados de error al azar y calidad.
8.2 Qu es sesgo?
8.2.1 Sesgo y riesgo de sesgo
Un sesgo es un error sistemtico, o una desviacin de la verdad, en los resultados o
inferencias. Los sesgos pueden intervenir en cualquier direccin: sesgos diferentes pueden
dar lugar a la subestimacin o la sobrestimacin del verdadero efecto de la intervencin. Los
sesgos pueden variar en cuanto a magnitud: algunos son pequeos (y triviales comparados
con el efecto observado) y algunos son significativos (de manera que un hallazgo evidente se
puede deber completamente a un sesgo). Incluso una fuente especfica de sesgo puede variar
en su direccin: el sesgo debido a un determinado defecto del diseo (p.ej. falta de ocultacin
de la asignacin) puede dar lugar a la subestimacin de un efecto en un estudio, y por otra
parte a la sobrestimacin en otro estudio. Habitualmente no es posible conocer hasta qu
grado los sesgos han afectado los resultados de un estudio concreto, aunque existe evidencia
emprica de buena calidad de que defectos especficos en el diseo, la realizacin y el anlisis
de los ensayos clnicos aleatorizados dan lugar a sesgo (ver Seccin). Es ms apropiado
considerar el riesgo de sesgo debido a que los resultados de un estudio pueden de hecho
no estar sesgados a pesar de los defectos metodolgicos.
Las diferencias en los riesgos de sesgo pueden ayudar a explicar la variacin en los resultados
de los estudios incluidos en una revisin sistemtica (es decir, pueden explicar la
heterogeneidad de los resultados). Es ms probable que los estudios ms rigurosos produzcan
resultados que estn ms cerca de la verdad. El metanlisis de los resultados de estudios de
validez variable pueden dar lugar a conclusiones positivas falsas (que concluyen
errneamente que una intervencin es efectiva) si los estudios menos rigurosos estn
sesgados hacia la sobrestimacin del efecto de una intervencin. Dichos estudios tambin
pueden dar lugar a conclusiones negativas falsas (que concluyen errneamente que una
200
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
intervencin no tiene efecto) si los estudios menos rigurosos estn sesgados hacia la
subestimacin del efecto de una intervencin (Detsky 1992).
Es importante evaluar el riesgo de sesgo en todos los estudios de una revisin
independientemente de la variabilidad anticipada en los resultados o la validez de los estudios
incluidos. Por ejemplo, los resultados pueden ser consistentes entre los estudios pero todos
los estudios pueden presentar defectos. En este caso, las conclusiones de la revisin no
deberan ser tan slidas como las de una serie de estudios rigurosos que producen resultados
consistentes acerca del efecto de una intervencin. En una revisin Cochrane el proceso de
evaluacin se describe como la evaluacin del riesgo de sesgo en los estudios incluidos. En la
Seccin 8.5 se describe una herramienta que se ha desarrollado e implementado en RevMan
para este fin. El resto de este captulo proporciona la justificacin para esta herramienta, y
explica cmo se deberan resumir e incorporar en el anlisis las evaluaciones del sesgo
(Secciones 8.6 a 8.8). Las secciones 8.9 a 8.14 proporcionan consideraciones bsicas para
ayudar a los revisores a utilizar la herramienta.
El sesgo no se debera confundir con la imprecisin. El sesgo se refiere al error sistemtico,
lo que significa que mltiples replicaciones del mismo estudio lograran como promedio una
respuesta errnea. La imprecisin se refiere al error aleatorio, lo que significa que mltiples
replicaciones del estudio producirn diferentes estimaciones del efecto debido a la variacin
de la muestra, incluso si como promedio produjeran la respuesta correcta. Los resultados de
los estudios ms pequeos estn sujetos a una mayor variacin de la muestra, por lo que son
menos precisos. La imprecisin se refleja en los intervalos de confianza alrededor de la
estimacin del efecto de la intervencin de cada estudio y en la ponderacin dada a los
resultados de cada estudio en un metanlisis. A los resultados ms precisos se les da una
mayor ponderacin.
8.2.2 Riesgo de sesgo y calidad
El sesgo se puede diferenciar de la calidad. La frase evaluacin de la calidad metodolgica
se ha utilizado ampliamente en el contexto de los mtodos de las revisiones sistemticas para
referirse a la evaluacin critica de los estudios incluidos. El trmino indica una investigacin
del grado en el cual los autores del estudio realizaron su investigacin con los estndares ms
altos posibles. Este Manual hace una distincin entre la evaluacin de la calidad metodolgica
y la evaluacin del riesgo de sesgo, y recomienda centrarse en la ltima. Los motivos para
esta distincin incluyen:
1. La consideracin clave en una revisin Cochrane es el grado en el cual se debera creer en
los resultados de los estudios incluidos. La evaluacin del riesgo de sesgo se dirige
directamente a esta interrogante.
2. Es posible realizar un estudio con los estndares ms altos posibles y que an tenga un
riesgo de sesgo importante. Por ejemplo, en muchas situaciones no es prctico ni posible
cegar a los participantes o al personal del estudio al grupo de intervencin. Es inapropiado
y subjetivo describir todos estos estudios como de calidad deficiente, pero no significa
que estn libres del sesgo derivado del conocimiento del estado de la intervencin.
3. Es poco probable que algunos marcadores de calidad en la investigacin mdica como la
obtencin de la aprobacin tica, realizar un clculo del tamao de muestra y presentar
un estudio segn la Declaracin CONSORT (Moher 2001c), tengan implicaciones directas
para el riesgo de sesgo.
4. El nfasis en el riesgo de sesgo resuelve la ambigedad entre la calidad de la publicacin
y la calidad de la investigacin subyacente (aunque no sortea el problema de tener que
confiar en las publicaciones para evaluar la investigacin subyacente).
A pesar de estas inquietudes acerca del trmino calidad, el trmino calidad de la evidencia
se utiliza en las tablas Resumen de los hallazgos en las revisiones Cochrane para describir el
grado en el cual es posible confiar en que una estimacin del efecto est cerca del verdadero
valor de un resultado entre los estudios, como se describe en el Captulo 11 (Seccin 11.5) y
201
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
en el Captulo 12 (Seccin 12.2). El riesgo de sesgo en los resultados de cada estudio que
contribuye a una estimacin del efecto es uno de los mltiples factores que se deberan
considerar cuando se valora la calidad del cuerpo de la evidencia, como se define en este
contexto.
8.2.3 Establecer la evidencia emprica de la presencia de sesgos
Los sesgos asociados con las caractersticas especficas de los estudios se pueden examinar
mediante una tcnica conocida a menudo como metaepidemiologa (Naylor 1997, Sterne
2002). Un estudio metaepidemiolgico analiza una coleccin de metanlisis, en cada uno de
los cuales los estudios que lo constituyen se han clasificado segn algunas caractersticas a
nivel de estudio. Un antiguo ejemplo fue el estudio de ensayos clnicos con desenlaces
dicotmicos incluidos en los metanlisis de la Base de Datos del Grupo Cochrane de Embarazo
y Parto (Cochrane Pregnancy and Childbirth Database) (Schulz 1995b). Este estudio demostr
que los ensayos en los cuales la aleatorizacin no se ocult o no se describi adecuadamente
produjeron estimaciones exageradas del efecto de la intervencin, comparados con los
ensayos que describieron una ocultacin adecuada, y encontr una asociacin similar (pero
ms pequea) para los ensayos que no se describieron como doble ciego.
Un anlisis sencillo de un estudio metaepidemiolgico es calcular el cociente de odds ratios
dentro de cada metanlisis (por ejemplo, los odds ratios de la intervencin en los ensayos con
ocultacin inadecuada/incierta de la asignacin divididos por los odds ratio de los ensayos con
ocultacin adecuada de la asignacin). Estos cocientes de odds ratios luego se combinan
entre los metanlisis en un metanlisis. Por lo tanto, dichos anlisis tambin se conocen como
meta-metanlisis. En las secciones posteriores de este captulo se cita evidencia emprica de
sesgo a partir de los estudios metaepidemiolgicos, cuando estn disponibles, como parte del
fundamento para evaluar cada dominio de posible sesgo.
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
(Berlin 1997, Kjaergard 2001). Las evaluaciones ciegas consumen mucho tiempo y es posible
que no se puedan realizar cuando los estudios son bien conocidos por los revisores, y no
todos los dominios del sesgo se pueden evaluar independientemente de los datos del
desenlace. Adems, el conocimiento de quin realiz un estudio permite en algunas ocasiones
hacer suposiciones razonables acerca de cmo se realiz el estudio (aunque el revisor debera
describir tales suposiciones). Los revisores deberan sopesar los beneficios potenciales contra
los costes que conlleva cuando se decide cegar o no la evaluacin de cierta informacin en las
publicaciones de los estudios.
Los revisores con diferentes niveles de formacin metodolgica y experiencia pueden
identificar diferentes fuentes de evidencia y hacer valoraciones diferentes acerca del riesgo de
sesgo. Aunque los expertos en las reas de contenido pueden tener opiniones preformadas
que pueden influir en sus evaluaciones (Oxman 1993), pueden, no obstante, proporcionar
evaluaciones ms consistentes de la validez de los estudios que las personas sin experiencia
en el contenido (Jadad 1996). Los expertos en contenido pueden tener ideas valiosas sobre la
magnitud de los sesgos y los metodlogos experimentados pueden tener ideas valiosas de
sesgos potenciales que en un inicio no son evidentes. Es conveniente que los revisores
incluyan a expertos en contenido y metodlogos y aseguren que todos tengan una
comprensin adecuada de los aspectos metodolgicos relevantes.
A menudo los intentos de evaluar el sesgo se ven obstaculizados por la notificacin
incompleta de lo que sucedi durante la realizacin del estudio. Una opcin para obtener la
informacin faltante es establecer contacto con los investigadores de los estudios.
Desafortunadamente los autores de contacto de las publicaciones de los ensayos pueden
brindar respuestas exageradamente positivas. En una encuesta a 104 autores de ensayos, en
la que se utilizaron preguntas directas acerca del cegamiento del personal del ensayo con
categoras especificadas, el 43% respondi que los analistas de los datos en sus ensayos
doble ciego estaban cegados, y el 19% respondi que quienes redactaron el texto estaban
cegados (Haahr 2006). Esto es poco probable que sea cierto, ya que tales procedimientos se
describieron en solamente el 3% y el 0% de los artculos publicados correspondientes, y se
describen con muy poca frecuencia en otras publicaciones de ensayos.
Para reducir el riesgo de respuestas exageradamente positivas, los revisores deberan utilizar
preguntas con respuesta abierta cuando les solicitan a los autores informacin acerca del
diseo y la realizacin del estudio. Por ejemplo, para obtener informacin acerca del
cegamiento pudiera ser apropiado una solicitud de la siguiente manera: Por favor, describa
todas las medidas utilizadas, si hubo alguna, para asegurar el cegamiento de los participantes
del ensayo y del personal clave del ensayo, con respecto al conocimiento de qu intervencin
haba recibido un participante. Para obtener informacin acerca del proceso de
aleatorizacin, podra ser apropiada una solicitud as: Cmo decidi usted qu tratamiento
recibira el siguiente participante? Luego se pueden formular preguntas ms especficas para
aclarar las dudas restantes.
204
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
205
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
Sesgo de
seleccin.
Sesgo de
realizacin.
Descripcin
Dominios relevantes en la
herramienta de la
Colaboracin Riesgo de
sesgo
Diferencias sistemticas entre las
Generacin de la
caractersticas iniciales de los grupos que se
secuencia.
comparan.
Ocultacin de la
asignacin.
Diferencias sistemticas entre los grupos en
Cegamiento de los
cuanto a la atencin que se proporciona, o en participantes y del personal.
la exposicin a factores diferentes de la
Otras amenazas
intervencin de inters.
potenciales a la validez.
Sesgo de
deteccin.
Sesgo de
desgaste.
Sesgo de
notificacin.
Cegamiento de los
evaluadores de resultado.
Otras amenazas
potenciales a la validez.
Datos de resultado
incompletos.
Notificacin selectiva de
los resultados (ver tambin
Captulo 10).
206
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
Esta seccin describe el enfoque recomendado para evaluar el riesgo de sesgo en los estudios
incluidos en las revisiones Cochrane. Es una herramienta en dos partes que aborda los seis
dominios especficos discutidos en las Secciones 8.9 a 8.14 (a saber, generacin de la
secuencia, ocultacin de la asignacin, cegamiento, datos de resultado incompletos,
notificacin selectiva de los resultados y otros aspectos). La herramienta se resume en la
Tabla 8.5.a. Cabe destacar que la herramienta se revis a finales de 2010 despus de un
proyecto de evaluacin. Los cambios realizados en aquel momento se resumen en la Table
8.5.b.
Cada dominio incluye uno o ms tems especficos en una tabla de Riesgo de sesgo. Dentro
de cada tem, la primera parte de la herramienta incluye la descripcin de qu se describi
que sucedi en el estudio. La segunda parte de la herramienta incluye la asignacin de una
valoracin con relacin al riesgo de sesgo para ese tem. Esto se logra al asignar una
valoracin de Bajo riesgo de sesgo, Alto riesgo de sesgo o Riesgo poco claro de sesgo.
Los dominios generacin de la secuencia, ocultacin de la asignacin y notificacin selectiva
de los resultados se deberan abordar en la herramienta con un tem nico para cada estudio.
Para el cegamiento y para los datos de resultado incompletos es posible utilizar dos o ms
tems porque generalmente es necesario realizar evaluaciones por separado para cada
resultado (o para el mismo resultado en diferentes puntos temporales). Los revisores
deberan tratar de limitar el nmero de tems utilizados agrupando los resultados, por
ejemplo, como resultados subjetivos u objetivos a los fines de la evaluacin del
cegamiento; o como notificado por el paciente a los seis meses o notificado por el paciente
a los 12 meses para los datos de resultado incompletos. Se aplicar el mismo agrupamiento
de los resultados a cada estudio de la revisin. El dominio final (otras fuentes de sesgo) se
puede evaluar como un tem nico para los estudios como un todo (por defecto en RevMan).
Sin embargo, se recomienda que se utilicen mltiples tems preespecificados para abordar
otros riesgos especficos de sesgo. Dichos tems especificados por el autor pueden ser para
estudios como un todo o para resultados individuales (o agrupados) dentro de cada estudio.
207
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
Descripcin
Ocultamiento de la
asignacin.
Sesgo de realizacin.
Cegamiento de los
participantes y del
personal Se debera
evaluar cada resultado
principal (o cada clase de
resultado).
Sesgo de deteccin.
Cegamiento de los
evaluadores del
resultado Se debera
evaluar cada resultado
principal (o cada clase de
resultado).
Sesgo de desgaste.
Datos de resultado
incompletos Se debera
evaluar cada resultado
principal (o cada clase de
resultado).
Sesgo
de
realizacin
a
causa
del
conocimiento por parte de los participantes
y del personal durante el estudio de las
intervenciones asignadas.
Sesgo
de
deteccin
a
causa
del
conocimiento por parte de los evaluadores
de los resultados de las intervenciones
asignadas.
Sesgo de notificacin.
208
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
Notificacin selectiva de
los resultados. Se debera
evaluar cada resultado
principal (o cada clase de
resultado).
Otros sesgos.
Otras fuentes de sesgo.
la
no
209
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
210
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
Generacin de la
secuencia.
Generacin de la
secuencia.
8.5.3 La evaluacin
61B
Las evaluaciones de los revisores deberan clasificarse en Bajo riesgo de sesgo, Alto riesgo
de sesgo y Riesgo poco claro de sesgo. Las evaluaciones deberan considerar el riesgo del
sesgo material en lugar de cualquier sesgo. Se define el riesgo material como cualquier
sesgo de magnitud suficiente para tener un impacto notable en los resultados o en las
conclusiones del ensayo, reconociendo que la subjetividad est involucrada en cada
valoracin.
La Tabla 8.5.d proporciona los criterios para realizar las evaluaciones acerca del riesgo de
sesgo de cada uno de los seis dominios de la herramienta. Si no se describen detalles
suficientes acerca de qu sucedi en el estudio, habitualmente se evaluar como riesgo de
sesgo Poco claro. Tambin se debera evaluar como Poco claro si se conoce lo que sucedi
en el estudio pero se desconoce el riesgo de sesgo; o si el tem disponible no es relevante
para el estudio (especialmente para evaluar el cegamiento y los datos de resultado
incompletos, en los que el resultado que se evala mediante el tem no se midi en el
estudio).
211
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
212
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
nmeros aleatorios);
Se utilizaron sobres de asignacin sin una proteccin adecuada (p.ej.
si los sobres no estaban cerrados, no eran oscuros ni estaban
numerados de forma secuencial);
Alternancia o rotacin;
Fecha de nacimiento;
Nmero de historia clnica;
Cualquier otro procedimiento explcitamente no ocultado.
Criterios para una No hubo informacin suficiente para permitir una evaluacin de Bajo
evaluacin de
riesgo o Alto riesgo. ste es habitualmente el caso si el mtodo de
Riesgo poco claro ocultacin no se describe o no se describe con detalle suficiente para
de sesgo
permitir una evaluacin definitiva, por ejemplo, si se describe el uso de
sobres de asignacin, pero es incierto si los sobres eran oscuros y
estaban numerados de forma secuencial y cerrados.
CEGAMIENTO DE LOS PARTICIPANTES Y DEL PERSONAL
Sesgo de realizacin a causa del conocimiento de las intervenciones asignadas
por parte de los participantes y del personal durante el estudio.
Criterios para una Cualquiera de los siguientes:
evaluacin de Bajo Ningn cegamiento, pero los revisores consideran que no es probable
riesgo de sesgo
que el resultado est influido por la falta de cegamiento;
Se asegur el cegamiento de los participantes y el personal clave del
estudio, y es poco probable que se haya roto el cegamiento.
Criterios para una Cualquiera de los siguientes:
evaluacin de Alto Ningn cegamiento o cegamiento incompleto, y es probable que el
riesgo de sesgo
resultado y la medicin del resultado estn influidos por la falta de
cegamiento;
Se intent el cegamiento de los participantes y el personal clave del
estudio, pero es probable que se haya roto el cegamiento.
Criterios para una Cualquiera de los siguientes:
evaluacin de
No hubo informacin suficiente para permitir una evaluacin de Bajo
Riesgo poco claro
riesgo o Alto riesgo.
de sesgo
El estudio no abord este resultado.
213
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
naturaleza o su manejo.
Criterios para una Cualquiera de los siguientes:
evaluacin de Bajo No hay datos de resultado faltantes;
riesgo de sesgo
Es poco probable que los motivos causantes de los datos de resultado
faltantes se relacionen con el resultado verdadero (para los datos de
supervivencia, es poco probable que la censura de los datos haya
introducido sesgo);
Datos de resultado faltantes equilibrados con respecto a los nmeros
entre los grupos de intervencin, con motivos similares para los datos
de resultado faltantes entre los grupos;
Para los datos de resultado dicotmicos, la proporcin de resultados
faltantes comparados con el riesgo de evento observado no es
suficiente para tener una repercusin clnicamente importante sobre
la estimacin del efecto de la intervencin;
Para los datos de resultado continuos, el posible tamao del efecto
(diferencia de medias o diferencia de medias estandarizada) entre los
resultados faltantes no es suficiente para tener una repercusin
clnicamente relevante sobre el tamao del efecto observado;
Los datos faltantes se imputaron mediante mtodos apropiados.
Criterios para una Cualquiera de los siguientes:
evaluacin de Alto Es probable que las razones que causan los datos faltantes estn
riesgo de sesgo
relacionados con el resultado verdadero, con desequilibrio en los
nmeros o en los motivos para los datos faltantes entre los grupos de
intervencin;
Para los datos de resultado dicotmicos, la proporcin de resultados
faltantes comparados con el riesgo de evento observado es suficiente
para inducir un sesgo clnicamente relevante en la estimacin del
efecto de la intervencin;
Para los datos de resultado continuos, el posible tamao del efecto
(diferencia de medias o diferencia de medias estandarizada) entre los
resultados faltantes es suficiente para inducir un sesgo clnicamente
relevante en el tamao del efecto observado;
214
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
Criterios para una Hay al menos un riesgo importante de sesgo. Por ejemplo, el estudio:
evaluacin de Alto Tiene una fuente potencial de sesgo relacionada con el diseo
riesgo de sesgo
especfico utilizado en el estudio; o
Tuvo un desequilibrio inicial extremo; o
Se ha sealado la presencia de fraude; o
Tiene algn otro problema.
Criterios para una Puede haber riesgo de sesgo, pero no hay:
evaluacin de
Informacin suficiente para evaluar si existe un riesgo importante de
Riesgo poco claro
sesgo; o
de sesgo
Justificacin o pruebas suficientes de que un problema identificado
introducir sesgo.
215
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
Ocultacin de la
asignacin (sesgo de
seleccin)
Cegamiento de los
participantes y del
personal (sesgo de
realizacin)
Cegamiento de los
evaluadores (sesgo de
deteccin) (resultados
notificados por el
paciente)
216
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
Cegamiento de los
evaluadores (sesgo de
deteccin) (mortalidad)
Manejo de los datos de
resultado incompletos
(sesgo de desgaste)
(resultados a corto plazo)
[2 a 6 semanas]
Manejo de los datos de
resultado incompletos
(sesgo de desgaste)
(resultados a ms largo
plazo) [> 6 semanas]
Notificacin selectiva
(sesgo de notificacin)
Alto riesgo
Alto riesgo
217
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
14B
218
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
Evidencia emprica de sesgo: Las Secciones 8.5 a 8.15 resumen la evidencia emprica
de la asociacin entre los dominios como la ocultacin de la asignacin y el cegamiento y las
estimaciones de la magnitud del efecto. Sin embargo, la base de la evidencia an es
incompleta.
Magnitud probable del sesgo: La magnitud probable del sesgo asociado con cualquier
dominio puede variar. Por ejemplo, es probable que la magnitud del sesgo asociado con el
cegamiento inadecuado de los participantes sea mayor para los desenlaces ms subjetivos. La
base de la evidencia emprica puede proporcionar cierta indicacin sobre la probable magnitud
del sesgo (ver anteriormente), pero todava no proporciona informacin clara sobre las
situaciones particulares en las cuales los sesgos pueden ser grandes o pequeos. Sin
embargo, es posible considerar la magnitud probable del sesgo con relacin a la estimacin
de la magnitud del efecto. Por ejemplo, la ocultacin inadecuada de la secuencia de
asignacin y una estimacin pequea del efecto podra reducir significativamente la confianza
en la estimacin, mientras que es posible que las deficiencias menores en cmo se abordaron
los datos de resultado incompletos no reduzcan de manera significativa la confianza en una
estimacin grande del efecto.
La evaluacin resumen del riesgo de sesgo se puede considerar en cuatro niveles:
Resumen del riesgo de sesgo para una revisin en general (de estudios y
desenlaces): Podra ser tentador resumir el riesgo general de sesgo de una revisin, pero se
debera evitar por dos motivos. Primero, esto requiere juicios de valor acerca de qu
desenlaces son fundamentales para una decisin, por lo que stos se deberan incluir en esta
evaluacin. Con frecuencia no hay datos disponibles de los estudios incluidos en una revisin
para algunos desenlaces que pueden ser fundamentales, como los efectos adversos, y en muy
219
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
pocas ocasiones el riesgo de sesgo es el mismo para todos los desenlaces fundamentales para
dicha evaluacin. En segundo lugar, las evaluaciones acerca de qu desenlaces son
fundamentales para una decisin pueden variar de mbito a mbito debido a diferencias en
los valores y a diferencias en otros factores como el riesgo inicial. Por lo tanto, las
evaluaciones acerca de la evidencia de riesgo de sesgo general entre los estudios y los
desenlaces se deberan realizar en un contexto especfico, por ejemplo, en el contexto de las
guas de prctica clnica y no en el contexto de revisiones sistemticas que tienen como
objetivo informar decisiones en una variedad de mbitos.
Los revisores deberan hacer evaluaciones explicitas acerca del riesgo de sesgo para los
desenlaces importantes dentro y entre los estudios. Esto requiere identificar los dominios ms
importantes (dominios clave) que se incluyen en estas evaluaciones resumen. La Tabla
8.7.a proporciona un posible enfoque para hacer evaluaciones resumen del riesgo de sesgo
para desenlaces importantes dentro y entre los estudios.
Tabla 8.7.a: Posible enfoque para las evaluaciones resumen del riesgo de sesgo
para cada desenlace importante (entre los dominios) dentro y entre los estudios
Riesgo de
sesgo
Bajo riesgo de
sesgo.
Riesgo de sesgo
poco claro.
Alto riesgo de
sesgo.
15B
62B
Interpretacin
Sesgo plausible,
poco probable
que altere
significativamente
los resultados.
Sesgo plausible
que hace surgir
algunas dudas
acerca de los
resultados.
Sesgo plausible
que debilita
seriamente la
confianza en los
resultados.
Dentro de un
estudio
Bajo riesgo de
sesgo para todos
los dominios
clave.
Riesgo de sesgo
poco claro para
uno o ms
dominios clave.
La mayor parte de la
informacin proviene de
estudios con riesgo de
sesgo bajo o poco claro.
Alto riesgo de
sesgo para uno o
ms dominios
clave.
La proporcin de la
informacin que proviene
de estudios con alto riesgo
de sesgo es suficiente para
afectar la interpretacin de
los resultados.
La mayor parte de la
informacin proviene de
estudios con bajo riesgo de
sesgo
220
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
63B
89B
En la discusin que sigue se har referencia a las comparaciones de los resultados segn los
dominios de sesgo individuales. Sin embargo, dichas comparaciones tambin se pueden
realizar segn el riesgo de sesgo resumido a nivel del estudio (ver Seccin 8.7).
Los grficos de la estimacin del efecto de la intervencin (p.ej. grficos de bosque)
estratificados segn el riesgo de sesgo pueden ser una manera til de comenzar a examinar
la posibilidad de que el sesgo afecte los resultados del metanlisis. Los grficos de bosque
ordenados segn las evaluaciones de cada tem del Riesgo de sesgo estn disponibles en
RevMan 5. Dichos grficos proporcionan una impresin visual de las contribuciones relativas
de los estudios con riesgo bajo, poco claro o alto de sesgo, as como del grado de las
diferencias en las estimaciones del efecto de la intervencin entre los estudios con riesgo de
sesgo bajo, poco claro o alto. Habitualmente ser apropiado limitar dichos grficos de bosque
a los dominios de sesgo claves (ver Seccin 8.7).
8.8.2.2 Estudios evaluados como riesgo poco claro de sesgo
Los estudios se evalan como riesgo poco claro de sesgo cuando hay muy pocos detalles
disponibles para evaluarlos como de alto o bajo riesgo; cuando el riesgo de sesgo
verdaderamente se desconoce a pesar de que exista informacin suficiente acerca de la
realizacin, o cuando un tem no es relevante para un estudio (por ejemplo, debido a que el
estudio no menciona ninguno de los desenlaces en el grupo de desenlaces a los cuales se
aplica el tem). Cuando el primer motivo es el principal, es razonable suponer que el sesgo
promedio en los resultados de dichos estudios evaluados ser menor que en los estudios con
alto riesgo de sesgo, ya que cuando se realizaron algunos estudios evaluados como poco
claro, de hecho se habra evitado el sesgo. La evidencia limitada a partir de estudios
empricos que examinaron las categoras alto e poco claro por separado lo confirma. Por
ejemplo, el estudio de Schulz y cols. encontr que los odds ratios para la intervencin se
exageraron en un 41% en los ensayos con ocultacin inadecuada (alto riesgo de sesgo) y en
un 30% en los ensayos con ocultacin poco clara (riesgo poco claro de sesgo) (Schulz
1995b). Sin embargo, la mayora de los estudios empricos han combinado las categoras
alto e poco claro, que se compararon luego con la categora bajo.
Se recomienda que los revisores no combinen estudios con riesgo de sesgo bajo e poco
claro en los anlisis, a menos que proporcionen motivos especficos para creer que es
probable que estos estudios se hayan realizado de forma que se evit el sesgo. En el resto de
esta seccin se asumir que los estudios evaluados como bajo riesgo de sesgo se tratarn
como una categora separada.
90B
221
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
En general, los estudios con riesgo de sesgo alto o poco claro deberan tener una ponderacin
reducida en los metanlisis, comparados con los estudios con bajo riesgo de sesgo
(Spiegelhalter 2003). Sin embargo, los mtodos estadsticos formales para combinar los
resultados de los estudios con riesgo alto y bajo de sesgo no estn suficientemente bien
desarrollados como para poder recomendar actualmente su uso en las revisiones Cochrane
(ver Seccin 8.8.4.2). Por lo tanto, el enfoque principal para incorporar las evaluaciones del
riesgo de sesgo en las revisiones Cochrane es limitar los metanlisis a los estudios con
riesgo de sesgo bajo (o ms bajo) o bien estratificar los estudios segn su riesgo de sesgo.
8.8.3.1 Posibles estrategias de anlisis
Cuando los riesgos de sesgo varan entre los estudios en un metanlisis, hay tres estrategias
amplias disponibles para seleccionar qu resultado presentar como el hallazgo principal para
un determinado resultado (por ejemplo, para decidir qu resultado presentar en el resumen).
La estrategia planificada se debera describir en el protocolo de la revisin.
91B
1. Anlisis primario limitado a los estudios con riesgo de sesgo bajo (o bajo y
poco claro)
El primer enfoque implica definir un umbral basado en los dominios clave (ver Seccin 8.7),
de manera que slo los estudios que cumplan criterios especficos se incluyan en el anlisis
primario. El umbral se puede determinar mediante los criterios de elegibilidad originales de la
102B
222
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
103B
104B
223
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
65B
92B
Se han descrito mtodos para ponderar los estudios en el metanlisis segn su validez o el
riesgo de sesgo (Detsky 1992). El mtodo estadstico habitual para combinar los resultados
de mltiples estudios es ponderar los estudios segn la cantidad de informacin que
proporcionen (ms especficamente, mediante las varianzas inversas de sus estimaciones del
efecto). Esto da a los estudios con resultados ms precisos (intervalos de confianza ms
estrechos) una ponderacin mayor. Tambin es posible ponderar los estudios de forma
adicional segn la validez, de manera que los estudios ms vlidos tengan una mayor
influencia sobre el resultado resumen. Se puede utilizar una combinacin de las varianzas
inversas y las evaluaciones de la validez. La objecin principal a este enfoque es que requiere
un resumen numrico de la validez de cada estudio y que no hay evidencia emprica para
determinar cunta ponderacin asignarle a los diferentes dominios de sesgo. Adems, el
promedio ponderado resultante estar sesgado si alguno de los estudios est sesgado. Se
debera evitar la ponderacin directa de las estimaciones del efecto segn la validez o las
evaluaciones del riesgo de sesgo (Greenland 2001).
93B
16B
66B
224
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
67B
El uso de un componente aleatorio debera ser suficiente para una generacin adecuada de la
secuencia.
A la asignacin aleatoria sin limitaciones para generar una secuencia de asignacin se le llama
asignacin aleatoria simple o asignacin aleatoria sin limitaciones. En principio, la
misma se puede lograr al asignar las intervenciones mediante mtodos como el lanzamiento
225
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
226
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
podra dar lugar en principio a grupos similares, pero no as muchos otros mtodos
sistemticos de generacin de la secuencia. Por ejemplo, el da en el cual el paciente ingresa
en el hospital no depende solamente del azar.
Una debilidad importante de todos los mtodos sistemticos es que la ocultacin del esquema
de asignacin habitualmente es imposible, lo que permite el conocimiento previo de la
asignacin de la intervencin entre los que reclutan a los participantes en el estudio, as como
la asignacin sesgada (ver Seccin 8.10).
Ejemplo (de alto riesgo de sesgo): Los pacientes se asignaron al grupo de
intervencin segn la semana del mes.
Ejemplo (de alto riesgo de sesgo): Los pacientes nacidos en das pares se asignaron
al Tratamiento A y los pacientes nacidos en das impares se asignaron el
Tratamiento B.
96B
17B
68B
227
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
69B
228
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
conveniente. Los mtodos que utilizan sobres son ms susceptibles a la manipulacin que
otros enfoques (Schulz 1995b). Si los investigadores utilizan sobres, deberan desarrollar y
monitorizar el proceso de asignacin para mantener la ocultacin. Adems de utilizar sobres
cerrados, oscuros y numerados de forma secuencial, deberan asegurar que los sobres se
abran secuencialmente y slo despus de que el sobre se haya asignado de forma irreversible
al participante.
97B
229
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
18B
70B
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
El cegamiento puede ser imposible para al menos algunas personas (p.ej. la mayora de los
pacientes a los que se les realiza una ciruga). Sin embargo, dichos estudios pueden utilizar
otras medidas para reducir el riesgo de sesgo, como tratar a los pacientes segn un protocolo
estricto para reducir el riesgo de conductas diferenciales por los pacientes y los proveedores
de atencin sanitaria. El intento de cegar a los participantes y al personal no asegura un
cegamiento exitoso en la prctica. El cegamiento puede estar comprometido para la mayora
de las intervenciones. Para muchos ensayos farmacolgicos cegados, los efectos secundarios
de los frmacos pueden permitir detectar qu intervencin reciben algunos participantes, a
menos que el estudio compare dos intervenciones bastante similares, p.ej. frmacos con
efectos secundarios similares o utilicen un placebo activo (Boutron 2006).
En los estudios cegados, especialmente los ensayos controlados con placebo, pueden existir
inquietudes con respecto a si los participantes del estudio estaban verdaderamente cegados
(y algunas veces si tambin lo estaban quienes atendan a los pacientes). Numerosos grupos
han indicado que sera de inters solicitarles a los participantes al final del estudio que
adivinen qu tratamiento recibieron (Fergusson 2004, Rees 2005), y se han publicado algunas
revisiones de dichos informes (Fergusson 2004, Hrbjartsson 2007). La evidencia de aciertos
mayores del 50% parece indicar que el cegamiento puede haberse roto, pero de hecho puede
reflejar sencillamente la experiencia del paciente en el ensayo: un buen resultado o un efecto
secundario marcado, tendern a ser atribuidos con mayor frecuencia a un tratamiento activo,
y un resultado deficiente al placebo (Sackett 2007). Por lo tanto, es de esperar observar
alguna adivinacin exitosa cuando existen diferencias en la eficacia o los efectos adversos, y
ninguna cuando las intervenciones tienen efectos muy similares, incluso cuando se ha
preservado el cegamiento. Como consecuencia, los revisores deben considerar
cuidadosamente si toman en cuenta los hallazgos de este tipo de ejercicio.
231
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
71B
19B
72B
En un ensayo clnico es posible cegar a diferentes tipos de personas: ver Tabla 8.11.a. Los
dos primeros dominios de la herramienta que especficamente abordan el cegamiento se
focalizan en los participantes y el personal (proveedores sanitarios). Su falta de cegamiento
podra sesgar los resultados al afectar los resultados de los participantes en el ensayo. Esto
puede deberse a una falta de expectativas en el grupo control o bien a conductas diferenciales
en los grupos de intervencin (por ejemplo, prdidas diferenciales, distintos cruzamientos con
una intervencin alternativa o una administracin distinta de cointervenciones).
No se dispone de evidencia emprica del sesgo en relacin con la falta de cegamiento de los
participantes y del personal. No obstante, hay evidencia para los estudios descritos como
ciego o doble-ciego, que habitualmente incluye el cegamiento de uno o varios de este grup
de personas. En estudios empricos, se ha mostrado que la falta de cegamiento en ensayos
aleatorizados se asocia con un una estimacin del efecto de la intervencin ms exagerada,
como promedio en un 9%, medida como odds ratios (Pildal 2007). Estos estudios han
analizado varios resultados, algunos de los cuales son objetivos. Se ha observado que la
estimacin del efecto est ms sesgada, como promedio, en los ensayos con resultados ms
subjetivos (Wood 2008). La falta de cegamiento tambin pudiera provocar sesgo debido a
232
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
Los estudios a menudo describen el cegamiento en trminos amplios, como doble ciego. Este
trmino impide conocer quin estuvo cegado (Schulz 2002a). Adems estos trminos se
utilizan de manera inconsistente (Devereaux 2001, Boutron 2005, Haahr 2006), y la
frecuencia de la descripcin explcita del cegamiento de los participantes y del personal sigue
siendo baja incluso en los ensayos publicado en las revistas de alto impacto (Montori 2002), a
pesar de las recomendaciones de la declaracin CONSORT (Moher 2001a). Una revisin de los
mtodos utilizados para el cegamiento destaca la variedad de mtodos utilizados en la
prctica (Boutron 2006). Las siguientes consideraciones pueden ayudar a los revisores a
evaluar si es probable que el cegamiento utilizado en un estudio fue suficiente para protegerlo
contra el sesgo, cuando se utiliza la herramienta de la Colaboracin (Seccin 8.5).
Cuando se considera el riesgo de sesgo debido a la falta de cegamiento de la evaluacin de
los resultados es importante considerar especficamente:
1. quin evala el resultado;
2. el riesgo de sesgo en la evaluacin del resultado (teniendo en cuenta cun subjetivo u
objetivo es un resultado).
Los evaluadores de algunos resultados pueden estar cegados, mientras que los evaluadores
de otros resultados, no. Por ejemplo, en un ensayo quirrgico en el que los pacientes conocen
su propia intervencin, los resultados notificados por el paciente (como por ejemplo, la
calidad de vida) se recopilaran bajo el conocimiento de la intervencin recibida, mientras que
otros resultados, medidos por un clnico independiente podran ser cegados (como la
capacidad fisica). Es ms, el riesgo de sesgo puede ser alto para algunos resultados y bajo
para otros, incluso si la misma persona no estaba cegada para el estudio. Por ejemplo, el
conocimiento de la intervencin asignada puede impactar en los resultados notificados por el
233
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
paciente (como el nivel de dolor), pero no impactar en otros resultados como la mortalidad.
En muchas circunstancias la evaluacin de la mortalidad total se puede considerar no sesgada
incluso si los evaluadores conocan las asignaciones de las intervenciones. Por lo tanto, la
valoracin del riesgo de sesgo resultante de la falta de cegamiento puede ser necesario
realizarla de forma separada de los otros resultados.
En lugar de valorar el riesgo de sesgo para cada resultado de forma separada, a menudo es
conveniente agrupar resultados con riesgo de sesgo similares (ver Seccin 8.5) Por ejemplo,
puede haber una valoracin comn del riesgo de sesgo para todos los resultados subjetivos,
que es diferente de una valoracin comn del cegamiento para todos los resultados objetivos.
20B
74B
234
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
75B
El riesgo de sesgo que surge de los datos de desenlace incompletos depende de numerosos
factores, que incluyen la cantidad y la distribucin entre los grupos de intervencin, los
motivos para que haya desenlaces faltantes, las diferencias probables en el desenlace entre
los participantes con y sin datos, lo que hicieron los autores del estudio para tratar el
problema en sus anlisis, y el contexto clnico. Por lo tanto, no es posible formular una regla
simple para evaluar si un estudio tiene un riesgo bajo o alto de sesgo. Las siguientes
consideraciones pueden ayudar a los revisores a evaluar si los datos de desenlace
235
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
incompletos se pueden tratar de una forma que proteja contra el sesgo, cuando se utiliza la
herramienta de la Colaboracin (Seccin 8.5).
A menudo se supone que una alta proporcin de desenlaces faltantes, o una diferencia grande
en las proporciones entre los grupos de intervencin, es la causa principal de las inquietudes
acerca del sesgo. Sin embargo, estas caractersticas por s mismas no son suficientes para
introducir sesgo. En esta seccin se elaboran situaciones en las cuales se puede evaluar si un
anlisis tiene un riesgo bajo o alto de sesgo. Es fundamental considerar los motivos de los
desenlaces faltantes, as como los nmeros faltantes.
98B
Para concluir que no hay datos de desenlace faltantes, los revisores deberan estar seguros de
que los participantes incluidos en el anlisis son exactamente los que se asignaron
aleatoriamente en el ensayo. Si los nmeros asignados aleatoriamente a cada grupo de
intervencin no se describen claramente, el riesgo de sesgo es poco claro. Como se seala
anteriormente, no siempre es necesario considerar que los participantes asignados
aleatoriamente, pero que posteriormente se consider que no eran elegibles, tienen datos de
desenlace faltantes.
Ejemplo (de bajo riesgo de sesgo): Todos los participantes completaron el estudio
y no hubo prdidas durante el seguimiento, no hubo cambios en los grupos del
ensayo y no hubo eventos adversos importantes.
105B
Es poco probable que la decisin de una persona sana de mudarse lejos de la localidad
geogrfica de un ensayo clnico est conectada con su desenlace posterior. Para los estudios
con una duracin prolongada del seguimiento algunos abandonos por estos motivos son
inevitables.
Para los estudios que describen datos de tiempo hasta el evento todos los participantes que
no presentaron el evento de inters se consideran censurados en la fecha de su ltimo
seguimiento (no se conoce si el evento desenlace ocurri despus de que termin el
seguimiento). La consideracin importante para este tipo de anlisis es si se puede suponer
que esta censura no est sesgada, es decir, que el efecto de la intervencin (p.ej. evaluado
mediante un ndice de riesgo) en individuos censurados antes del final planificado del
seguimiento es el mismo que el cociente de riesgos instantneos en otros individuos. En otras
palabras, no hay sesgo si la censura no se relaciona con el pronstico.
Si hay datos de resultado faltantes en ambos grupos de intervencin, pero los motivos para
los mismos se detallan y estn equilibrados entre los grupos, entonces no es de esperar que
exista sesgo a menos de que los motivos tengan implicaciones diferentes en los grupos
comparados. Por ejemplo, negarse a participar puede significar no estar dispuesto a hacer
ejercicios en un grupo de ejercicio, mientras que negarse podra implicar insatisfaccin con la
recomendacin de no hacer ejercicios en el otro grupo. En la prctica, la notificacin
incompleta de los motivos de los desenlaces faltantes puede impedir que los revisores hagan
esta evaluacin.
106B
Posible repercusin de los datos faltantes sobre las estimaciones del efecto
236
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
los cuales el 90% de los individuos son observados, y el cociente de riesgos entre estos 900
participantes observados es 1. Adems, en ambos ensayos se supone que los participantes
faltantes del grupo de intervencin tienen un alto riesgo de presentar el evento (80%) y los
del grupo control tienen un riesgo mucho menor (20%). La nica diferencia entre los ensayos
A y B es el riesgo entre los participantes observados. En el ensayo A el riesgo es del 50% y la
repercusin de los datos faltantes, si se hubieran observado, es baja. En el ensayo B el riesgo
es del 10% y la repercusin de los mismos datos faltantes, si se hubieran observado, es
grande. Generalmente cuanto mayor es la proporcin de participantes con datos faltantes con
respecto a la de los participantes con eventos, mayor es la posibilidad de sesgo. En el ensayo
A esta proporcin fue 100/450 (0.2), mientras que en el ensayo B fue 100/90 (1.1).
237
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
Ensayo A
Intervencin
Control
Nmero
aleatorizado
Riesgo
entre
los observados
Datos
observados
Riesgos
extremos
hipotticos
entre
los
participantes faltantes
Datos
faltantes
Datos
completos
Razn
de
riesgo
basada en todos los
participantes
500
500
50%
50%
225/450
225/450
80%
20%
40/50
10/50
265/500
235/500
1,13
500
500
10%
10%
45/450
45/450
80%
20%
40/50
10/50
85/500
55/500
1,55
Ensayo B
Intervencin
Control
La posible repercusin de los desenlaces continuos faltantes aumenta con la proporcin de participantes con datos faltantes. Tambin
es necesario considerar el posible efecto de la intervencin entre los participantes con resultados faltantes. La tabla siguiente ilustra la
repercusin de las proporciones diferentes de desenlaces faltantes. A y B representan dos ensayos hipotticos de 1000 participantes en
los cuales la diferencia en la respuesta media entre la intervencin y el control entre los participantes observados es 0. Adems, en
ambos ensayos se supone que los participantes faltantes en el brazo intervencin tienen una media mayor y los del brazo control tienen
una media menor. La nica diferencia entre los ensayos A y B es el nmero de participantes faltantes. En el ensayo A el 90% de los
participantes son observados y el 10% son faltantes, y la repercusin de los datos faltantes sobre la diferencia de medias observada es
baja. En el ensayo B la mitad de los participantes son faltantes y la repercusin de los mismos datos faltantes sobre la diferencia de
medias observada es grande.
Ensayo A
Intervencin
Control
Ensayo B
Intervencin
Control
Nmero
aleatorizado
Nmero
observado
Media
observada
Nmeros
faltantes
Media
extrema
hipottica entre los
participantes faltantes
Media
general
(promedio
ponderado)
Diferencia de medias
basada en todos los
participantes
500
500
450
450
10
10
50
50
15
5
10.5
9,5
500
500
250
250
250
250
15
5
12.5
7,5
10
10
238
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
99B
107B
Los participantes elegibles se deberan analizar en los grupos a los cuales se asignaron
aleatoriamente, con independencia de la intervencin que en realidad recibieron. Por lo tanto,
en un estudio que compare ciruga con radioterapia para el tratamiento del cncer de prstata
localizado, los pacientes que rechacen la ciruga y seleccionen la radioterapia despus de la
asignacin aleatoria se deberan incluir en el grupo de ciruga para el anlisis. Esto se debe a
que la propensin de los participantes a cambiar de grupo puede estar relacionada con el
pronstico, y en ese caso el intercambio entre los grupos de intervencin introduce un sesgo
de seleccin. Aunque este hecho tiene que ver especficamente con un anlisis inapropiado y
no con datos de desenlace incompletos, los estudios en los cuales se describi el anlisis
como se trat se deberan clasificar como alto riesgo de sesgo debido a datos de desenlace
incompletos, a menos de que el nmero de intercambios sea demasiado pequeo para que
represente diferencias importantes en la estimacin del efecto de la intervencin.
Un enfoque igualmente inapropiado para el anlisis de un estudio es enfocarse solamente en
los participantes que cumplieron con el protocolo. Un ejemplo ilustrativo lo proporciona un
ensayo de un frmaco para disminuir los lpidos, el clofibrato (Coronary Drug Protect
Research Gropu 1980). La mortalidad a los cinco aos en 1103 hombres asignados a
239
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
clofibrato fue del 20,0% y en 2789 hombres asignados a placebo fue del 20,9% (p = 0,55).
Los que cumplieron de forma adecuada con el protocolo en el grupo clofibrato tuvieron una
menor mortalidad a los cinco aos (15,0%) que los que no lo hicieron (24,6%). Sin embargo,
se observ una diferencia similar entre buenos cumplidores y cumplidores deficientes en
el grupo placebo (15,1% frente a 28,3%). Por lo tanto, el cumplimiento fue un marcador
pronstico en lugar de un modificador del efecto del clofibrato. Estos hallazgos muestran una
grave dificultad al evaluar la eficacia de la intervencin en los subgrupos por medio de las
respuestas de los pacientes a las intervenciones. Debido a que no recibir la intervencin
puede ser ms informativo que la no disponibilidad de los datos de desenlace, existe un alto
riesgo de sesgo en los anlisis limitados a los cumplidores, incluso con tasas bajas de datos
incompletos.
8.13.2.3 Intentos
imputacin
100B
de
solucionar
los
datos
faltantes
en
las
publicaciones:
Un enfoque frecuente pero potencialmente peligroso para tratar los datos de desenlace
faltantes es imputar los resultados y tratarlos como si fueran mediciones reales (ver tambin
Captulo 16, Seccin 16). Por ejemplo, los individuos con datos de desenlaces faltantes
podran asignarse al desenlace medio para su grupo de intervencin, o al xito o al fracaso
del tratamiento. Dichos procedimientos pueden dar lugar a un sesgo grave y a intervalos de
confianza demasiado estrechos. Una variante de esto, cuya validez es ms difcil de evaluar,
es el uso de la ltima observacin realizada (UOR). Aqu se asume la medida de desenlace
ms recientemente observada para todos los momentos posteriores a las evaluaciones de
desenlace (Lachin 2000, Unnebrink 2001). Los procedimientos de la UOR tambin pueden dar
lugar a sesgos graves. Por ejemplo, en un ensayo de un frmaco para una afeccin
degenerativa como la enfermedad de Alzheimer el abandono puede estar relacionado con los
efectos secundarios del frmaco. Como los resultados tienden a deteriorarse con el tiempo, el
uso de la UOR sesgar la estimacin del efecto a favor del frmaco. Por el contrario, el uso de
la UOR podra ser apropiado si la mayora de las personas para las cuales se utiliza este
mtodo en el anlisis de los desenlaces tienen una medicin real relativamente reciente.
Existen muchas publicaciones sobre los mtodos estadsticos para tratar los datos faltantes de
una forma vlida (ver Captulo 16, Seccin 16.1). Hay relativamente pocas aplicaciones
prcticas de estos mtodos en los ensayos clnicos (Wood 2004). Se recomienda asesora
estadstica si los revisores tienen que utilizarlos. Un buen punto de partida para aprender
sobre sto es www.missingdata.org.uk.
21B
76B
240
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
241
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
77B
242
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
Hasta el momento los mtodos estadsticos para detectar la notificacin selectiva dentro del
estudio no estn bien desarrollados. Sin embargo, hay otras formas de detectar dicho sesgo
aunque es probable que una evaluacin cuidadosa necesite un trabajo intenso. Si el protocolo
est disponible es posible comparar los desenlaces del protocolo y de la publicacin. De no ser
as, entonces los desenlaces enumerados en la seccin Mtodos de un artculo se pueden
comparar con los de la seccin en la que se describen los resultados. Si se mencionan los
resultados no significativos pero no se detallan de forma adecuada, es probable que exista un
sesgo en el metanlisis. Tambin se puede solicitar informacin adicional a los autores del
estudio, aunque se debera tener en cuenta que dicha informacin podra ser poco fiable
(Chan 2004a).
Algunas diferencias entre el protocolo y la publicacin se pueden explicar por cambios
admisibles que se han hecho al protocolo. Aunque dichos cambios se deberan detallar en las
publicaciones, ninguno de los 150 estudios en las dos muestras de Chan y cols. lo hizo (Chan
2004a, Chanb).
Los revisores deberan buscar de forma intensiva la evidencia de que los autores de los
estudios obtuvieron un escaso nmero de los desenlaces clave que habitualmente se miden
en el rea de inters, y comunicar qu estudios describen datos sobre ellos y cules no. Los
revisores deberan considerar los motivos de por qu podra haber datos faltantes para un
metanlisis (Williamson 2005b). Los mtodos para buscar esta evidencia no estn bien
establecidos, pero aqu se describen algunas estrategias posibles.
Un primer paso til es construir una matriz que indique qu resultados se registraron en qu
estudio, por ejemplo, con filas para los estudios y columnas para los desenlaces. Tambin se
puede indicar la notificacin completa y la incompleta. Esta matriz mostrar a los revisores
qu estudios no describieron los desenlaces presentados por la mayora de los otros estudios.
PubMed, otras importantes bases de datos de referencias e Internet se deberan explorar en
busca de un protocolo del estudio; en pocas ocasiones se proporciona la direccin en la web
de la publicacin de un estudio. Alternativamente, y ms a menudo en el futuro ya que ser
ms frecuente el registro obligatorio de los ensayos, puede estar disponible en un registro de
ensayos una descripcin detallada del mismo. Los resmenes de las presentaciones
relacionadas con el estudio pueden contener informacin acerca de desenlaces que no se
mencionan posteriormente en las publicaciones. Adems, los revisores deberan examinar
cuidadosamente la seccin Mtodos de los artculos publicados en busca de detalles de los
resultados que se evaluaron.
Es de particular inters la informacin faltante que al parecer es seguro que se registr. Por
ejemplo, es de esperar que algunas mediciones aparezcan juntas, como la presin sistlica y
diastlica, por lo que uno se preguntara por qu se describe una sola. Un ejemplo alternativo
es un estudio que presenta la proporcin de participantes cuyo cambio en una variable
continua excedi cierto umbral; los investigadores deberan haber tenido acceso a los datos
brutos y por lo tanto pueden haber mostrado los resultados como medias y desviaciones
estndar de los cambios. Williamson y cols. dan numerosos ejemplos, incluida una revisin
Cochrane en la cual nueve ensayos documentaron el desenlace fracaso del tratamiento pero
slo cinco notificaron sobre mortalidad. Incluso la mortalidad fue parte de la definicin de
fracaso del tratamiento, por lo que los datos deberan haberse obtenido en los cuatro ensayos
faltantes del anlisis de mortalidad. El sesgo se sospech por la marcada diferencia en los
resultados para fracaso del tratamiento para los ensayos con o sin notificacin por separado
de la mortalidad (Williamson 2005a).
Cuando existe sospecha o evidencia directa de la notificacin selectiva de los desenlaces, es
conveniente solicitar a los autores del estudio informacin adicional. Por ejemplo, se les
puede solicitar a los autores que proporcionen el protocolo del estudio y la informacin
completa sobre los desenlaces que no se documentaron de forma adecuada. Adems, para los
243
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
22B
23B
244
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
incorrecto; y (v) comparabilidad de los resultados con los de los ensayos de grupos paralelos.
Estos problemas se discuten en detalle en el Captulo 16 (Secciones 16.3 y 16.4). El riesgo de
sesgo en los estudios con ms de dos grupos de intervencin tambin se discute en el
Captulo 16 (Seccin 16.5).
8.15.1.2 Desequilibrio inicial
El desequilibrio inicial en los factores que se relacionan firmemente con las medidas de
resultado puede provocar sesgo en la estimacin del efecto de la intervencin. Esto puede
suceder slo por azar, pero el desequilibrio tambin puede surgir a partir de la asignacin no
aleatoria (no oculta) de las intervenciones. Algunas veces los autores pueden excluir algunos
individuos asignados al azar, lo que provoca desequilibrio en las caractersticas de los
participantes en los diferentes grupos de intervencin. La generacin de la secuencia, la falta
de ocultacin de la asignacin o la exclusin de participantes se deberan abordar mediante
tems especficos para estos problemas en la herramienta. Se debera sealar si se observa
otro desequilibrio inicial inexplicable, suficiente para dar lugar a una exageracin importante
en los efectos. Las pruebas de desequilibrio inicial no tienen valor en los ensayos
verdaderamente aleatorizados, pero valores de p muy pequeos pudieran indicar sesgo en la
asignacin de la intervencin.
Ejemplo (de alto riesgo de sesgo): Un ensayo de captopril versus un
antihipertensivo convencional tuvo desequilibrios pequeos pero altamente
significativos en la talla, el peso, la PA sistlica y diastlica: p = 10-4 a 10-18
(Hansson 1999). Dicho desequilibrio indica fracaso de la asignacin al azar (que se
realiz mediante sobres cerrados) en algunos centros (Peto 1999).
8.15.1.3 Asignacin en bloques en ensayos no cegados
Algunas combinaciones de mtodos para la generacin de la secuencia, la ocultacin de la
asignacin y el cegamiento actan juntas para crear un riesgo de seleccin en la asignacin a
las intervenciones. Una combinacin especfica es el uso de la asignacin aleatoria en bloques
en un ensayo no cegado, o en un ensayo cegado en el que se rompe el cegamiento, por
ejemplo debido a los efectos secundarios caractersticos. Cuando se utiliza la asignacin en
bloques, y cuando las asignaciones se revelan posteriormente a la persona responsable del
reclutamiento en el ensayo, algunas veces es posible predecir las asignaciones siguientes.
Esto es especialmente el caso cuando los bloques tienen un tamao fijo y no se dividen entre
los mltiples centros de reclutamiento. Esta capacidad de predecir las asignaciones siguientes
puede ocurrir incluso si la ocultacin de la asignacin es adecuada segn los criterios
indicados en la Tabla 8.5.d (Berger 2005).
8.15.1.4 Actividad diagnstica diferencial
Las evaluaciones de resultado pueden estar sesgadas a pesar del cegamiento efectivo. En
particular, el aumento de la actividad diagnstica puede dar lugar a un aumento del
diagnstico de casos de enfermedad verdaderos pero asintomticos. Por ejemplo, muchas
ulceras gstricas no dan sntomas y no tienen relevancia clnica, pero estos casos se pueden
detectar con ms frecuencia por gastroscopia en pacientes que reciben un frmaco que
provoca molestias gstricas inespecficas que por lo tanto provocan ms gastroscopias. De
manera similar, si un frmaco provoca diarrea, pudiera causar ms exmenes rectales
digitales y, por lo tanto, tambin un aumento de la deteccin de casos de cncer prosttico
asintomticos. Obviamente, la evaluacin de los efectos beneficiosos tambin puede estar
sesgada mediante el mismo mecanismo. Asimismo, las intervenciones pueden dar lugar a una
actividad diagnstica diferencial, por ejemplo, si la intervencin experimental es la visita de
una enfermera al domicilio del paciente, y la intervencin control es ninguna visita.
245
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
101B
La siguiente lista de otras posibles fuentes de sesgo en un estudio clnico puede ayudar a
detectar problemas adicionales:
La realizacin del estudio est afectada por los resultados intermedios (p.ej. el
reclutamiento adicional de participantes de un subgrupo que muestra ms beneficios).
Existe una desviacin del protocolo del estudio en una manera que no refleja la prctica
clnica (p.ej. aumento gradual post hoc de la dosis hasta niveles exagerados).
Existe la administracin previa a la asignacin al azar de una intervencin que pudiera
mejorar o disminuir el efecto de una intervencin aleatoria posterior.
Administracin inapropiada de una intervencin (o cointervencin).
Contaminacin (p.ej. participantes combinando frmacos).
Aparicin de sesgo nulo debido a intervenciones que no se administran suficientemente
bien o criterios de inclusin demasiado amplios para los participantes (Woods 1995).
Se utiliza un instrumento que no tiene la sensibilidad para medir los resultados (lo cual
puede dar lugar a la sobrestimacin de los efectos beneficiosos y perjudiciales).
Notificacin selectiva de subgrupos.
Fraude.
La influencia inapropiada de los financiadores (p.ej. en un estudio emprico, ms de la mitad
de los protocolos de los ensayos iniciados por la industria sealaron que el patrocinador era el
propietario de los datos o deba aprobar el texto, o ambos; ninguna de estas limitaciones se
seal en las publicaciones de los ensayos (Gtzsche 2006).Es importante que la informacin
sobre los intereses particulares se recoja y presente cuando sea relevante. Sin embargo, los
revisores deberan proporcionar esta informacin en la tabla de Caractersticas de los
estudios incluidos (ver Seccin 11.2.2). La tabla Riesgo de sesgo debera utilizarse para
evaluar aspectos especficos de metodologa que pudieran haber sido influenciados por los
intereses particulares y que podran conducir directamente al riesgo de sesgo. Cabe destacar
que algunas decisiones que pueden estar influenciadas por aquellos con un inters particular,
como el escoger una dosis especialmente baja de un frmaco comparador, deberan
abordarse como una fuente de heterogeneidad en lugar de utilizar la herramienta Riesgo de
sesgo, puesto que no impactan directamente en la validez interna de los resultados.
78B
Ms adelante se proporcionan algunas pautas para determinar los temas adecuados para las
evaluaciones de otras fuentes de sesgo. En particular, estos temas adecuados deberan
constituir fuentes potenciales de sesgo y no fuentes de imprecisin, fuentes de diversidad
(heterogeneidad) o medidas de calidad de la investigacin que no se relacionan con el sesgo.
Los temas tratados en este dominio de la herramienta incluyen principalmente los ejemplos
brindados en la Seccin 8.15.1. Sin embargo, ms all de estos aspectos especficos los
revisores deberan tener en cuenta aspectos especficos de los estudios que pueden hacer
surgir inquietudes acerca de la posibilidad de sesgo, y deberan formular consideraciones
acerca de ellos en este dominio de la herramienta. Las siguientes consideraciones pueden
ayudar a los revisores a evaluar si un estudio est libre de otras fuentes de sesgo cuando
utilicen la herramienta de la Colaboracin (Seccin 8.5).
De ser posible, un protocolo de revisin debera preespecificar cualquier interrogante a
abordar, lo cual dara lugar a tems separados en la tabla Riesgo de sesgo. Por ejemplo, si
los ensayos cruzados son el diseo de estudio habitual para la interrogante que se va a
abordar en la revisin, entonces es necesario formular por adelantado preguntas especficas
relacionadas con el sesgo en los estudios cruzados.
Los aspectos incluidos en la herramienta para el riesgo de sesgo deberan ser una fuente
potencial de sesgo, y no slo una causa de imprecisin (ver Seccin 8.2), lo cual se aplica a
aspectos evaluados en el dominio Otras fuentes de sesgo. Una fuente potencial de sesgo
246
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
debera ser capaz de cambiar la magnitud de la estimacin del efecto, mientras que las
fuentes de imprecisin afectan solamente a la incertidumbre de la estimacin (es decir, su
intervalo de confianza). Los posibles factores que afectan la precisin de una estimacin
incluyen la variabilidad tecnolgica (p.ej. el error de medicin) y la variabilidad del
observador.
Como la herramienta aborda solamente los sesgos internos, cualquier aspecto cubierto por
este dominio debera ser una fuente potencial de sesgo interno y no una fuente de diversidad.
Las posibles causas de diversidad incluyen las diferencias en la dosis del frmaco, la duracin
del seguimiento y las caractersticas de los participantes (p.ej. edad, estadio de la
enfermedad). Los estudios pueden seleccionar dosis que favorecen el frmaco experimental
con respecto al frmaco control. Por ejemplo, a menudo los frmacos ms antiguos se
sobredosifican (Safer 2002) o se pueden administrar en circunstancias claramente subptimas
que no reflejan la prctica clnica (Johansen 2000, Jrgensen 2007). Alternativamente, es
posible que los pacientes se recluten de forma selectiva para su inclusin en un estudio sobre
la base de una respuesta previamente demostrada a la intervencin experimental. Es
importante que estas selecciones sesgadas se aborden en las revisiones Cochrane. Aunque es
posible que no se hayan incluido en la herramienta Riesgo de sesgo descrita en el presente
Captulo, se pueden haber abordado en algunas ocasiones en el anlisis (p.ej. por anlisis de
subgrupos y metarregresin) y se deberan considerar en la clasificacin e interpretacin de la
evidencia en una tabla de Resumen de los hallazgos (ver Captulos 11 y 12).
Es posible realizar muchas evaluaciones acerca del diseo y la realizacin de un ensayo
clnico, pero no todas se asocian con el sesgo. Las medidas de calidad solas a menudo se
asocian firmemente con aspectos que pudieran introducir sesgo. Sin embargo, los revisores
se deberan centrar en los mecanismos que dan lugar a sesgo en lugar de los descriptores de
los estudios que reflejan solamente la calidad. Algunos ejemplos de indicadores de calidad
que no se deberan evaluar dentro de este dominio incluyen los criterios relacionados con la
aplicabilidad, generalizabilidad o la validez externa (incluidos los sealados
anteriormente), los criterios relacionados con la precisin (p.ej. tamao de muestra o uso de
un clculo del tamao de muestra [poder estadstico]), estndares para su publicacin, y
criterios ticos (p.ej. si el estudio tuvo la aprobacin tica o los participantes dieron su
consentimiento informado). Estos factores pueden ser importantes y se presentarn en la
tabla Caractersticas de los estudios incluidos o en Tablas adicionales (ver Captulo 11).
Finalmente, para evitar el doble recuento, las fuentes potenciales de sesgo no se deberan
incluir como sesgo de otras fuentes si se incluyen de forma ms apropiada en los dominios
anteriores de la herramienta. Por ejemplo, en la enfermedad de Alzheimer los pacientes se
deterioran significativamente con el tiempo durante el ensayo. Generalmente los efectos del
tratamiento son pequeos y los tratamientos tienen una marcada toxicidad. Es muy difcil
tratar de forma satisfactoria las prdidas de participantes. Es probable que los que reciben el
tratamiento abandonen ms temprano debido a efectos adversos o muerte, y por lo tanto las
mediciones en estas personas tienden a ser ms tempranas en el estudio y favorecern la
intervencin. A menudo es difcil monitorizar de forma continua estos participantes para
realizar un anlisis de todos los participantes asignados al azar. Este aspecto, aunque pudiera
parecer inicialmente una causa de sesgo especfica del tema, sera ms apropiado incluirlo en
Datos de resultado incompletos.
24B
Editores: Julian PT Higgins, Douglas G Altman y Jonathan AC Sterne del Grupo Cochrane de
Mtodos Estadsticos y del Grupo Cochrane de Mtodos de Sesgo.
La versin en ingls de este captulo debera citarse como: Higgins JPT, Altman DG,
Sterne JAC (editors). Chapter 8: Assessing risk of bias in included studies. In: Higgins JPT,
Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0
247
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
(updated March 2011). The Cochrane Collaboration, 2011. Available from www.cochranehandbook.org.
Autores que contribuyeron: Doug Altman, Gerd Antes, Peter Gtzsche, Julian Higgins,
Peter Jni, Steff Lewis, David Moher, Andy Oxman, Ken Schulz, Jonathan Sterne y Simon
Thompson.
Agradecimientos: El material de este captulo fue desarrollado por un grupo de trabajo
constituido por Doug Altman (codirector), Gerd Antes, Chris Cates, Mike Clarke, Jon Deeks,
Peter Gtzsche, Julian Higgins (codirector), Sally Hopewell, Peter Jni (grupo principal), Steff
Lewis, Philippa Middleton, David Moher (grupo principal), Andy Oxman, Ken Schulz (grupo
principal), Nandi Siegfried, Jonathan Sterne y Simon Thompson. La revisin de la herramienta
realizada en 2010 surgi de un proyecto de evaluacin que involucr a Doug Altman (grupo
principal), Elaine Beller, Sally Bell-Syer, Isabelle Boutron, Chris Cates, Rachel Churchill, June
Cody, Jonathan Cook, Christian Gluud, Julian Higgins (grupo principal), Sally Hopewell, Hayley
Jones, Peter Jni, Monica Kjeldstrm, Toby Lasserson, Allyson Lipp, Lara Maxwell, Joanne
McKenzie, David Moher (grupo principal), Craig Ramsey, Barney Reeves, Jelena Savovi
(codirector), Jonathan Sterne (codirector), David Tovey, Lucy Turner and Laura Weeks (grupo
principal). Se agradece a Hilda Bastian, Rachelle Buchbinder, Iain Chalmers, Miranda
Cumpston, Sally Green, Peter Herbison, Victor Montori, Hannah Rothstein, Georgia Salanti,
Guido Schwarzer, Ian Shrier, Jayne Tierney, Ian White y Paula Williamson por sus tiles
comentarios. Para detalles del Grupo Cochrane de Mtodos Estadsticos, ver Captulo 9
(Recuadro 9.8.a), y para el Grupo Cochrane de Mtodos de Sesgo, ver Captulo 10 (Recuadro
10.5.a).
25B
8.17 Referencias
Als-Nielsen 2004
Als-Nielsen B, Gluud LL, Gluud C. Methodological quality and treatment effects in randomized
trials: a review of six empirical studies. 12th Cochrane Colloquium, Ottawa (Canada), 2004.
Altman 1999
Altman DG, Bland JM. How to randomize. BMJ 1999; 319: 703-704.
Balk 2002
Balk EM, Bonis PAL, Moskowitz H, Schmid CH, Ioannidis JPA, Wang C, Lau J. Correlation of
quality measures with estimates of treatment effect in meta-analyses of randomized
controlled trials. JAMA 2002; 287: 2973-2982.
Bellomo 2000
Bellomo R, Chapman M, Finfer S, Hickling K, Myburgh J. Low-dose dopamine in patients with
early renal dysfunction: a placebo-controlled randomised trial. Australian and New Zealand
Intensive Care Society (ANZICS) Clinical Trials Group. The Lancet 2000; 356: 2139-2143.
Berger 2003
Berger VW, Ivanova A, Knoll MD. Minimizing predictability while retaining balance through the
use of less restrictive randomization procedures. Statistics in Medicine 2003; 22: 3017-3028.
Berger 2005
Berger VW. Quantifying the magnitude of baseline covariate imbalances resulting from
selection bias in randomized clinical trials. Biometrical Journal 2005; 47: 119-127.
Berlin 1997
Berlin JA. Does blinding of readers affect the results of meta-analyses? University of
Pennsylvania Meta-analysis Blinding Study Group. The Lancet 1997; 350: 185-186.
248
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
Boutron 2005
Boutron I, Estellat C, Ravaud P. A review of blinding in randomized controlled trials found
results inconsistent and questionable. Journal of Clinical Epidemiology 2005; 58: 1220-1226.
Boutron 2006
Boutron I, Estellat C, Guittet L, Dechartres A, Sackett DL, Hrbjartsson A, Ravaud P. Methods
of blinding in reports of randomized controlled trials assessing pharmacologic treatments: a
systematic review. PLOS Medicine 2006; 3: 1931-1939.
Brightling 2000
Brightling CE, Monteiro W, Ward R, Parker D, Morgan MD, Wardlaw AJ, Pavord ID. Sputum
eosinophilia and short-term response to prednisolone in chronic obstructive pulmonary
disease: a randomised controlled trial. The Lancet 2000; 356: 1480-1485.
Brown 2005
Brown S, Thorpe H, Hawkins K, Brown J. Minimization: reducing predictability for multi-centre
trials whilst retaining balance within centre. Statistics in Medicine 2005; 24: 3715-3727.
Chan 2004a
Chan AW, Hrbjartsson A, Haahr MT, Gtzsche PC, Altman DG. Empirical evidence for
selective reporting of outcomes in randomized trials: comparison of protocols to published
articles. JAMA 2004; 291: 2457-2465.
Chan 2004b
Chan AW, Krlea-Jeric K, Schmid I, Altman DG. Outcome reporting bias in randomized trials
funded by the Canadian Institutes of Health Research. Canadian Medical Association Journal
2004; 171: 735-740.
Chan 2005
Chan AW, Altman DG. Identifying outcome reporting bias in randomised trials on PubMed:
review of publications and survey of authors. BMJ 2005; 330: 753.
Coronary Drug Project Research Group 1980
Coronary Drug Project Research Group. Influence of adherence to treatment and response of
cholesterol on mortality in the coronary drug project. New England Journal of Medicine 1980;
303: 1038-1041.
Cuellar 2000
Cuellar GEM, Ruiz AM, Monsalve MCR, Berber A. Six-month treatment of obesity with
sibutramine 15 mg; a double-blind, placebo-controlled monocenter clinical trial in a Hispanic
population. Obesity Research 2000; 8: 71-82.
de Gaetano 2001
de Gaetano G. Low-dose aspirin and vitamin E in people at cardiovascular risk: a randomised
trial in general practice. Collaborative Group of the Primary Prevention Project. The Lancet
2001; 357: 89-95.
Detsky 1992
Detsky AS, Naylor CD, O'Rourke K, McGeer AJ, L'Abbe KA. Incorporating variations in the
quality of individual randomized trials into meta-analysis. Journal of Clinical Epidemiology
1992; 45: 255-265.
Devereaux 2001
Devereaux PJ, Manns BJ, Ghali WA, Quan H, Lacchetti C, Montori VM, Bhandari M, Guyatt GH.
Physician interpretations and textbook definitions of blinding terminology in randomized
controlled trials. JAMA 2001; 285: 2000-2003.
249
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
Emerson 1990
Emerson JD, Burdick E, Hoaglin DC, Mosteller F, Chalmers TC. An empirical study of the
possible relation of treatment differences to quality scores in controlled randomized clinical
trials. Controlled Clinical Trials 1990; 11: 339-352.
Fergusson 2002
Fergusson D, Aaron SD, Guyatt G, Hbert P. Post-randomisation exclusions: the intention to
treat principle and excluding patients from analysis. BMJ 2002; 325: 652-654.
Fergusson 2004
Fergusson D, Glass KC, Waring D, Shapiro S. Turning a blind eye: the success of blinding
reported in a random sample of randomised, placebo controlled trials. BMJ 2004; 328: 432.
Furukawa 2007
Furukawa TA, Watanabe N, Omori IM, Montori VM, Guyatt GH. Association between
unreported outcomes and effect size estimates in Cochrane meta-analyses. JAMA 2007; 297:
468-470.
Ghersi 2006
Ghersi D, Clarke M, Simes J. Selective reporting of the primary outcomes of clinical trials: a
follow-up study. 14th Cochrane Colloquium, Dublin (Ireland), 2006.
Gtzsche 1996
Gtzsche PC. Blinding during data analysis and writing of manuscripts. Controlled Clinical
Trials 1996; 17: 285-290.
Gtzsche 2006
Gtzsche PC, Hrbjartsson A, Johansen HK, Haahr MT, Altman DG, Chan AW. Constraints on
publication rights in industry-initiated clinical trials. JAMA 2006; 295: 1645-1646.
Gtzsche 2007
Gtzsche PC, Hrbjartsson A, Maric K, Tendal B. Data extraction errors in meta-analyses that
use standardized mean differences. JAMA 2007; 298: 430-437.
Greenland 2001
Greenland S, O'Rourke K. On the bias produced by quality scores in meta-analysis, and a
hierarchical view of proposed solutions. Biostatistics 2001; 2: 463-471.
Guyatt 2008
Guyatt GH, Oxman AD, Vist GE, Kunz R, Falck-Ytter Y, Alonso-Coello P, Schnemann HJ.
GRADE: an emerging consensus on rating quality of evidence and strength of
recommendations. BMJ 2008; 336: 924-926.
Haahr 2006
Haahr MT, Hrbjartsson A. Who is blinded in randomised clinical trials? A study of 200 trials
and a survey of authors. Clinical Trials 2006; 3: 360-365.
Hahn 2002
Hahn S, Williamson PR, Hutton JL. Investigation of within-study selective reporting in clinical
research: follow-up of applications submitted to a local research ethics committee. Journal of
Evaluation in Clinical Practice 2002; 8: 353-359.
Hansson 1999
Hansson L, Lindholm LH, Niskanen L, Lanke J, Hedner T, Niklason A, Luomanmaki K, Dahlof
B, de Faire U, Morlin C, Karlberg BE, Wester PO, Bjorck JE. Effect of angiotensin-converting-
250
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
251
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
Marshall 2000
Marshall M, Lockwood A, Bradley C, Adams C, Joy C, Fenton M. Unpublished rating scales: a
major source of bias in randomised controlled trials of treatments for schizophrenia. British
Journal of Psychiatry 2000; 176: 249-52.
Melander 2003
Melander H, Ahlqvist-Rastad J, Meijer G, Beermann B. Evidence b(i)ased medicine - selective
reporting from studies sponsored by pharmaceutical industry: review of studies in new drug
applications. BMJ 2003; 326: 1171-1173.
Moher 1995
Moher D, Jadad AR, Nichol G, Penman M, Tugwell P, Walsh S. Assessing the quality of
randomized controlled trials: An annotated bibliography of scales and checklists. Controlled
Clinical Trials 1995; 16: 62-73.
Moher 1996
Moher D, Jadad AR, Tugwell P. Assessing the quality of randomized controlled trials: Current
issues and future directions. International Journal of Technology Assessment in Health Care
1996; 12: 195-208.
Moher 1998
Moher D, Pham B, Jones A, Cook DJ, Jadad AR, Moher M, Tugwell P, Klassen TP. Does quality
of reports of randomised trials affect estimates of intervention efficacy reported in metaanalyses? The Lancet 1998; 352: 609-613.
Moher 2001
Moher D, Schulz KF, Altman DG. The CONSORT statement: revised recommendations for
improving the quality of reports of parallel-group randomised trials. The Lancet 2001; 357:
1191-1194.
Montori 2002
Montori VM, Bhandari M, Devereaux PJ, Manns BJ, Ghali WA, Guyatt GH. In the dark: the
reporting of blinding status in randomized controlled trials. Journal of Clinical Epidemiology
2002; 55: 787-790.
Naylor 1997
Naylor CD. Meta-analysis and the meta-epidemiology of clinical research. BMJ 1997; 315:
617-619.
Newell 1992
Newell DJ. Intention-to-treat analysis: implications for quantitative and qualitative research.
International Journal of Epidemiology 1992; 21: 837-841.
Noseworthy 1994
Noseworthy JH, Ebers GC, Vandervoort MK, Farquhar RE, Yetisir E, Roberts R. The impact of
blinding on the results of a randomized, placebo-controlled multiple sclerosis clinical trial.
Neurology 1994; 44: 16-20.
Oxman 1993
Oxman AD, Guyatt GH. The science of reviewing research. Annals of the New York Academy
of Sciences 1993; 703: 125-133.
Peto 1999
Peto R. Failure of randomisation by "sealed" envelope. The Lancet 1999; 354: 73.
252
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
Pildal 2007
Pildal J, Hrbjartsson A, Jrgensen KJ, Hilden J, Altman DG, Gtzsche PC. Impact of allocation
concealment on conclusions drawn from meta-analyses of randomized trials. International
Journal of Epidemiology 2007; 36: 847-857.
Porta 2007
Porta N, Bonet C, Cobo E. Discordance between reported intention-to-treat and per protocol
analyses. Journal of Clinical Epidemiology 2007; 60: 663-669.
Rees 2005
Rees JR, Wade TJ, Levy DA, Colford JM, Jr., Hilton JF. Changes in beliefs identify unblinding in
randomized controlled trials: a method to meet CONSORT guidelines. Contemporary Clinical
Trials 2005; 26: 25-37.
Sackett 2007
Sackett DL. Commentary: Measuring the success of blinding in RCTs: don't, must, can't or
needn't? International Journal of Epidemiology 2007; 36: 664-665.
Safer 2002
Safer DJ. Design and reporting modifications in industry-sponsored comparative
psychopharmacology trials. Journal of Nervous and Mental Disease 2002; 190: 583-592.
Schulz 1995a
Schulz KF. Subverting randomization in controlled trials. JAMA 1995; 274: 1456-1458.
Schulz 1995b
Schulz KF, Chalmers I, Hayes RJ, Altman DG. Empirical evidence of bias. Dimensions of
methodological quality associated with estimates of treatment effects in controlled trials.
JAMA 1995; 273: 408-412.
Schulz 1996
Schulz KF, Grimes DA, Altman DG, Hayes RJ. Blinding and exclusions after allocation in
randomised controlled trials: survey of published parallel group trials in obstetrics and
gynaecology. BMJ 1996; 312: 742-744.
Schulz 2002a
Schulz KF, Chalmers I, Altman DG. The landscape and lexicon of blinding in randomized trials.
Annals of Internal Medicine 2002; 136: 254-259.
Schulz 2002b
Schulz KF, Grimes DA. Allocation concealment in randomised trials: defending against
deciphering. The Lancet 2002; 359: 614-618.
Schulz 2002c
Schulz KF, Grimes DA. Generation of allocation sequences in randomised trials: chance, not
choice. The Lancet 2002; 359: 515-519.
Schulz 2002d
Schulz KF, Grimes DA. Unequal group sizes in randomised trials: guarding against guessing.
The Lancet 2002; 359: 966-970.
Schulz 2006
Schulz KF, Grimes DA. The Lancet Handbook of Essential Concepts in Clinical Research.
Edinburgh (UK): Elsevier, 2006.
253
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
Schulz 2010
Schulz KF, Altman DG, Moher D, CONSORT Group. CONSORT 2010 Statement: updated
guidelines for reporting parallel group randomised trials. BMJ 2010; 340: c332.
Senn 1991
Senn S. Baseline comparisons in randomized clinical trials. Statistics in Medicine 1991; 10:
1157-1159.
Siersma 2007
Siersma V, ls-Nielsen B, Chen W, Hilden J, Gluud LL, Gluud C. Multivariable modelling for
meta-epidemiological assessment of the association between trial quality and treatment
effects estimated in randomized clinical trials. Statistics in Medicine 2007; 26: 2745-2758.
Smilde 2001
Smilde TJ, van Wissen S, Wollersheim H, Trip MD, Kastelein JJ, Stalenhoef AF. Effect of
aggressive versus conventional lipid lowering on atherosclerosis progression in familial
hypercholesterolaemia (ASAP): a prospective, randomised, double-blind trial. The Lancet
2001; 357: 577-581.
Spiegelhalter 2003
Spiegelhalter DJ, Best NG. Bayesian approaches to multiple sources of evidence and
uncertainty in complex cost-effectiveness modelling. Statistics in Medicine 2003; 22: 36873709.
Sterne 2002
Sterne JA, Jni P, Schulz KF, Altman DG, Bartlett C, Egger M. Statistical methods for
assessing the influence of study characteristics on treatment effects in 'meta-epidemiological'
research. Statistics in Medicine 2002; 21: 1513-1524.
Tierney 2005
Tierney JF, Stewart LA. Investigating patient exclusion bias in meta-analysis. International
Journal of Epidemiology 2005; 34: 79-87.
Turner 2008
Turner RM, Spiegelhalter DJ, Smith GCS, Thompson SG. Bias modelling in evidence synthesis.
Journal of the Royal Statistical Society Series A 2008 (published online ahead of print, 8 July
2008).
Unnebrink 2001
Unnebrink K, Windeler J. Intention-to-treat: methods for dealing with missing values in
clinical trials of progressively deteriorating diseases. Statistics in Medicine 2001; 20: 39313946.
Vickers 2001
Vickers AJ. The use of percentage change from baseline as an outcome in a controlled trial is
statistically inefficient: a simulation study. BMC Medical Research Methodology 2001; 1: 6.
von Elm 2006
von Elm E, Rllin A, Blmle A, Senessie C, Low N, Egger M. Selective reporting of outcomes of
drug trials. Comparison of study protocols and pulbished articles. 14th Cochrane Colloquium,
Dublin (Ireland), 2006.
Williamson 2005a
Williamson PR, Gamble C. Identification and impact of outcome selection bias in metaanalysis. Statistics in Medicine 2005; 24: 1547-1561.
254
Manual Cochrane 5.1.0. / Parte 2: Mtodos generales para las revisiones Cochrane
Captulo 8: Evaluacin del riesgo de sesgo en los estudios incluidos
Williamson 2005b
Williamson PR, Gamble C, Altman DG, Hutton JL. Outcome selection bias in meta-analysis.
Statistical Methods in Medical Research 2005; 14: 515-524.
Wood 2004
Wood AM, White IR, Thompson SG. Are missing outcome data adequately handled? A review
of published randomized controlled trials in major medical journals. Clinical Trials 2004; 1:
368-376.
Wood 2008
Wood L, Egger M, Gluud LL, Schulz K, Jni P, Altman DG, Gluud C, Martin RM, Wood AJG,
Sterne JAC. Empirical evidence of bias in treatment effect estimates in controlled trials with
different interventions and outcomes: meta-epidemiological study. BMJ 2008; 336: 601-605.
Woods 1995
Woods KL. Mega-trials and management of acute myocardial infarction. The Lancet 1995;
346: 611-614.
255