ORGANIZANDO UNA ESTRETEGA DE REVISIN.

Un paso crucial en la revisin de las investigaciones, es el desarrollo de estrategias

orientadoras. Cinco temas se encuentran en el centro de prcticamente todas las revisiones:
1) Qu interrogante especfica intenta responder la revisin !) "a revisin es
e#ploratoria, o ms $ien est estructurada alrededor %iptesis especficas & compro$a$les
') Qu estudios de$eran incluirse () )ara *u po$lacin de$en ser generali+ado los
principales %alla+gos ,) -#isten diferencias importantes en la forma como se %an
reali+ado los estudios
PUNTO 1. FORMULANDO UNA PREGUNTA PRECISA.
-l primer paso es la organi+acin de una revisin es el de especificar su propsito.
Qu interrogante precisa intenta responder el e#aminador. Una gran cantidad de
revisiones de investigaciones carecen enteramente de esta direccin inicial. .tras empie+an
con una pregunta demasiado amplia, tal como: /Qu sa$emos acerca de un tratamiento
particular0. "as preguntas especficas *ue motivan una revisin de$eran orientar su
preparacin.
"as revisiones pueden responder muc%as preguntas diversas. -n nuestra e#periencia,
tres son las ms com1nmente reali+adas por cientficos o por los encargados de esta$lecer
una poltica:
Cul es el efecto, en promedio, de un tratamiento
2nde & con *uin es, particularmente, efectivo o inefectivo un tratamiento
3uncionar a*u este tratamiento Cules son las principales orientaciones para
implementar un tratamiento en un lugar especfico
ESTRUCTURANDO UNA REVISIN: UN MODELO FUNCIONAL SIMPLE.
Una manera de e#presar las preguntas *ue podran formularse en una revisin, es
ponindolas en forma funcional, tal como:
Y = f(T,X) E!!"!.
/40 representa un resultado de inters.
/50 representa un tratamiento de inters.
/60 representa caractersticas de participantes *ue pueden influir en los resultados de la
investigacin.
"a ecuacin funcional nos dice *ue el resultado de la investigacin, 4, depende de
am$os tratamientos, 5, & participantes, 6, ms error al a+ar. 6, 5, e 4 pueden variar a travs
de los estudios, incluso un estudio 1nico, en diferentes lugares. -s 1til, entonces, relacionar
4, 5 & 6 & su formato funcional a diferentes preguntas *ue motivan una revisin.
Cada una de estas preguntas de$era motivar una revisin investigativa. Cundo es
particularmente 1til cada una de ellas.
#CU$L ES EL EFECTO PROMEDIO DE UN TRATAMIENTO%.
"a respuesta *ue la investigacin podra dar a esta pregunta puede venir en
diferentes pasos. Un primer paso podra ser revisar los estudios e#istentes para estimar un
resultado glo$al promedio. 5al revisin tendra como resultado: /-n promedio, la
investigacin indica un impacto positivo 7o negativo, o neutral) de la pu$licidad so$re los
ni8os pe*ue8os0
)or e9emplo, :all 71;<=) anali+ muc%os estudios de diferencias se#uales en la
decodificacin de informacin no ver$al. -ncontr *ue, en promedio, las mu9eres son
me9ores decodificadoras *ue los %om$res. Cuando los estudios concuerdan, un promedio es
una $uena representacin de la realidad.
Una virtud de un promedio es *ue aceptando tentativamente una regla general pero
imperfecta, puede informar so$re una nueva investigacin.
Una decisin de reali+ar o no futuras investigaciones, $asada solamente en un
promedio so$re estudios e#istentes, puede %acer a la ciencia un da8o. Un e9emplo es la
controversia so$re los efectos del cido glutmico so$re el C.>. -n los a8os cuarenta e
inicio de los cincuentas los investigadores encontraron *ue este medicamento me9ora$a los
punta9es del C.> de personas retardadas. .tra investigacin, con me9ores controles, encontr
*ue la atencin especial reci$ida por *uienes tomaron cido glutmico, ms *ue el
medicamento mismo era responsa$le de los incrementos en el C.> 7?stn & @oss, 1;AB). "a
investigacin termin cuando los estudios inciales demostraron *ue la efectividad
promedio del cido glutmico %a$ra inducido a incorrectas conclusiones acerca de un
medicamento *ue se da$a a miles de gentes.
"os promedios pueden proporcionar algunas orientaciones. )or esta ra+n, las
revisiones so$re promedios de$eran ser rutinariamente complementadas con anlisis *ue
e#aminen la varia$ilidad de los %alla+gos. )or lo menos, tales anlisis a&udarn a los
lectores a conocer si un resumen de promedios es apropiado.
#DNDE Y CON &UI'N UN TRATAMIENTO ES PARTICULARMENTE
EFECTIVO O INEFECTIVO%
R()*+,!". Una revisin *ue pregunta Cdnde funciona & con *uinD
-n 1;=1 el representante ?ugustus :aEFins, 2emcrata de California, pidi a la
.ficina General de Conta$ilidad *ue sinteti+ar lo *ue se conoca so$re la efectividad de
los programas so$re entrenamiento & empleo conocidos como HHC-5?II 7Compre%ensive
-mplo&ment and 5raining ?ct). -ntonces se formularon la pregunta para participantes
diferentes & para diferentes tipos de e#periencias C-5?, CCules son los resultados de
C-5?D C2nde & con *uien funciona el programa D
"os efectos C-5? variaron considera$lemente seg1n las caractersticas del
participante & el tipo de servicio *ue usaron. -n total, las ganancias de las mu9eres, tanto las
de grupos minoritarios como las $lancas, varan desde J,BB a JABB. "as ganancias para los
%om$res 7J!BB) fueron pe*ue8as & estadsticamente no importantes.
PUNTO -. EXPLORANDO LOS RESULTADOS VERSUS PRO.ANDO UNA
/IPTESIS.
Cuando se inicia una revisin, un investigador de$era decidir, & %acer entender a
los lectores, si el esfuer+o es dise8ado para pro$ar una %iptesis especfica o ms $ien para
e#plorar una informacin disponi$le.
Ki %a& %iptesis guas, de$eran ser tempranamente especificadas. )ueden influir en
la seleccin de estudios individuales, para elegir varia$les de antecedentes para ser
e#aminados sistemticamente. -llas pueden ser 1tiles al sugerir si la revisin de$era ser
agregada so$re 6 7tipo de participante) mientras se comparan diferentes 5Ls 7tratamientos),
o agregar so$re 5 mientras se ven diferentes 6Ls, o se de9an *ue varen 6 & 5.
E0(123": "a %iptesis *ue el frmaco ? tiene me9ores resultados con la gente 9oven *ue
con la ma&or, mientras *ue el M es me9or para la gente ma&or *ue para los ms 9venes,
sugiere una interaccin. ?*u el revisor de$era incluir los estudios *ue comparan diferentes
5Ls a travs de diferentes 6Ls. -sto nos permitir una comparacin del efecto relativo de
cada frmaco so$re diferentes receptores.
"as revisiones de prue$a de %iptesis & las revisiones e#ploratorias tienen diferentes
nfasis. Una %iptesis afirma *u tratamiento es ms efectivoN una revisin entonces
e#amina evidencia emprica para pro$ar la %iptesis. Un revisor podra recolectar treinta
estudios de procedimientos en esta$lecimientos para el cuidado de pacientes ma&ores.
2espus de identificar los esta$lecimientos con los %alla+gos ms positivos, se les
anali+ar, para especular *u procedimientos seguidos en ellos pueden ser los responsa$les.
:acer el esfuer+o para definir la %iptesis anticipadamente, motiva una revisin *ue se
compensar %aciendo una anlisis estadstico ms poderoso e interpreta$le.
#EST$ LA REVISIN SO.RECAPITALIZANDO UNA CASUALIDAD%
Cuando un revisor no tiene una %iptesis formal, la tarea es e#plorar los
conocimientos & %alla+gos diversos *ue surgen de un grupo de estudio. "os revisores
e#aminando muc%os estudios & $uscando una serie de comparaciones estadstica en un
medio e#ploratorio de$en protegerse contra esta so$recapitali+acin de una casualidad.
?*u son 1tiles dos sugerencias. "a primera, un revisor puede pagar la /sancin por
dar una mirada rpida0 por usar estadstica multivariadas *ue formalmente inclu&en el
n1mero total de comparaciones *ue estn siendo e#ploradas. >dealmente, sin em$argo,
cual*uier %alla+go importante *ue apare+ca de$era ser confirmado con nuevos estudios.
Kegunda, un revisor sin %iptesis puede optar por renunciar a sus prue$as estadstica
enteramente inferenciales. )ueden usarse en su lugar ndices descriptivos, tales como
coeficientes de correlacin & promedios. 4a *ue la inferencia estadstica es ms rigurosa
cuando est $asada en la %iptesis, puede ser preferi$le descri$ir simplemente el terreno de
la investigacin & retener prue$as estadsticas para la constatacin futura de %alla+gos
interesantes.
#DE.ERA LA REVISIN DIVIDIR LOS ESTUDIOS EN SU.GRUPO%
Una alternativa constructiva es dividir una coleccin completa de estudios en dos
grupos. Un grupo es usado para e#plorar relaciones entre varia$les. -ste grupo puede
generar %iptesis acerca de cules de los componentes del tratamiento son ms efectivos, o
*uienes reci$en la ma&or a&uda.
Una fraccin de los estudios puede generar %iptesis so$re versiones efectivas de
tratamiento o predicciones de #ito de un programa. "a otra fraccin puede, entonces,
formalmente evaluar esta %iptesis. "a advertencia para dividir los datos en partes es *ue si
el con9unto entero de datos tiene alguna predisposicin sistemtica, este procedimiento no
lo eliminar. >ndependientemente del formato del anlisis, las inferencias slo son tan
valederas como los estudios en los *ue est $asada la revisin.
PUNTO 4. SELECCIONANDO ESTUDIOS.
"os crticos de las @evisiones de investigacin frecuentemente se concentran en
cmo fueron seleccionados originalmente los estudios para su inclusin. "a inclusin de los
estudios depende de la disponi$ilidad de informes de investigacin, cuntos estn
completos, si muc%os son pu$licados, la frecuencia & calidad del dise8o diferente de
investigacin &, por su puesto, cul es la pregunta *ue est formulando el revisador.
Ouestra sugerencia principal es *ue cada revisin de$era especificar claramente
dos cosas: la primera, cules son los criterios para elegir estudios Kegunda, cules son
las implicaciones de una estrategia particular de seleccin
OPCIN 1: USAR TODO ESTUDIO DISPONI.LE.
"a opcin conceptual ms simple es incluir todo estudio disponi$le: investigaciones
acadmicas pu$licadas & estudios inditos, las tesis doctorales & de maestra, e
informaciones so$re investigaciones disponi$les de organi+aciones como la @and
Corporatin, K@", ?$t ?ssociates, el Ur$an >nstitute & la Oational ?cadem& of Kciences.
-st opcin evita el dilema de elegir entre estudios & 9ustificar por *u slo se inclu&en
algunos de ellos. -limina discusiones respecto a *u estudios son dignos de inclusin.
>ncluir todos los estudios disponi$les tiene mrito cientfico.
Cuando son e#cluidos algunos estudios, el revisor de$era informar por *u, &
discutir si las omisiones pueden influir en las conclusiones totales. Kegundo, algunos
estudios son difciles de u$icar. 5ercero, las diferencias su$stantivas eliminaran algunos
estudios. )or e9emplo, se puede sa$er *ue un tratamiento o programa %a cam$iado con el
tiempo. >ncluir estudios antiguos *ue no descri$en el programa en su forma actual es
a$surdo si la pregunta es cun $ien tra$a9a actualmente el programa.
OPCIN -. ESTRATEGIAS SEG5N LAS CARACTERSTICAS DEL ESTUDIO.
Una alternativa a la inclusin de todos los estudios potencialmente interesantes es
especificar pocas categoras de estudios a ser representadas. -l primer paso, es dividir todos
los estudios disponi$les en categoras. -ntonces, de cada categora son seleccionados
algunos estudios para la revisin. -sta estratificacin garanti+a la representacin de cada
tipo de estudio, sin for+ar todos los estudios en la revisin. -l revisor anali+a en forma
detallada slo un pe*ue8o n1mero de estudios seleccionados.
OPCIN 4. UTILIZAR SLO ESTUDIOS PU.LICADOS.
Una tercera estrategia es incluir slo estudios pu$licados. Kon ms fciles de
encontrar. ? diferencia de disertaciones & material de tra$a9o, estn en $i$liotecas & son
accesi$les a todos. .mitiendo informes inditos se a%orra tiempo & dinero. @estringir una
revisin a estudios pu$licados, tam$in puede me9orar el control de calidad.
#EXISTE REALMENTE PRE6UICIO DE PU.LICACIN%
"os cientficos %an especulado *ue los %alla+gos de investigacin *ue no alcan+an
importancia estadstica tienen menos pro$a$ilidad de ser sometidos para su pu$licacin en
revistas ar$itradas. ?1n si lo fueran, por cada estudio de investigacin pu$licado puede
%a$er varios esperando en el ca9n de arc%ivos de un investigador, no sometidos o inditos
por*ue no contenan %alla+gos estadsticamente importantes.
EL VALOR DE TESIS Y DISERTACIONES.
"as tesis acadmicas ofrecen varias venta9as. Una es *ue cuentan con por lo menos
un nivel mnimo de rigor metodolgico. 4a *ue las Universidades re*uieren varios
miem$ros de la facultad para leer cada tesis. Kegundo, es muc%o ms pro$a$le *ue una tesis
proporcione ms informacin numrica detallada *ue un artculo resumido. Una tesis nos
da com1nmente %ec%os adicionales, tal como tasas o cuntas comparaciones estadstica
diferentes eran tratadas en con9unto. 5ercero, una tesis puede ser ms profunda en aspectos
cualitativos: como me9or el programa a travs del tiempoN como finalmente fueron
resueltos los pro$lemas de investigacin.
OPCIN 7. USAR UN PANEL DE EXPERTOS.
.tro medio para elegir estudios es solicitar la e#periencia de reconocidos
especialistas en un campo. -l argumento o$vio en su favor es el valor de capitali+ar la
e#periencia acumulada. "os e#pertos sa$rn muc%o ms *ue un recin llegado so$re
circunstancias especiales, venta9as & desventa9as de ciertos tipos de estudios. )or e9emplo,
un e#perto en crimen & medidas correccionales sa$ra *ue la autoseleccin frecuentemente
manifiesta en la investigacin medios innovadores para re%a$ilitar criminales.
Un segundo argumento en favor de los e#pertos e#ternos se impone particularmente
cuando las revisiones son %ec%as para informar una decisin poltica. "os e#pertos
frecuentemente sa$en *ue informes de investigacin son consideradas importantes por los
polticos. ?lgunos de estos estudios pueden estar fuera de la accin acadmica. Ki una
revisin omite estudios *ue los polticos consideran centrales la revisin inmediatamente
pierde valide+.
PUNTO 7.GENERALIZANDO RESULTADOS.
Pirtualmente todas las revisiones comparten la meta de generali+ar los %alla+gos
%acia alguna po$lacin ms e#tensa.
TA.LA. V(89+0+: ; ,(:<(89+0+: ,( )*+9!" (:9!+9(=>+: 2+!+ 3+ :(3())>?8 ,( (:9*,>":.
E:9!+9(=>+ V(89+0+: D(:<(89+0+:
>nclu&e todos los estudios
-stratificada por
caractersticas de estudio.
>nclu&e slo estudios
pu$licados.
"os e#pertos eligen los
estudios.
?mplitud
-limina discusin so$re /me9ores0
estudios
@epresentacin sin un 1BBQ de
inclusin.
3cil acceso.
Control de calidad
?provec%a la sa$idura de los
e#pertos.
>dentifica estudios valiosos para los
polticos.
>dentifica estudios fuera de la
corriente acadmica.
5iempo & dinero.
3undamentalmente estudios
imperfectos de$ilitan los
%alla+gos.
@e*uiere de conocimiento
detallado de todos los
estudios.
)re9uicio de pu$licacin
)re9uicio de e#pertos 7-9.
)referencia por muestras
grandes o estudios citados
con frecuencia)
Cuando una revisin inclu&e todos los estudios disponi$les, o una $uena muestra de
ellos, nosotros podemos generali+ar %alla+gos para la po$lacin del CestudioD, por e9emplo,
cuando un revisor %ace una grfica de una muestra cuidadosamente estratificada de
informes de evaluaciones de :ead Ktart, los %alla+gos pueden ser generali+ados a todos los
reportes de evaluaciones :ead Ktart, de la po$lacin de donde provino la muestra. 4a *ue la
unidad de anlisis en una revisin es el estudio individual, nosotros podemos generali+ar
los %alla+gos a la po$lacin ms e#tensa de estudios *ue informan evaluaciones de :ead
Ktart.
LA REVISIN PUEDE ME6ORAR LA GENERALIZACIN.
"o fundamental es *ue los revisores no pueden confiar e#clusivamente ni en el nivel
individual ni en el nivel general de %alla+gos de los estudios. -s esencial una compro$acin
para aprender lo ms posi$le so$re cundo tiene sentido una implementacin difundida de
un programa.
PUNTO @. RELACIONANDO LAS CAR$CTERISTICAS DE UN ESTUDIO CON
LOS RESULTADOS.
-n las etapas inciales de organi+ar una revisin, es natural tener la esperan+a *ue
los resultados del estudio sern ordenados, o cual*uier conflicto fcilmente e#plicado.
)ero supongamos *ue esto no sucede & aparece el conflicto -s eso com1nmente malo
Oo. Creemos *ue los %alla+gos conflictivos ofrecen una oportunidad particularmente
valiosa para aprender so$re efectos del tratamiento. Ki 1BB estudios demuestran el mismo
efecto positivo, informar el %alla+go total es fcil. Kin em$argo, pro$a$lemente no es mu&
interesante, &a *ue el %alla+go ser $ien conocido.
LAS CARACTERSTICAS DEL PROGRAMA.
"os %alla+gos de un estudio con frecuencia son conflictivos por*ue los programas
rotulados similarmente son mu& diferentes. Rusto por*ue varios informes de investigaciones
descri$en un programa como :ead Ktart, o Cuerpos de 5ra$a9o, o ?lco%licos ?nnimos,
uno no puede asumir *ue los programas implementados en todos los estudios sean
realmente iguales. -ntonces un primer paso es verificar si los programas con el mismo
nom$re proveen los mismos servicios. Ki no, entonces se %ace posi$le prestar atencin
so$re la eficacia de las versiones de los diferentes programas. )or e9emplo, el programa de
guardera con grupos pe*ue8os sirve tam$in para grupos ms e#tensos 7@uopp et al,
1;<;).
LAS CARACTERSTICAS DE LA U.ICACIN.
Un programa no opera en el vaco. )uede ser ms o menos efectivo dependiendo de
*uien lo administra, dnde es u$icado, o alg1n otro factor circunstancial. "a capacitacin
en el tra$a9o es un e9emplo. -l mismo programa para entrenar programadores de
computadora puede producir diferentes resultados, dependiendo de dnde es ofrecido en los
-stados Unidos. :a& nuevas oportunidades para el empleo en algunas reas ms *ue en
otras. -l #ito o fracaso de la misma capacitacin ptima de tra$a9o puede depender de este
%ec%o geogrfico.
LAS CARACTERSTICAS DE LOS PARTICIPANTES.
Un programa puede volverse ms o menos efectivo dependiendo de *uin participa.
@evisando caractersticas de los participantes, uno puede concluir erradamente *ue los
resultados del programa son imprescindi$les. Conociendo para *uien funciona el programa
& para *uin fracasa, provee alguna estructura 1til para la planificacin social.
EL DISEAO DE LA INVESTIGACIN.
Una cuarta fuente de %alla+gos conflictivos depende de los dise8os de estudio.
Con el fin de recolectar la informacin necesaria para responder a las preguntas de
investigacin 7$ien sea cualitativa o cuantitativa), el investigador de$e seleccionar un
dise8o de investigacin. -sto se refiere a la manera prctica & precisa *ue el investigador
adopta para cumplir con los o$9etivos de su estudio, &a *ue el dise8o de investigacin
indica los pasos a seguir para alcan+ar dic%os o$9etivos. -s necesario por tanto *ue previo a
la seleccin del dise8o de investigacin se tengan claros los o$9etivos de la investigacin.
LAS TECNOLOGA DE AN$LISIS.
Una *uinta fuente de conflicto es *ue estudios diferentes frecuentemente usan
estrategias diferentes para anali+ar datos. ?1n si los anlisis en cada estudio son %ec%os
correctamente, ciertos procedimientos pueden crear conflictos artificiales pero predeci$les.
)or e9emplo, la unidad de anlisis puede diferir entre estudios. Kea *ue el anlisis
estadstico se condu+ca en el nivel de grupo o en el nivel individual, puede influir
dramticamente en los %alla+gos de evaluacin.