Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
Reichardt
Mtodos cualitativos y cuantitativos en investigacin evaluativa
Captulo I
CAPITULO PRIMERO
*
Nota de los autores: El trabajo del que damos cuenta en este captulo cont en parte con la ayuda de una
beca de investigacin de la Universidad de Denver, una beca de investigacin de la W. T. Grant Foundation y
una beca (DAR78-09368) de la National Science Foundation. Los autores agradecen a Barbara Minton y a
Dale Schellenger sus valiosos comentarios a un anterior borrador de este texto. 1
mtodo preferible para obtener una informacin vlida y fiable sobre la cual proyectar
programas sociales. (cursiva en el original)
La corriente actual de opinin revela en realidad ms desacuerdos que los ofrecidos por
estos dos grupos de citas. Desde luego, no hay unanimidad sobre si existe o no desacuerdo.
Por ejemplo, ROSSI y WRIGHT (1977:13) afirman que entre los investigadores
evaluativos existe una coincidencia casi total en sealar que el experimento aleatorio
controlado es el modelo ideal para evaluar la eficacia de la poltica pblica. GUBA (1978)
cita esta declaracin con obvio desdn.
El propsito del presente captulo consiste en sealar que parte del debate actual sobre
los mtodos cualitativos y cuantitativos no se centra en cuestiones productivas y, en
consecuencia, no se desarrolla de manera tan lgica como sera deseable. Esto no significa
afirmar que sea posible resolver por completo esta disputa metodolgica. Como ms tarde
veremos, del debate surgen cuestiones importantes que permiten unas justas diferencias de
opinin y de criterio. Convendra perfilarlas antes de que se manifestaran sentimientos
como los expresados al menos en algunas de las citas anteriores. Pero el debate, tal como se
est llevando a cabo, oscurece de forma progresiva las cuestiones y crea sin necesidad
cismas entre los dos tipos de mtodos, cuando debera tender puentes y poner en claro
cules son los autnticos desacuerdos a los que merece la pena prestar atencin.
una visin del mundo, una perspectiva general, un modo de desmenuzar la complejidad del
mundo real. Como tales, los paradigmas se hallan profundamente fijados en la socializacin de
adictos y profesionales; los paradigmas les dicen lo que es importante, legtimo y razonable.
Los paradigmas son tambin normativos; sealan al profesional lo que ha de hacer sin
necesidad de prolongadas consideraciones existenciales o epistemolgicas.
Los que ven el debate en trminos de un contraste entre paradigmas proporcionan, por
lo general, toda una lista de atributos de los que se afirman que permiten distinguir las
concepciones globales cualitativa y cuantitativa. Por ejemplo, RIST (1977) brinda tres
atributos, PATTON (1978) proporciona siete y GUBA (1978) aporta catorce. Sin propsito
de ser exhaustivos, ofrecemos en la Tabla 1 muchos de los atributos ms prominentes de
cada paradigma. En resumen, del paradigma cuantitativo se dice que posee una concepcin
global positivista, hipottico-deductiva, particularista, objetiva, orientada a los resultados y
propia de las ciencias naturales. En contraste, del paradigma cualitativo se afirma que
postula una concepcin global fenomenolgica, inductiva, estructura lista, subjetiva,
orientada al proceso y propia de la antropologa social. El estudio que FILSTEAD realiza
en este volumen sobre los paradigmas proporciona una descripcin ms profunda y
detallada.
Subjetivo. Objetivo.
Prximo a los datos; perspectiva desde Al margen de los datos; perspectiva desde
dentro. fuera.
Fundamentado en la realidad, orientado a los No fundamentado en la realidad, orientado a
descubrimientos, exploratorio, la comprobacin, confirmatorio,
expansionista, descriptivo e inductivo. reduccionista, inferencial e hipottico
deductivo.
Holista. Particularista.
*
Citas de BOGDAN y TAYLOR (1975: 2). No suscribimos necesariamente estas descripciones de
fenomenologismo y positivismo logico (cf. COOK y CAMPBELL, 1979) aunque semejantes
caracterizaciones se hallen muy difundidas. 4
Tratar como incompatibles a los tipos de mtodos estimula obviamente a los
investigadores a emplear slo uno u otro cuando la combinacin de los dos sera ms
adecuada para las necesidades de la investigacin. Paraliza asimismo cualquier tentativa de
superar las diferencias entre las partes enfrentadas en el debate acerca de los tipos de
mtodos. Por estas razones la conceptualizacin de los tipos de mtodos como antagnicos
puede muy bien estar llevando por mal camino tanto el debate como la prctica
metodolgicos actuales. En nuestra opinin constituye un error la perspectiva
paradigmtica que promueve esta incompatibilidad entre los tipos de mtodos.
Especficamente ambas suposiciones antes citadas son falsas, as que no se sostiene la
conclusin segn la cual los investigadores han de elegir entre los tipos de mtodos. En el
anlisis que sigue exponemos la falacia de ambas suposiciones (es decir, el nexo entre
paradigma y mtodo y la eleccin forzada entre paradigmas cualitativo y cuantitativo). Tras
haber reconsiderado as el conflicto entre los puntos de vista paradigmticos redefinimos
entonces las cuestiones suscitadas por el debate acerca de los tipos de mtodos y resaltamos
algunos de los beneficios potenciales del empleo conjunto de los mtodos cualitativos y
cuantitativos.
Por otro lado sera posible, aunque quiz resultara improbable, que un
etngrafo realizara investigaciones desde una posicin de positivismo lgico. Por
ejemplo, imaginemos a un investigador que crea que la categora socioeconmica se
define exclusivamente en trminos de bienes materiales como televisores, coches,
casas y ropas. Como tales artculos pueden ser observados y contados sin referencia
a los significados que tengan para sus propietarios, semejante medida de la
categora socioeconmica corresponde claramente a la tradicin del positivismo
lgico. As, un investigador que emplee esta medida y que compruebe las
pertenencias de un individuo mediante un trabajo etnogrfico de campo estara
suscribindose al positivismo lgico al tiempo que empleaba mtodos cualitativos.
Se hallan siempre limitados los mtodos cualitativos al caso aislado y son por eso
no generalizables? Las afirmaciones en este sentido yerran en dos puntos. En primer
lugar, los estudios cualitativos no tienen por qu limitarse a casos aislados. RIST
(1979), por ejemplo, da cuenta de un estudio etnogrfico en el que se examinan
sesenta lugares distintos para estar en mejores condiciones de generalizar. En
segundo lugar, la posibilidad de generalizar depende, por lo comn, de algo ms que
del tamao de la muestra. Slo en muy pocos casos, como cuando se recurre a un
sondeo-aleatorio, la generalizacin se basa en un razonamiento estadstico, y se
toma de unos datos de muestreo a toda una poblacin. Habitualmente la
generalizacin es mucho menos formal y por eso resulta ms inductiva y ms falible
en potencia. Esto significa que los investigadores normalmente desean generalizar a
poblaciones que no han sido muestreadas (por ejemplo, a nios de diferentes
8
distritos escolares, a cabezas de familia en paro de otras ciudades y a distintas
pocas y diferentes tipos de tratamientos). Semejantes generalizaciones nunca se
hallan lgicamente justificadas por completo tanto si estn basadas en datos
cualitativos como si lo estn en datos cuantitativos (CAMPBELL y STANLEY,
1966: 171; vase tambin CRONBACH, 1978). Aunque en tales generalizaciones
informales puede servir de ayuda una muestra amplia y diversa de casos, tambin
puede contribuir el conocimiento profundo de un solo caso. As, y en general, no
hay razn alguna para que los resultados cuantitativos sean inherentemente ms
generalizables que los resultados cualitativos.
La importancia de la situacin
Por supuesto que, el nexo revela algn conocimiento, en la prctica existente, entre
paradigmas y mtodos. Los investigadores que utilizan los mtodos cualitativos se adhieren
ms a menudo al paradigma cualitativo que al cuantitativo. De manera similar, existe una
correlacin entre el uso de mtodos cuantitativos y la adhesin al paradigma cuantitativo
(aunque estos nexos entre paradigma y mtodo no sean perfectos, como muchos parecen
creer). Semejantes nexos pueden ser muy bien el resultado de una evaluacin adaptativa
que refleje el hecho de que, siendo iguales en todo lo dems, los mtodos cualitativos y
cuantitativos a menudo resultan los ms indicados para los distintos puntos de vista
paradigmticos con los que han llegado a ser asociados.
Pero aunque el nexo existente entre paradigma y mtodo puede orientar tilmente la
eleccin de un mtodo de investigacin, ese nexo no debe determinar en exclusiva
semejante eleccin. Hemos sealado que la situacin de la investigacin constituye tambin
un factor importante. Y esto resulta especialmente significativo porque la investigacin
evaluativa se realiza bajo numerosas circunstancias singulares y exigentes que pueden
requerir modificaciones en las prcticas tradicionales. El hecho de que paradigma y mtodo
hayan estado ligados en el pasado no significa que en el futuro resulte necesario, o
conveniente, que as sea.
Como indicamos antes, el debate actual acerca de los mtodos crea la impresin de
que el investigador no slo debe escoger un mtodo en razn de su adhesin a un
paradigma, sino que tambin debe elegir entre los paradigmas cualitativo y cuantitativo
porque son las nicas opciones disponibles. Ya hemos examinado la primera cuestin;
ahora abordaremos la segunda.
Los dos paradigmas a los que nos referimos proceden de dos tradiciones singulares
y completamente diferentes. El conglomerado de atributos que integran el paradigma
cuantitativo procede de las ciencias naturales y, agronmicas, mientras que el paradigma
cualitativo tuvo su origen en los trabajos de antropologa social y de sociologa, sobre todo
de la Escuela de Chicago. No resulta claro por qu se juzg que una u otra de estas
tradiciones tenan que proporcionar un paradigma adecuado a la investigacin evaluativa.
Por fortuna los evaluadores no se han limitado a estas dos nociones.
De hecho, todos los atributos que se asignan a los paradigmas son lgicamente
independientes. Del mismo modo que los mtodos no se hallan ligados lgicamente a
ninguno de los atributos de los paradigmas, los propios atributos no se encuentran
lgicamente ligados entre s. Podramos examinar uno por uno los atributos de la lista,
como en la seccin anterior, proporcionando ejemplos que demostraran su independencia;
pero semejante tarea resultara tediosa. Baste con decir que no existe nada, excepto quiz la
tradicin, que impida al investigador mezclar y acomodar los atributos de los dos
paradigmas para lograr la combinacin que resulte ms adecuada al problema de la
investigacin y al medio con que se cuenta.
Por supuesto que an es posible un debate sincero respecto de cules son los
mtodos mejores, habida cuenta de una perspectiva paradigmtica y de una situacin de
investigacin determinadas. Por ejemplo, cierta parte de los textos sobre formacin de
mano de obra revela una discrepancia acerca de la probabilidad de que cambie la afluencia
de participantes en estos programas en ausencia de un efecto del tratamiento. Si no se
produce semejante consecuencia (tanto de incremento como de dficit), no hay necesidad
de un grupo de control para una valoracin del impacto; bastara en tales circunstancias
concebir un estudio de casos. Por otra parte, si tiene lugar la consecuencia en ausencia del
tratamiento resultara deseable un grupo de control (quiz incluso seleccionado al azar).
Cabe tambin que tenga lugar un sincero debate sobre la adecuacin de una
determinada posicin paradigmtica a una evaluacin especfica. Como ejemplo al respecto
podra citarse el de un desacuerdo acerca de la importancia relativa de la validez interna
frente a la generabilidad. Indudablemente ambos atributos son importantes pero algunos
evaluadores juzgan que, a largo plazo, el medio mejor de lograr la generabilidad consiste en
asegurarse de que cada estudio sea internamente vlido (cf. CAMPBELL, 1969) mientras
que otros prefieren soluciones a corto plazo en donde el objetivo inmediato de la
generabilidad se antepone a la validez interna (cf. CRONBACH,1978).
Cada zapatero piensa que el cuero es lo nico que importa. La mayora de los 13
cientficos sociales, incluyendo quien esto escribe, tienen sus mtodos favoritos de
investigacin con los que estn familiarizados y en cuya utilizacin poseen una cierta
destreza. Y sospecho que fundamentalmente decidimos investigar aquellos problemas que
parecen vulnerables a travs de tales mtodos. Pero deberamos, por lo menos, tratar de ser
menos localistas que los zapateros. Prescindamos ya de las argumentaciones de la
observacin participante frente a la entrevista -como ya hemos renunciado en buena
medida a las discusiones de la psicologa frente a la sociologa- y prosigamos con la tarea
de abordar nuestros problemas con el ms amplio despliegue de instrumentos conceptuales
y metodolgicos que poseamos y que tales problemas exigen. Esto no excluye la discusin
y el debate respecto de la utilidad relativa de los diferentes mtodos para el estudio de
problemas o tipos especficos de problemas. Pero resulta algo muy distinto de la afirmacin
de una superioridad general e inherente de un mtodo sobre otro, basndose en algunas
cualidades intrnsecas que supuestamente posee (la cursiva es del original).
Existen al menos tres razones que respaldan la idea segn la cual, cuando se
abordan los problemas de evaluacin con los instrumentos ms apropiados que resulten
accesibles, se emplear una combinacin de los mtodos cualitativos y cuantitativos. En
primer lugar, la investigacin evaluativa tiene por lo comn propsitos mltiples que han
de ser atendidos bajo las condiciones ms exigentes. Tal variedad de condiciones a menudo
exige una variedad de mtodos. En segundo lugar, empleados en conjunto y con el mismo
propsito, los dos tipos de mtodos pueden vigorizarse mutuamente para brindarnos
percepciones que ninguno de los dos podra conseguir por separado. Y en tercer lugar,
como ningn mtodo est libre de prejuicios, slo cabe llegar a la verdad subyacente
mediante el empleo de mltiples tcnicas con las que el investigador efectuar las
correspondientes triangulaciones. Ya que los mtodos cuantitativos y cualitativos tienen
con frecuencia sesgos diferentes, ser posible emplear a cada uno para someter al otro a
comprobacin y aprender de l. Aunque no afirmamos que estos tres puntos se hallen por
completo desligados, cada uno ser considerado separadamente a continuacin.
Para una comprensin completa del programa una evaluacin tendra que realizar al
menos estas tres tareas: comprobacin, valoracin del impacto y explicacin causal. Se
trata de una gama muy amplia de tareas que, para ser eficazmente atendidas, requerirn 14
quiz el empleo de mtodos tanto cualitativos como cuantitativos. Aunque no de un modo
inevitable, puede suceder a menudo que la comprobacin sea realizada con mayor eficacia
conforme a un modo cualitativo, que la valoracin del impacto se realice con mayor
precisin mediante mtodos cuantitativos y que la explicacin causal se obtenga de mejor
manera a travs del empleo conjunto de mtodos cualitativos y cuantitativos. Aunque desde
luego pretendemos evitar la impresin de que se requiere una divisin rgida o inherente del
trabajo, creemos que en un nmero mayoritario de casos y para conseguir todos los
propsitos de una evaluacin har falta una combinacin flexible y adaptativa de los tipos
de mtodos.
Por aadidura, cada tipo de mtodo puede en potencia ensear al otro nuevos modos
de detectar y de disminuir el sesgo. Como estos dos tipos de mtodos han existido en
tradiciones distintas y en buena medida aisladas, gran parte de su tcnica propia ha
permanecido tambin aislada. Al poner juntos los mtodos pueden fortalecerse estos dos
diferentes depsitos de conocimientos y de experiencia. Es posible incluso que a travs de
su empleo conjunto se descubran nuevas fuentes de sesgos y nuevos medios para
disminuirlos, que haban permanecido ignorados de cada una de las dos tradiciones
aisladas.
17
Obstculos en el empleo conjunto de mtodos cualitativos y
cuantitativos
Por estas razones no nos sentimos optimistas ni creemos que llegar a difundirse
ampliamente el empleo conjunto de los mtodos cualitativos y cuantitativos. Esto no 18
significa que los evaluadores hayan de volver a escoger entre uno u otro basados en el
dogma paradigmtico. Los evaluadores han de proseguir acomodando los mtodos a las
exigencias del problema de la investigacin de la mejor manera posible, sin prestar atencin
a las afiliaciones paradigmticas tradicionales. Pero ello no quiere decir que tales
evaluadores hayan de establecer una prioridad de propsitos y cuestiones ya que, por lo
comn, sern incapaces de atender a todos los objetivos deseados. A menudo sospechamos
que la cuestin del impacto tendr la prioridad ms alta y que se otorgar prioridad a los
procedimientos cuantitativos. Pero en cualquier caso, el empleo exclusivo de uno u otro de
los tipos de mtodos habitualmente significar aceptar una evaluacin no global.
CONCLUSION
Pero, aunque el debate haya servido a un propsito muy til, tambin ha sido en
parte contraproducente. En buena medida la discusin que se desarrolla en la actualidad
sirve para polarizar las posiciones cualitativa y cuantitativa y para alentar la creencia de que
la nica opcin posible estriba en elegir entre estos dos extremos. Es como si el pndulo
tuviera que oscilar hacia uno u otro lado. El excesivo inters que se percibe ahora por los
mtodos cuantitativos slo puede entonces ser corregido mediante un inters igual, pero
opuesto, por los mtodos cualitativos. Naturalmente, una vez que se pongan a prueba los
mtodos cualitativos del modo tan concienzudo a que se someti en el pasado a los
mtodos cuantitativos, los cualitativos se revelarn simplemente tan falibles y dbiles como
los otros (vase OVERHOLT y STALLINGS, 1979). Si se mantiene la dicotoma entre los
mtodos, en una reaccin inevitable, el pndulo volver a desplazarse hacia los
procedimientos cuantitativos. Indudablemente tambin este paso se revelar insatisfactorio
y el pndulo seguir oscilando. De este modo, el debate actual mantiene el desplazamiento
del pndulo entre extremos de mtodos y extremos de insatisfaccin.
19
La solucin, desde luego, estriba en comprender que la discusin se halla planteada
inapropiadamente. No hay necesidad de escoger un mtodo de investigacin sobre la base
de una posicin paradigmtica tradicional. Ni tampoco hay razn alguna para elegir entre
dos paradigmas de polo opuesto. En consecuencia, es innecesaria una dicotoma entre los
tipos de mtodos y existen todas las razones (al menos en la lgica) para emplearlos
conjuntamente con objeto de satisfacer las exigencias de la investigacin de la evaluacin
del modo ms eficaz posible.
Existe sin duda una cierta ventaja pedaggica en la forma dialctica de argumentar
que polariza los mtodos cualitativos y cuantitativos. Por ejemplo, a menudo resulta ms
fcil formular un caso estableciendo una dicotoma en el continuo entre los polos opuestos
para que se revele con mayor claridad la dimensin del inters. Pero ya se ha aprendido la
leccin de que los mtodos cuantitativos se pueden emplear en exceso y ha llegado el
momento de impedir que el pndulo oscile de un extremo al otro. Es tiempo de dejar de
alzar muros entre los mtodos y de empezar a tender puentes. Tal vez estemos todava a
tiempo de superar el lenguaje dialctico de los mtodos cualitativos y cuantitativos. El
autntico reto estriba en acomodar sin mezquindades los mtodos de la investigacin al
problema de evaluacin. Puede muy bien exigir una combinacin de mtodos cualitativos y
cuantitativos. Distinguir entre los dos mediante el empleo de etiquetas diferentes puede
servir slo para polarizarlos innecesariamente. Si prescindimos de las etiquetas no nos
quedar ms remedio que superar el debate entre mtodos cualitativos y cuantitativos.
Los captulos han sido dispuestos en este volumen conforme a un orden en el que se
parte de los ms tenaces y se concluye con los ms precavidos en su apoyo a los mtodos
cualitativos. A este respecto, el captulo de FILSTEAD ocupa merecidamente el primer
lugar. FILSTEAD distingue las diferencias tradicionalmente sostenidas entre los
paradigmas cualitativo y cuantitativo y afirma con vehemencia que el paradigma cualitativo
(con su fe en la realidad social como construida por los participantes y acentuando la
comprensin de los acontecimientos desde la perspectiva de los propios actores), es el que
resulta ms adecuado para la investigacin evaluativa. FILSTEAD presenta tambin
razones del hecho de que est cambiando la tendencia entre los evaluadores educativos
desde un excesivo nfasis en los mtodos cuantitativos a una apreciacin de las tcnicas
cualitativas. Para acelerar este cambio, FILSTEAD sugiere la forma en que cabe utilizar
mejor los mtodos cualitativos para modelar la investigacin evaluativa.
Tal vez sorprendentemente para algunos evaluadores pero desde luego no para
todos, la aportacin de CAMPBELL proporciona una explicacin terica en pro del empleo
de los mtodos cualitativos en el diseo de estudio de casos. Revelando un cambio de
sentimiento (y de supuestos de fondo) en relacin con trabajos anteriores, CAMPBELL
afirma que el estudio de casos puede poseer rigor suficiente (en razn de grados de
libertad procedente de mltiples implicaciones de cualquier teora) tanto para confirmar
como para invalidar hiptesis causales. CAMPBELL demuestra tambin la
complementariedad inherente de los mtodos cualitativos y cuantitativos al describir cmo
el conocimiento cuantitativo slo supera al cualitativo cuando se apoya en ste. Sin
embargo, CAMPBELL sigue convencido de que el estudio de casos es muy proclive a los
sesgos cuando se emplea para valorar el impacto de un programa. Seala tambin varias
medidas que cabe tomar para reducir pero no eliminar este equvoco.
Del artculo de TREND podra decirse que es un relato policiaco. El autor da cuenta
de sus experiencias en una evaluacin sobre una gran operacin de subvenciones para la
vivienda en donde se emplearon tanto observadores participantes como cuestionarios. En
un lugar concreto estas dos fuentes de datos produjeron hallazgos muy discrepantes que
determinaron una considerable controversia entre los analistas. Trabajando con ambas
fuentes, TREND resuelve el enigma y documenta la forma en que la sntesis resultante
supera los informes originales, brindando un entendimiento de los datos. TREND afirma
que en un principio deberan estimularse los hallazgos discrepantes para no cerrar
prematuramente pistas significativas de la investigacin.
Finalmente HOLLISTER y otros ofrecen algunos nuevos atisbos respecto del uso de
los mtodos cuantitativos. El pensamiento actual en la investigacin evaluativa indica que
el anlisis de proceso requiere- procedimientos cualitativos, mientras que la valoracin del
resultado exige tcnicas cuantitativas. HOLLISTER y otros derriban este mito demostrando
no slo que tanto el anlisis de proceso como el de resultados pueden realizarse con
mtodos cuantitativos habituales sino, lo que es ms importante, cmo es posible ligar los
dos anlisis. Aunque tales anlisis ligados exigen datos de gran envergadura y calidad.
HOLLISTER y otros revelan los beneficios potenciales que pueden ofrecer estos anlisis.
22
BIBLIOGRAFIA
--- (1954) The nature and history of experimental control. American Journal of
Psychology, 67: 573-589.
--- (1970) Considering the case against experimental evaluations of social innovations.
Administrative Science Quarterly, 15: 110-113.
KELMAN, H. C. (1972) The rights of the subject in social research: an analysis in terms
of relative power and legitimacy. American Psychologist, 27: 989-1016.
--- (1962) The Structure of Scientific Revolutions. Chicago: University of Chicago Press.
LOFLAND, J. (1961) Reply to Davis comment on Initial interaction. " Social Problems,
8: 365-367.
NISBETT, R. E. y T. D. WILSON (1977) Telling more than we can know: verbal reports
on mental processes. Psychological Review, 84: 231-259.
--- (1975) Alternative Evaluation Research Paradigm. Grand Forks: University of North
Dakota Press.
RIST, R. C. (1979) On the utility of ethnographic case studies for federal policy.
Presentado en el congreso anual de la American Educational Research Association,
San Francisco.
--- (1977) On the relations among educational research paradigms: from disdain to
detente. Anthropology and Education Quarterly, 8: 42-49.
SIEBER, S. (1973) The integration of field work and survey methods. American Journal
of Sociology, 28: 1335-1359.
26