Q~~

ol

SOlN3WVaNn~ VJIl!H) A

saJopu9Jsa u9ponloAa uaoposoq A

VAISN3~dNW,OIJOJVnlVA3

Ttulo

original:

Standards-basedandresponsiueevaluation
with Sage Publications, and New Delhi) Ine.

2004, Robert E. Stake

Published (United by arrangement States, London

Coleccin

Crtica y fundamentos

Serie Teora y sociologa de la educacin Directores de la coleccin Gra: Rosario Cubero, Jos Escao, Miquel Essomba, Juan Fernndez Sierra, Juan Bautista Martnez Rodrguez, Caries Monereo, Lourdes Montero, Javier Onrubia, Miguel ngel Santos Guerra, Jaume Trilla Director de este ttulo:Juan
de esta edicin:
el
Francesc

Bautista Martnez
GRA, de IRIF, S.L.
32-34.

Rodrguez

Editorial
Trrega,

08027

Barcelona

U!WW.grao.com

de la traduccin: Albino Santos

l.'
ISBN
ISBN
D.L.:

edicin:
10:
13:

febrero
84-7827-418-9

2006

978-84-7827-418-5

B-2.219-2006

Diseo:

Maria

Tortajada

Impresin:

Imprimeix

Impreso

en

Espaa

Quedan

rigurosamente

prohibidas,

bajo

las

sanciones

establecidas

en

las

leyes,

la

reproduccin

almacenamiento

total

parcial

de

la

presente

publicacin,

inclu-

yendo

el

diseo

de

la

portada,

as

como

la

transmisin

de

la

misma

por

cualquiera

de

sus

medios

tanto

si

es

elctrico,

como

qumico,

mecnico,

ptico,

de

grabacin

bien

de

fotocopia,

sin

la

autorizacin

escrita

de

los

titulares

del

copyright.

'i'
..

'\'0
.~

olf

f,

~"<, >:'

t ~~ l\'1Ii,' ~~I\C!:./ "~

'Ij! .' '~"

1:111

Loevaluacbainsadeonestndares
La verdad pocasvecesespura ynunca es imple.
(Oscar Wilde)

Hemos l egado! Side algo se sienten realmente orgul osos la mayora de evaluaclores yevaluadoras, esde sus mediciones. Se sienten realmente contentos cuando realizan una buena medicin del rendimiento del evaluando. Obtienen cifras que plasman en un papel en el que se muestra lo que la gente de! programa ha hecho opuede hacer. Esos nmeros muestran si se han cumplido los estndares ono. Obviamente, son guarismos que hay que analizar einterpretar. En este captulo, nos centraremos en el uso de instrumentos de obtenrin de datos para definir las principales preguntas de una evaluacin. Se podra hacer un anlis estadstico magnfico de una serie de preguntas superficiales, pero no sera un buen estudio. Uninstrumento basado en criterios tiene aveces un aspecto parecido al de! cuestionario sobre un programa de igualdad de gneros que recoge el ruadro 4.Se trata de un cuestionario que algunos de nosol1l1etO><SHt1r l-'1tl-ti(>+<I)i~.,r:-t<-t:T-, para evaluar e!progreso realizado alolargo de tres aos por elCentro para la Demostracin de la Igualdad entre Sexos del condado de Broward, en Florida. En nuestro resumen ejecutivo, recogamos (con respecto, por ejemplo, alapregunta n." 15) que en los profesores ylasprofesoras que conocan bien la labor del Centro se aumentaba la impresin de que las chicas tienen que superar mayores presiones sociales que los chicos para matricularse en asignaturas de ciencias ymatemticas avanzadas. En e!profesorado de otras escuelas de ese mismo condado, se evidenciaba una reduc in de dicha impresin alo largo de un perodo de dos aos. Fjense bien en e!cuadro 4de la pgina siguiente. Traten de entenderlo. Es un cuestionario para profesores yprofesoras. (Alos estudiantes ylos administradores selesformularon tambin laspreguntas de algunos de esos mixmr; I(I S.) I,as pregul as solm> dalos basados en criterios son las ql e van del nmero 4al 10:lasql e abordan lapercepcin del encuestado oencuestada sobre lanecesidad del programa. Los tems 1 y12 preguntan acerca de observaciones sobre la actividad de la escuela. Los tems del 13 al 17 pn:gl ltal sobre los cambios ql e el programa podra estar obrando. Los estndares de xito secumplan siseobservaban avances sustanciales en laconciencia de ladesigualdad yen elapoyo alaenseanza en igualdad de gnero.

104

EVALUACIN (OMPR1HS/VA

lAfVIUClHBASOfHS/AOi!S

105

Cuadr4.oPercepcisobriegualdsexualenlpse1ad.Dsdupntodevia,quhcen losrfe syloadmianstroesescuelcontrdecalidescalado,imavera ones d as, ol ad pr de1983

sueclapr omverlaigud sexual?(Se sloapcin que Instrucciones: stas preguntmsaeaproxims.) forman parte de laevaluacin del Proyecto para laDemostracin de laIgualdA.lamyoradlnesitraestma. entre Sexos del condado de Broward. Setomaplican. rn todas lasprecauciones B.Lparnamyor esta o lsprbemaa, procasinu emevitarque sehagan pblicas lasrespuestas indie.Lamyortandelimrosetipsobrelxuaes. viduales. Por favor,responda con sinD.Lacerqmyorcenudbraneci utiraodifedn. ad. 12.Desdupntoevisa,quporcentaj ximdoestuiande 1. Susexo: centroapiejmlosdrexualsteroipd~nlsproi A.Mujer materilscu are? B.Varn 2. Aosde experiencia docente: A.Un5%()meos A.0-2aos B. 3-5aos C.6-10aos B.Entrel5Y~% C.Entrel25y0% D.Entrel50Y7% E,l75%oms

D.1 -20aos 13.Culdeasigntfrmcoxpjbq E.Msde 20aos 3. Aos de xperiencia admin strativa: profesadylmintcubh? A.Debranitlmospxu A.0-2aos B.Debranstolpmdiv B.3-5aos e.Debransdqumoiftlch C.6-10aos chias. D.1 -20aos D.Tiencosamprtquh E.Msde 20aos 14.Encompariheu,stdl4. Tien usted lasenacin deque losr les exuales terotipados hansido crimnasexulqpod? unproblema ensuecuela? A.No,nestyradigucmxlq A.S,un gran problema. B.S,ahorsymcnietdl B.Un poc. C.NoyaerIlcnsitd('h1 e.Enabsolut. 5. Tien ustedlasen cin dequ elprofesrado desucentroestbien - 15.Tienustdlacqhprmyoformado elasprctias de iscrminac sexualydelaspoibldaes sionecalquhprmtgdy mateicsvnzd? existnes par dismnuirlas? A.S A.S,semantie n informados. B.Necsitan msoprtunidaes par informase. C.Otra espu ta 6-10.Enloscentros escolaresd est distro-segn suopin- cunto bstaculizacdaunodelosfactores iguents laposiblda dequ losjvens recibanuabuena ducain? (Preguntas dela6 10) 6.Discrminac racil:A.Mucho B.Un poc C.Enabsolut D.Nopino 7.Discrminac sexual:A.Mucho B.Unpoc e.Enabsolut D.Nopin 8.Bilngsmo: A.Mucho B.Unpoc C.Enabsolut D.Nopin 9.Excesivonfasi enloste :A.Mucho B.Un poc C.Enabsolut D. No pino 10.Inefica docent:A.Mucho B.Unpoc C.Enabsolut D.Nopin
B. o 16.Encompariheu,stdq haypersonqucidlxtmxualyqiernhcgopb? A.No,nczadies B.S,cadvezsoymnitlxpr

e.No,yaermucnsitdlxph
ao.

ylasetudinco delaxistncuoqprm sexo?

17.Lamyordelstuin

~ " .','~. l~:i~ ~,~.",.J;. ~ .~!' e"~i

T
'~ '

,. ..,.

,L

106

EVAlUACiN COMPifNSIVA

LAEVAlUACiN ENESINDARES BASADA

107

A.S,estn muyatentos aladiscriminacin sexual. B.S,pero esun tema que lesimporta poco. C.No, no son conscientes de situaciones as.

experiencia personal sern importantes en muchos estudios de evaluacin, pero la manera final de decidir lacalidad del evaluando ser distinta en el enfoque basado en criterios yen el interpretativo.

No se hizo nada para enumerar de antemano cunto avance sera considerado sustancial ...(No se produce aqu una anomala considerando que cuanto ms eficaz fuese este programa, aunque sededicase un tiempo mucho ms prolongado al tratamiento de lasdesigualdades, sera de esperar que la gente se sintiera cada vez ms preocupada por lasituacin en sus escuelas y. por tanto, ms insatisfecha con ellas?) Pero. volviendo alinters por laevaluacin basada en estndares, quizs la pregunta ms importante que usted puede realizar eslasiguiente: Lograrn centrarse estas preguntas en losobjetivos ylos criterios ms importantes del programa? , Elcuestionario fue tambin ideado con un formato de instrumento para ser puntuado a mquina mediante lectura ptica. Las tres primeras preguntas permiten comparaciones en funcin del gnero y la experiencia de los encuestados ylas encuestadas. Las diecisiete preguntas obligan a elecciones categricas, en vez de respuestas abiertas. Al no pedir a las personas encuestadas que redactaran sus propias respuestas seperdi informacin potencialmente til, pero el tiempo necesario para codificar ypuntuar esas respuestas es excesivo en el contexto de muchas evaluaciones. Yo prefiero incluir al menos una respuesta abierta para obtener matices yexpresiones citables que estos otros tems no proporcionan. En el cuadro 4 del captulo siguiente se muestra un cuestionario de preguntas ms abiertas sobre elmismo programa. Lo ms frecuente esque se utilicen varios instrumentos basados en criterios en un mismo estudio. As, otro ejemplo de instrumento basado en criterios es el protocolo de entrevista telefnica a los veteranos mostrado en el cuadro 3. Se trata de un protocolo (o de un borrador de esquema) para larealizacin de encuestas por telfono para un estudio de evaluacin del programa de formacin en redaccin de cartas descrito en el captulo anterior. Elevaluador o la evaluadora que telefoneaba poda ver, indicados entre parntesis, los siete criterios ms enfatizados en laformacin del personal de la Administracin de Prestaciones para los Veteranos, amn de una lista de otros criterios sobre una buena redaccin de cartas. Las preguntas en negrita seformularon de forma estandarizada atodos losencuestados. Los tems numerados eran preguntas sonda que slo se formulaban siel encuestado o la encuestada no las cubra en su respuesta. En elcaptulo 1consideramos tambin dos modos de pensar acerca de la evaluacin: el que se basa en criterios yel interpretativo. El que se basa en criterios pone el nfasis en el uso objetivo de escalas ymediciones formales. Elinterpretativo, por el contrario, hace hincapi en lasucesiva farniliarizacin personal del evaluador con el evaluando. La medicin y la

Basada ndares enest

Aplicaremos laetiqueta basadosenestndares aun extenso grupo de mtodos de evaluacin que recurren principalmente al modo de pensar que se basa en criterios. La evaluacin basada en estndares exige un esfuerzo especial para lijar de un modo explcito loscriterios, losestndares=y otros factores de evaluacin. Tiene la orientacin basada en criterios del Instituto Nacional de Estndares y Tecnologa. Ser explcitos -declarar abiertamente losprocedimientos ylos compromisos de valor- es muy importante en el modo de pensar basado en criterios. La evaluacin interpretativa depende tambin de estndares de valor, pero, en su caso, los estndares son generalmente ms implcitos, estn menos verbalizados yno aparecen tan claramente identificados en el diseo ni en el informe final. La evaluacin basada en estndares supone un enfoque sumamente racional ymucho menos intuitivo de la percepcin yla representacin de lacalidad de un programa. El modo en el que se enuncian los estndares yotros factores de evaluacin nunca es perfecto. Muchos de los estndares enunciados slo proporcionan aproximaciones, simplificaciones o factores correlacionados con loscriterios reales. Amenudo, los recursos no permiten un estudio exhaustivo' de esos criterios reales. Las necesidades ylos objetivos, por ejemplo, se toman directamente muchas veces de las especificaciones del programa en cuestin en vez de ser investigadas por separado. Orientarse alos estudares significa no slo seguir una lista de control para asegurarse de tenerlo todo especificado, sino tambin fijarse la meta de ser tan explcito como lo permitan las circunstancias. La evaluacin basada en estndares parece natural, sobre todo, cuando el rol de laevaluacin esel de valorar laconsecucin de ciertos objetivos. El evaluador o la evaluadora necesita una explicacin de esos objetivos para hallar luego los criterios ylos estndares ms apropiados para lavaloracin del rendimiento. Pero esa misma forma de pensamiento sirve tambin para valorar actividades y contextos, para ayudar al desar ol o organizativo y

22. Siempre costar un poco mantener lados los estndares en orden. Los estndares de la evaluacin basada en estndares son aquellos factores o ingredientes con los que se l eva a cabo una evaluacin. Algunos de ellos son los estndares de valor que las personas emplean para juzgar la calidad del evaluando. Los estndares pueden ser escritos o no, pero siempre son conscientes. Ms all de eso, el proceso de evaluacin formal se valora en funcin de unos estndares profesionales, como los [on Standards (joint Commit ee, 1994) o los Guiding

Pnnciples de la AEA (Shadish yotros, 1995).

108

EvALUA(IH(OMmNSIVA

109

LAEVAlUAUNBASADAENESIANDAiES

para estudiar la poltica general yfacil tar la ac in sociaPues bien, esa pregunta ya est dando a entender la existencia de un sesgo, !' Elenfoque basado en estndares puede ser til para los diversos roles ddeulave acin. una falsa expectativa: la que resulta de ver las cosas a travs de unos ojos e la anglfonos. Representar las opiniones que el alumnado tiene de laadminisde complicidad es un sesgo. No Anne McKe , del Kings Col ege de Londres, evalu el apoyotracin de su escuela como esencialmente aldesar ol o del racial esun ejemplo ms pertinente de sesgo del personal existente aescala regional apartir de una muestra dreconocer ladiscriminacin e pequeas clnicasmdicas delnoroeste de Inglater a. Determin unos criterievaluador ode laevaluadora. Los buenos evaluado res tratan de examinar sus os deapoyo aparde deteccin para tirdelosque haba obtenido dedosautoridades regionales distpreguntas en busca de sesgos yde utilizar procedimientos intas. Una de l as pona el nfasis en lanecesidad de alinearse con lasregulacionreconocer los efectos del sesgo que no fueron detectados anteriormente. es del gobierno que present en el simposio celebrado COII moticentral. Laotra animaba alpersonal avalorar suspropias necesidades yaplanifi- En la comunicacin vo de mijubilacin, Michael Scriven dijo: el sesgo, la falta de objetividad, carlaformacin enfuncin de l o.Posteriormente, McKe analiz laformacin es, por definicin, una predisposicin al error. [...) Sera difcil imaginar que sehaba producido realmente ydescubri que laconformidad comunicativa un motivo ms significativo, una razn mejor, para desear mejorar nuestras yorganizativa se studiaba msfrecuentemente en aquel as clnicas alasque se cualificaciones [como evaluadores) en aquellas dimensiones relacionainstaba a linearse con lasregulaciones centrales. Lasclnicas msdadas ala udas con laobjetividad (Scriven, 1998, p. 15). Pero la negacin sin ms de toevaluacin programaban ms frecuentemente formacin en temas mdicos y la subjetividad supone dar un paso hacia una simplificacin excesiva. El sanitarios. se,en concreto, era elresultado de rendimiento alque McKe estasesgo es una cuestin compleja ycrucia!' En los captulos 6y9 examinarcbaprestando atencin. Ellaemple criterios explcitos defacil tacin dela c in eidentific losobjetivos de laformacin. Apesar de laelevada racionalidad de suenfoque, dej implcitas algunas necesidades delpersonal, algunos estndares yalgunos factores de ponderacin, pero proporcion datos con losque evaluar losdosmtodos de apoyo aldesar ol o del personal. (McKe yWat s,20 0) mos los conceptos de se.\goy objetividad. El evaluador o la evaluadora profesional intenta reconocer y limitar sus propios sesgos, luego controla el trabajo que realiza a procedimientos de validacin yrevisin, yrecurre asus colegas yasus lecton~s_pa:<LqueJe",==~~= indiquen qu parte de su trabajo contina estando sesgada. Una-de-Ia~~es-----trategias iniciales para tratar lacuestin del sesgo es lade lae-XcpliE'dcin-d>,-~=---lo que es lo mismo, la de hacer que todo sea lo ms explcito posihlc-:-Eso supone plasmarlo sobre el papel o en la pantalla para que pueda difundirse, examinarse y exprimirse a fondo. Significa tener mucho cuidado a la hora de definir trminos yoperaciones. Significa probar antes lafrmula de recogida de datos escogida y abrir el uso de instrumentos yprotocolos a un examen crtico. Significa ser objetivo, limitando al mximo la influencia de las preferencias personales. Tambin significa asignar una gran parte del presupuesto para la planificacin, la estandarizacin, la elaboracin de preguntas, los formatos de presentacin de los datos ylos ensayos de prueba. y,en el terreno estratgico, significa la formalizacin del proceso de comparacin del rendimiento medido con estndares explcitos.

Sedice que el pensamiento racional contrasta con el pensamiento intuit vo. La racionalidad en el trabajo evaluador resulta atractiva para muchos clientes en el mundo acadmico, empresarial ode la administracin pblica. Lamayora de evaluadores yevaluado ras se enorgul ecen de su racionalidad yde su capacidad para exponer claramen te los pasos que siguen en sus evaluaciones. No se trata slo de una cuestin de valor de mercado yde orgul o: tambin se trata de controlar lasubjetividad yel sesgo de este complejo mundo de la determinacin de las virtudes ylos defectos.

Sesgos
Hacerse evaluador oevaIuadora profesional (o hacerse un profesional de 23 cualquier clase con conocimientos en evaluacin) signifca, en parte, aprender alidar con los se gos. Los evaluadores expertos tienen inclinaciones, como todo el mundo, pero la mayora se sfuerzan por reconocerlas ylimi- Amenudo, estilpensarquelavucin basd enstdares untipode tarIas. Se disciplinan as mismos, ponen trampas par atrapar su limitacio- evalucinqueprocdeporfase.Lfased laprouesta, lpreacin yla nes ylos mejores indican incluso asu clientes ylectores que, dado que no sepueden eliminar todos los esgos, tambin elos debern estar atentos por 23.Loslamo fctres porque sonmsqueparts ocmponets: onfuerzas odetrminasi surgen. El se go es endmico. Habr quien se pregunte: A qu edad tes.Eltrmino [actor eflja un parte d suproi carte dinmco. Nodebn confudiraprende un nio escocs a decir "aye" en lugar de "yes" (par decir "s")?. seconlsfactores dlanis factoril, derivaos delainterco lacin devaribles.

Facfores

-~r.~ '.~'1;:~~f'ti~,': .~

,&. b

i~
110
fVAlUACINCOMPRENSIVA

i
"

1.,

I
LAVALUACIBNASADAENEsrNDms

elaboracin del informe son ejemplosrrpa econocer sudetm rios ysudeesasfases.Aveces, calificamos ese proficencias. Pued tra rse de un rasgo ceso de lineal, aun cuando escclico ingrediyautocorrector, Estasfases ayudan aopente que s consider es ncial. Seconviert en basepar unav loraracionalizar (a hacer operativos) losaocin un c in cuandfactoresdvsldeuso efija n stn ar.Aguno e alu ores yevalu - de la evaluacin basada en criterios. Los[actores de laevaluacin doras tra n ebasadaeasqspddl mo e enar ue e b s n crite os enemco l nico estndares son: l. Las necesidades de los receptores.ndiaesproceo d v lu cn ef dible, puesto que obliga laexpresin formal 2. Los objetivos del programa. de los bjetivos ydel rendimento en trminos de descriptores genricos, 3. Los criterios de evaluacin. com pued n ser lav nce medi o en trminos de r ndimento, producti4. Los estndares de evaluacin.vida oreduc in de coste. 5. Los pesos o ponderaciones Edeest ndar s de valu csntesis.peadertnni . U esnda (d fin o y en lca tulo anterio) 6. Los rendimientos o actuaciones,tcues na anida un ivelo una manifestacdeliei n d uncrte o det rminapersonal y de los participando que tes/ receptores. indca l difer ncia entre dos nivel sde mrito distnos. Esuna punt acin 7. Los costes del programa. de corte, com laque marc ladifer ncia entre un aprobado yun supenso, pero que tambin pued ser aplicable a otr s mritos. Se pued n utilzar Todos esLOS factores aparecen cdefinidosccnirliurtemo sndaes n ved endme to on reto un conju toenmjde e - el cuadro 5. plosde dicho rendimento, pero, gen ralment , el stndar forma parte de Cuadr5o.Definicidelnosfactordelaevaluacibasadaenestndores es n un mod de pensar bas do en crite os, msque de una seri de categorizaciones ap rti de j mplos. Losetndares onimplcitos en loscaosque se utilzanpar ej mplifcar ctuaciones orendimentos recomendables, yase n de valu dores, deabogados odeprogam s de gestin der siduos. Peso oponderaciones de sntesi. Lasntesi es l proceso por elque se rene toda l informacin conelfinde ducir una valoracin resumida de lac lida . Laimportancia relativade cad prueba lahora de decidr lac lida es lpeso que s leda. Elpeso pued ser stadstico impresionsta. Noesprcti a habitual indcar en losinformes losvalorespreciso asignados ac da peso. Rendimentos oactuaciones delp rsonal yde losparticpantes. Porel ndimento lactuacin del valundo sentiend, genralment, elrndimiento lactuacin del personal del progam yde losparticpantes en el mis o. Enelrndimento seincluyen tano l sproceso com losproductos del progam. Elrendimento pued medirse por medio de algn tipodetsque indque cambios en ldomino oc nocimento deun tema op r medio dealguna espcie d inve tario queindque lacntida que s halogrado. Enelcasode laev luacin basda en stndares, elvaludor o laevluadora compar esrendimento con losetndares par detrminar losmritos del progam. Coste delprogam. Losc tesdlprogam sonl sfondos empleados par fina ciar el personal, el quipamiento yel funcionamiento del progam, pero tambin sonlosc tesn esp cie nforma deinstalciones, asitencia, hospitalda ycontrol derisgo.Losc tesdop rtunida , aquelo aloque seha renu ciado de icando losrecurso aestor progam, sontambin costedlmis o. Lamedicn delosc tesimplesr ulta suma ent complicad , mientras que d losdems costeslopuedn hacers estimaciones.

(. Necesidades delosreceptores. Lamayora delosprogramas quc evaluamos

de 1I1<I lTIa CI OSdirecta yastaslasl amamos agcl tcs implicados. Los ervicios edisean con elfindesatisfacer algunas de lasnecesidades de losrec ptores potenciales. Losdiseriadores delprograma deciden cules sonesas necesidades. Procuran abordar slo unas pocas de lasmuchas que puedan tener esosreceptores ypuede que hastanosecentren enlasmsimportantes. Elcvaluarlor olacvaluadora evala tambin ladecis n que sehayatomado COI respecto al snecesidades que seha optado por abordar ylasque no. Esavaloracin de lasnecesidades puede ser formal oinformal. Objetivos del programa. Losobjetivos son objetos ometas que elprograma trat de alcanzar oque otros quier n que alcance. Cuando sehabla de los objetivos de un programa, generalmente se hace ref rencia a losque han sido declar dos explcitamente (util zando, normalmente, un lenguaje forl Ial).En el mbito toal de los bjetivos (declar dos on , conscientes oinronsci utcs) 1 0se incluyen nicamente los de los pairocinadores del programa ylosdel personal del mismo, sino tambin losde losparticpanresyotr s agents implicados, hast alcnzar, incluso, amecnas, contribuyl"IeS,cOIlpuidon:s yop nc ts, Aunq e stlig-adop r UIcontrao 01 I l"Icarg-oestricos, el cvaludor necsita decidr cunta tenci hayqle presta l cad lIJOde los bjetivos. Criterios de valuacin. Uncriterio (defindo yaen elcaptulo anterio) es 1 1atributo de Inobjeto o de una ctivda det rminados que se utilza

proporcionan un servicio aunas personas, que pueden serpacientes, usuariosde un parque, personas que reciben formacin oestudiantes. EstaspersOl asSOIlSl Slxncficiarias potenciales oreales, Otras personas sebenefician

12

EVALUACiCOMPRENSIVA N

LAEVALUACiBNASADEANISNOAiIS

13

El evaluador o la evaluadora trata de reconocer, explicitar y medir estos factores para el caso concreto del evaluando en cuestin yen la situacin dada. Todos los factores son considerados en cada fase de un estudio de evaluacin. Aveces, llamamos a esas fases planificacin, recogida de datos, anlisis e interpretacin. El cuadro 6 ilustra una secuencia tpica de las mismas que fue utilizada como marco para el Proyecto Calidad de Vida (Quality of Life Project): el marco fue diseado por el personal del proyecto, pero result til tambin como estructura conceptual para la recogida de datos para la evaluacin". El hecho de pensar en fases refuerza la idea de que la mayora de evaluadores esperan que los factores se mantengan fundamentalmente inalterados durante el estudio. As, en aras de la integridad de la evaluacin, no deberan cambiar, por ejemplo, las percepciones de las necesidades de los receptores. Los objetivos deberan continuar siendo ms o menos los mismos. Las mediciones, muy especialmente, deberan seguir fijas porque la valoracin del rendimiento suele depender de una seleccin yde una representacin cuidadosas de los criterios, que implican un desarrollo muy costoso de instrumentos yprotocolos. El evaluador o la evaluadora que se basa en estndares se acoge as ala prctica del cientfico o la cientfica social que dice: si aparecen nuevas ideas durante el estudio, empieza uno nuevo paralelo al que ya ests haciendo; no trates de cambiar la pregunta central de la investigacin ni los criterios ni la recogida de datos en pleno trabajo". Esimportante que en la planificacin de laevaluacin se tenga ya previsto el trabajo que se necesitar llevar a cabo dentro de cada fase. Cada uno de los factores precisa de unas habilidades especiales del evaluador, como quedar demostrado cuando expliquemos cada uno de ellos ms adelante. El evaluador o la evaluadora individual tiene que prepararse para identificar yhacer explcitos los factores. El organizador de un equipo de evaluacin necesita asegurarse de que los miembros de ste renan como colectivo esas habilidades. Para poder realizar la crtica de un estudio de evaluacin es necesario tener una idea de cmo los evaluadores entienden el significado de los factores. Cules son los criterios de unos buenos estudios de evaluacin? Los buenos estudios de evaluacin deben seguir unos estndares aceptados de prctica (Joint Committee, 1994), deben describir bien el programa y deben obtener una imagen correcta de su valor. Pero tambin estn los criterios de uso.

~.
<lJ

'"
<lJ

c:
<lJ bD

.'2"
c-,

9
<lJ V
V

24.Meencantara haber atribuido elcuadro 6asusautores, pero no logr averiguar quines eran. Pido disculpas por ello.

-r .",.

lf 1

,
.' :';

}'

~'"

-- ~

i'
i

it
,

l'

,.,
j
t

'

LA

EVAlUACiN

BASADA

EN

ES1HDARES

ello a una

crearon las

cinco

niveles del por

de estado

criterios por

de parte

aplidel estay de

intenciones estima hora de

elevada a o de la

dichos

estndares materiales tercer ao

utilizar

seleccionar En para el

cin

evaluacin). escuelas estndares.

encueshasta qu a

71

determinar Tambin se

dichos

encuest

iversos

tems fueron luego clasificados yde losactores sociales y obprofesional, principalmente y aprendizaje

yo comunitario

desarrollo

eciaron

cambios en el no lecti-

ear el currculo

con los estndares,

ento

alas tutoras en horario

en laaplicacin

escolar alo largo de los

116

EVAlUACiN COMPRENSIVA

LAIVAIUICIN IIINDWI BIIAOAIN

117

rucho, de gran vozarrn yguapo llamado Rogge, a quien le gustaba escuchar las ancdotas del sargento de instruccin. Cunto de aquel vozarrn realmente necesitaba para aquel puesto? 0, lo que es lo mismo, cul era el estndar vocal para losjefes de escuadrn? Yo lo desconozco. Podra ser que el sargento de instruccin simplemente seleccionara a quien tuviera la voz ms fuerte de todos nosotros, pero, probablemente, haba otros criterios que se anteponan a este otro. Los criterios se ponderaban de un modo u otro (probablemente, de modo intuitivo) y de todo ello resultaba una seleccin. Aqulla era, de todos modos, una decisin fcil de cambiar. Los criterios nos indican a qu caractersticas hemos de prestar atencin. Empleamos criterios para facilitar que las selecciones que hagamos sean buenas. Puede que cuando vamos a la tienda a comprar un abrigo no seamos conscientes de que tenemos criterios yesperemos simplemente elegir el adecuado cuando lo veamos. Pero aceleramos la seleccin y,probablemente, evitamos alguna que sea mala siconcebimos algunos criterios por adelantado. De qu tiempo nos tiene que proteger el abrigo? Sever bien con mi gorra favorita? Tiene bolsil o para los cigarril os? Algunos criterios no se materializan hasta que se vulnera algn estn dar oculto: Oh, el de color negro picaba demasiado". Los evaluadores que se basan en estndares tratan de clarificar el cuadro de criterios con antelacin. Piden ayuda a los miembros del personal yaotros agentes implicados (a veces, por ejemplo, a los participantes y a los receptores) para identificar criterios. No quieren verse sorprendidos por la repentina aparicin de nuevos criterios o por la desaparicin de otros con los que contaban para realizar sus valoraciones. A veces, los evaluado res estn en disposicin de saber mejor que nadie cules son los criterios relevantes, pero a menudo son otras personas cercanas, dotadas de particular agudeza ylegitimidad, las que mejor pueden clarificar los estndares a utilizar. Los criterios mltiples suelen merecer especial atencin, incluso si la correlacin entre ellos es elevada. En una actuacin o recital hay que prestar atencin no slo a la calidad de la msica, sino tambin a la produccin, al encaje de la seleccin musical con el estilo de interpretacin ya la actitud del pblico. y la propia calidad de la msica tiene, a su vez, diversas dimensiones. Los crticos musicales emplean una serie de estndares con los que, amenudo, clasifican lasactuaciones en categoras como alestilo de Aaron Copland o del primer Bob Dylan. Estas categoras actan como criterios ycomo estndares al mismo tiempo. Al reconocer lasactua-

ciones como pertenecientes a un gnero determinado, el CrItICOest haciendo tambin referencia asus virtudes o demritos, enriquecindolos con comentarios sobre los puntos en los que no han dado el nivelo sobre aqullos en los que lo han dado sobradamente. Todo intento de resumir la calidad del rendimiento de un evaluando en un nico criterio est pr.ir.ticamente condenado a simplificar la evaluacin en exceso. No basta con explicitar un criterio al mximo: hay que hacerlo con todos los criterios importantes. Cada grupo de actores sociales implicados pensar en criterios diferentes. Tomemos el caso, por ejemplo, de un restaurante indio: el Basmati. Tanto a los clientes locales como a los que no son indios les gustan el curry yotras especias yvaloran con nota el restaurante. Sin embargo, los indios tienden a evitar el local porque encuentran la comida que all se sirve demasiado distinta de la de su pas de origen. En el caso de la formacin y del funcionamiento de las escuelas (sobre todo, durante un perodo de reforma escolar) muchos son los esfuerzos que se toman para hacer explcitos unos determinados estn dares de aprendizaje. Qu debera saber un estudiante? Cul debera ser su rendimiento para ser bueno? Son preguntas difciles, pero numerosos estados estadounidenses han movilizado al profesorado ya otros actores sociales implicados para identificar estndares para cada asignat.ura o materia dentro de su curso o nivel correspondiente. En el cuadro 7 (vase en la pgina siguiente) se recoge una muestra de unos estndares de ese tipo que se aplican en las escuelas pblicas del estado de Nueva York. El cvaluador o la cvaluadora de un programa que emplee esos cstndarcs debera estudiar los de forma exhaustiva ycrtica. Cada profesor o profesora har cosas completamente distintas para satisfacer dichos estndares yes muy posible que, incluso aunque el alumnado de cada uno de ellos obtenga puntuaciones medias muy similares, su aprendizaje real difiera sensiblemente. Esa clase de estndares no homogeneizan necesariamente la instruccin ni igualan las oportunidades educativas. En el captulo anterior se reconoca que rara vez pueden identificarse los estndares cuantitativos por adelantado para que se pueda realizar una simple comparacin del rendimiento observado con los mismos. As, si se usan expertos o agentes implicados como jueces, los rendimientos suelen compararse -ex post- con unos estndares implcitos. Si no, los rendimientos observados se comparan con los rendimientos de un grupo de referencia determinado como indicacin de su vala. Ninguno de estos mtodos satisface todos los puntos que la comunidad de evaluadores yevaluadoras considerara una buena indicacin de la calidad, pero si podemos llevar a cabo algunos de ellos, nuestros clientes, los agentes implicados y muchos sectores de la poblacin ya estarn satisfechos con nuestro trabajo.

25. Llamamos error de especificacin- al usode criterios equivocados para responder auna pregunta determinada. Es lo mismo que un error de estmulo?

. ~.

20

EVAlUA(IN(OMPRENSIVA

lAEVAlUAClBNAlADAENI IDARES

121

Shanel e gana 3,50dlares al hora Lafamil a de Bob ie compr una por hacer de canguro. Cada semana piz a.Sumadre ysuhermana comiehace de canguro durante 4horas. ron, en total, 1/2 de lapiz a.Bob ie secomi 1/2 de loque quedaba. Util A.Cunteza lc rcuol pdiarandierbujaor unganargfa i u a alasemana? Respuestmuaestre__cunto trozo de piz ase que 1. comi Bob ie. 4.Losalumnos ylasalumnas utilizan B.Cunto dinero gana en 4semanas? modelos matemticos/representacioRespuesta __ nes mltiples para facilitarse un modo de presentar, interpretar, comunicar y conectar lainformacin ylasrelacio'9;. nes matemticas.
0 ;

Losalumnos ylasalumnas: Usan materiales concretos para hacer modelos de relaciones espaciales. Construyen tablasygrficas para exponer yanalizar datos del mundo real. "'. ." Usan representaciones mltiples (simulaciones, materiales manipulat=vos,imgenes-y diagramas) como .herramientas con lasque explicar el funcionamiento de procedimientos cotidianos. Usan variables como laestatura, el peso yeltamao de lamano para predecir loscambios que seproducirn con elpaso del tiempo. Usan materiales fisicos,imgenes y diagrarnas para explicar ideas yprocesosmatemticos, ypara demostrar conceptos geomtricos.

Qu fraccin del total de lapizzase comi Bobbie? Respuesta __

o
I
~

Notasl:osideasclavestnnumerad(al)s, losindicodordeesrendimienestonidentificorodosnromoosnegro(s.). lostoreadsemuestreastnidenHficodanlslingulouegms.=J:.o- .)- "'=~=

Estudioelsnecsidaes
Los evaludores ylas evaludo ras de progams sueln tenr com evaluandos progams en funcionamiento. Son progal ~ que hur-n algo par unos recptores detrminados: los forman, les dan de comer, los curan o les alvn lavida, por ejmplo. Los patrocinadores yel personal que crean y hacen funcionar el progam establecn unas finald es par elmis o: aquelo que quiern que consiga. Responde, as,alo que consideran que son las necsidaes de su recptores. Cuando declarn Estoehac evidnte, porejmplo, los bjetivos del pwgram en cuestin, dan aent der que yahn estucuando lsetudiantes: <, diao las necsidaes de los recptores potenciales yque tien intcuConstruyen un cubo con bloques de cin de alivarls. dimensiones 3x 3. " Usan fichas cuadrad s par modelar Pued que par el valudor olaevaludora sea importane hacer un diverso rectngulos de un rea de estudio valorcin indepndient de las necsidaes, yasea porque no 24unida es cuadrad s. ': ./ hay coincdencia plena sobre las mis a, o prque han sido evaludas de "'_Le n un.diagram de bar s obre forma inadecuad, o,simplemnte, porque levaludor cre que snectendencias demogrficas yredact n sario hacerlo, Este studio pued ser formal oinformal, aunq e lamyora una explica in de lainformacin en lconte ida. "<: .; de personas espran que los etudios formales ean ms preciso, tiles y crebls. Elevaludor olaevluador pued encustar alspersona que tien lasnecsidaes (por ejmplo, alosu arios de una biloteca) oa

r,

',t

J' ,.. ~ ~ ii ;iIi;\,<'II\

:;

l.

:tt ~ .

.'.
12

122

EVAlUMIN(OMPRENSIVA

LAEVAlUIONBASADAENESTNOlifS

quienes cuidan alos que tienen esas necesidades (por ejemplo, alas madres). Encuestar apersonas con percepciones diferentes sobre cules son las necesidades puede incrementar la validez del estudio. Una necesidad es la ausencia de algo imprescindible para un funcionamiento satisfactorio". Las personas tienen in umerables necesidades: de comida yde aire, de hgados yde amantes, de privacidad yde oportunidades educativas. Las personas tambin quieren esas cosas, pero, por otra parte, tambin quieren cosas que no necesitan (emociones, por ejemplo) yno quieren cosas que s necesitan (como, por ejemplo, la compasin). Para un evaluador es importante conocer lo que las personas quieren adems de lo que necesitan y,en ocasiones, por qu. Cuando sevaloran las necesidades, es difcil c irse aestas nicamente sin incluir numerosas cosas que slo se quieren, pero tambin es difcil definir lo que significa el funcionamiento satisfactorio mencionado en la definicin. Para lalabor cvaluadora, las necesidades que se han de especificar son aqul as ms directamente relacionadas con el funcionamiento del evaluando. Sievaluamos un programa de lectura, no prestaremos mucha atencin a las necesidades relacionadas con la salud (al menos, no hasta que demos con un motivo para cre r que son sas, precisamente, lasnecesidades que estn interfiriendo en la lectura). Admitiremos que todas las personas necesitan le r, aun cuando reconozcamos que no todas pueden esperar conseguirlo (yquines seran las que no podran?). Quer emos tener mucho cuidado ala hora de determinar un nivel apartir del cual todas las personas deberan le r, aunque sintamos presiones polticas para declarar niveles mnimos ntimos. Las personas somos seres con recursos ypodemos compensar muchas debilidades con otros puntos fuertes, as que cuesta encontrar necesidades que sean incondicionales. Esto no significa que haya que disminuir el grado de obligacin que tienen las escuelas pblicas de ofrecer buenos programas de lectura, pero sque conviene sealar que muchas de las necesidades que sedeclaran pblicamente son ms el resultado de laretrica poltica que de un estudio cuidadoso de qu factores resultaran debilitadores si no se consiguieran. Los evaluadores ylas evaluadoras harn bien en muchas ocasiones de describir las condiciones de mal funcionamiento existentes en lugar de proceder auna especificacin rigurosa de lo que se necesita. sta no es ms que una de las mltiples posibilidades por las que puede optar el evaluador, Una especificacin completa de todos losfactores yde sus implicaciones sera ms de lo que se podra conseguir. Algunas cuestiones se quedarn sin examinar ysin mencionar.

Objetivos
Obviamente, los objetivos de un programa son (independientemente de lo que se pret nda de l, formal oinformalmente) los resultados alos que se dir ge, pero no slo resultados. Las condic ones preparatorias adecuadas y el funcionamiento que se persigue son tambin objetivos. Muchas veces, habr una declaracin de objetivos ofic ales confec ionada por los patrocinadores oel personal del programa. Estas declaraciones suel n centrarse en los benefic os pret ndidos, concretamente, en la paliacin de dfic ts y necesidades. Habr quien sostenga que el mrito de un programa tiene que verse en sus resultados, pero, por lo general, se dedican tambin grandes esfuerzos simplemente ala creacin yel sostenimiento de un programa. Tambin los objetivos intermedios ode construc in de capacidad tienen que ser incluidos en cualquier percepcin de los objetivos que se haga el evaluador ola evaluadora. Yentre los objetivos de una persona joven, de una iglesia ode un ejrcito permanente puede haber algunos que sean amuy largo plazo yque estn ocultos asimple vista. Incluso cuando se adopta el enfoque de la evaluacin basada en objetivos, rara vez la mejor manera de servir lafinalidad de laevaluacin es limitarla alos objetivos declarados. Hay que tener en cuenta toda una serie de fines del personal yde los agentes implicados, incluso aunque los clientes que encargan la evaluacin pidan que slo se studie la consecucin ono de sus propios objetivos. La evaluacin basada en objetivos suel util zar los objetivos expuestos por lospatrocinadores opor elpropio personal comoprincipales organizadores conceptuales del estudio. Vanse, por ej mplo, losobjetivos del Programa de Desar ol o Nacional del Reino Unido (CET) recogidos en Computer Assi ted Learning (< Aprendizaje asi tido por ordenador) (Ho per, 1975), un proyecto de investigacin ydesar ol o en el mbito de laeducacin superior. Intenciones del programaCET: Desar ol ar ygarantizar la similacin del aprendizaje asi tido ygestionado por ordenador sobre una base insti ucional regular aun coste razonable. Formular recomendaciones alosorganismos apropiados de los ectores pblico yprivado (DES,UGC,Computer Board, LEA,elMinisterio de Defensa,losfabricantes de ordenadores) apropsito delosposibles nivel sytipos futuros de inversiones en aprendizaje asi tido ygestionado por ordenador en losmbitos de laeduca in ylaformacin.

El informe de valuacin de Bary MacDonald sobre el CET, The Program e at Two,fue publicado en 1975 por el britnico Centro de In~(i. En el FlIfh/l iol/ 'I1w."'UnlS de Michacl Scriven (19 1, p. 240) se plantean de forma muy voc n eesltigeascitundioAplicdade neenceEsdiudcaa-in. Fijmon s de nuevo en los estndares adecuada una serie de problemas que pueden surgir en relacin del estado de Nueva York sobre rendimento del alumnado que se recodes.

24

EVAlUACINOMPRENSIVA C

LAIVAIUACINBASADAINIl iNDARIS

125

gan en el cuadro 7.Aquellos estndares parecen objetivos. Aveces, los ob-Ejemplos demuestra jetivos de un programa parecen idnticos a sus estndares. Los objetivos Instruc iones: le lasdescripciones breves de algn aspecto de lavida colonial son, supuestamente, blancos a los que apuntar. Segn el diccionario, losqueseofrecen acontinuacin. Luego, en elespacio en blanco que precede ala estndares derendimientodeberan ser puntuaciones de corte que permitan juz- descripcin, escribe laletra del tipo de colonia alque cor esponde lasi uagar el rendimiento. Los objetivos deberan estar por encima de esas pun- cin descrita. tuaciones de corte, pero los trminos se utilizan de forma indistinta. Lostres tipos de colonia son: Aunque en el pasado ms que ahora, algunas autoridades continan A. Colonia de propietarios. exigiendo que los objetivos de los programas se enuncien en forma de ob- B. Colonia real. jetivos conductuales en los que se indique lo bien que los receptores de C. Colonia estatutaria. una determinada instruccin, por ejemplo, deberan ser capaces de renl. Hoye un i ta dir una vez finalizado el programa. En el cuadro 8, se_ muestsran da almgporunosetn en esta colonia. Ha pasado un ano desde qlle sefueelec braelor n Instsal lrtuctasioenaliones, asque hoyes elda en que todos loshomim lec objetivos conductuales extrados de lo que, en tiempos, bresInformaciolonina eligEdu-sa ugobernador. Aunque, en teora, suelec in libres delac en Information Exchange (un programa de Intercambio de ra da cativa), dirigido por James Popham. La diferencia entrdeegobelronasdorobjhaedteisveosprobaque ror elreyde Inglater a, hace yamuchos anos queehorlmaonaorca nosemolesta en roner objeciones aningn nuevogobernador. son conductuales ylos que no bien merece que se le dedique una poc dos de atencin, si es que nunca antes se ha reflexionado sobre Aselqlaue. , Laso preocupados porloque elreypueda pensar, loshombres libres e rroernensupo-elconsistorio municipal para celebrar laelec in. en implicaciones en el caso de la enseanza son evidentes. Es un er ner que ladocencia siempre mejorar siel instructor o lainstructora_ 2.Hoyseviveuna gran agitacin en esta colonia. Acaba de saberse que apunta ms insistentemente a objetivos de ndole conductual. el rey ha nombrado alos nuevos miembros de lacmara alta del legislativo yha Los organizadores conceptuales son temas, cuestiones importanteleesgido tambin aun nuevo gobefl aclor. Loscolonos saben por expecia a o enunciados de calidad necesarios que un evaluador o una evalrieunadorque losrersonajes nombrados por el monarca xuclrn mostrarse I IUy poclao rpreeco-cupados por losproblemas clGlacolor ia~EI~guheTnadorrlTnne+{-. -1-------usa para conformar su propia concepcin de la organizacin de o ser-ms dis de plan nfor acepta gida de datos ydel queeoun untiranode iquemes". elcargo para.prornocionarsc en su propia. carrera. Cuad8ro.Ejempdleo_:l.cudsovtjb e ic n tuoles ElSr.X recibi una vastaextensin de territorio de manos del rey ,1e.unhio de un servicio destacado alacorona. ElSr.X,descoso d("qll("se insralrn CATEGORA PRINCIPAL NUESTRAHERENCIA COLONIAL Objetivo 5:Tipos de colonias Ante una descripcin de una situacin que retrate algn aspecto de lavidacolonial ode un acontecimiento poltico real en una colonia, elalumno ola lumna indicar eltipo de colonia alque cor esponde dicha situacin: una colonia de propietarios, una colonia real ouna colonia estatutaria. colonos ensustierras, empieza aofrecer parcelas de terreno aprecios tan bajos que pronto tiene miles de habitantes en ellas.Sabedor de lanecesidad de organizar un gobierno de algn modo, nombra aun gobernador, instaura un sistema de tribunales y anuncia elecciones abiertas para ocupar los cargos del gobierno local. _ 4. El gobierno de esta colonia, siguiendo rdenes directas de la corona, acaba dedecretar eltoque de queda apartir de lassiete en punto para sushabitantes. Loscolonos estn muyindignados, pero susvocesno pueden hacer nada frente algobernador. Deciden redactar una peticin alreyimplorndole que le d orden de levantar eltoque de queda. _ 5.Elconsejo ylaasamblea de esta colonia acaban de serelegidos en lasltimas elecciones anuales, celebradas hace un mes. Lasemana pasada aprobaron una medida que, con toda probabilidad, desagradar alreyen cuanto sepa de ella. Alosvecinos del lugar, sin embargo, no les rreocupa lareaccin del reyporque ste carece de poder para vetar lasdecisiones del gobierno de esta colonia.

27. Los cientficos sociales emplean amenudo preguntas de investigacin ohiptesis nulas comoorganizadores conceptuales. Loque buscan son generalizaciones con lasque construir teoras (por ejemplo, escierto que el profesorado tomacomo referencia central. para marcar el ritmo al que avanzan con el material docente, alos alumnos yalumnas ms destacados del 25% del alumnado ms rezagado de la clase?) yno la valoracin de los mritos odel valor de un evaluando (por ej mplo, ha adaptado este profesor su ritmode docencia al de aprendizaje de sualumnado?).

-.

J
~

128

EVALUACIN COMPRENSIVA

lA EVALUACi8ASAOA NEsiNOAm N E

129

objetivo, pero tambin hay que tener en cuenta que es muy dificil dividir al mximo un presupuesto limitado entre todos los posibles grupos defensores de posturas diferenciadas. Cuadr9o.latransformacdienlasespecificaciones

luador o la evaluadora que se basa en estndares intenta hacer explcitos los costes de un programa (no slo losmonetarios, sino tambin losque son en especie, los psicolgicos ylos de oportunidad). Aveces, los recursos que se aprecian en un programa son slo losde costumbre, aquellos que losagentes implicados ya conocen de sobra. Pero, por lo general, el clculo de los costes de un programa nuevo o alternativo es no slo importante sino tambin dificil yrequiere muchas veces de ms presupuesto ytalento del que elevaluador o laevaluadora puede aportar por ssolo o por ssola. Incluso en losmejores estudios basados en estndares, puede que slo se haga alusin a los costes yque en ellos slo seincluyan losgastos. En sentido estricto, elcoste no implica una determinacin de la calidad, pero s que forma parte de ladescripcin completa que se necesita para entender lacalidad de un programa.

Segn la propuesta Segn -se especif ca Segn fue diseado delpatrocinador del en la solicitud del por el analista sproyecto. nior. proyecto.

Segn fue produci- Segn fue instalado Lo que quera el do por los progra- en el local de los usuario. usuarios. madores.

Cmopuede elprecio de los ujetapapeles ode otras cosas por elestilo serun aspecto de lacalidad? Noloeshasta que elusuario considera que elevaluando ha cambiado de calidad una vezque tambin loha hecho elsujetapapeles, por ejemplo. Esto no signif ca que la satisfac in del cliente yla calidad sean lo mismo. Elcliente puede percibir una calidad elevada pero considerar sucompra mala. Sisedescubre que elsupuesto programa de xito acaba quemando asu personal. puede que cambie laimpresin de lacalidad del mismoque tengan otros agentes implicados. Aveces evaloramenos un l'fograma gratuito que otrol- +"'~" " " '=" "~.de coste elevado. Los costes pueden atenuar de.forma.habitual lasensacinzl. .~ de bondad de un programa. Elevaluador no tiene por qu conocer lafrmulanivalidarla. Losagentes implicados-se. forma~ILSin.tonia. con_sL \ida. p.e.rsonal:=:-,_+ _ ideas sobre lasvirtudes de algo, entre las que se incluyen, consciente einconscientemente, cualesquiera ingredientes que laexperiencia ylarazn les enseen. Lacalidad esuna construc in del agente implicado y.aveces.asha de ser trat da.

La evaluacin libre de objetivos fue inventada por Michael Scriven (1973) con la intencin, en parte, de protestar contra las pret nsiones de ger ntes ypatrocinadores de limitar la evaluacin a10que el os queran que se evaluase, pero tambin de clarif car la obligacin que tiene el evaluador ola evaluadora de decid r qu grado de atencin debe prestarse a los difer ntes objetivos.

Coste
Elcon cimento de lac lida de un progam suel ten r una utilda limtad si,au vez, no se adquier un cierto con cimento de su coste. Eleva-

En ocasiones, es til examinar estimaciones de los recursos dedicados adistintos objetivos del programa. En 1969, en el CIRCE tenamos un contrato para desar ol ar mtodos de evaluacin de la actividad ylos materialesde las escuelas locales para el Programa de Estudiantes Superdotados de lI inois. En el informe del final del primer ano calculamos la divis n de trabajo ycostes segn se muestra en el cuadro 38 del captulo 7. En la evaluacin de polticas se tienen en gran consideracin el anlisi de costes ylos estudios de coste-benefic o. En es ter eno, la atencin de ms largo alcance no est dedicada alevaluando concreto, sino aun evaluando ms amplio compuesto colectivamente de muchos caso que util zan el mismo enfoque operativo olasmismas instal ciones. En ocasiones se dice que lamejor manera de hacer compar ciones entre alternativas escalculando larelacin coste-benefic o de cada una de el as. En elcaso del Progra-

. ~.

1i
130
EVAlUACiNOMPRENSIVA C

'~'j;.

13

LA EVALUACIN ENES/NDARES BASADA

ma de Educacin para Estudiantes Superdotados ycon Talento Especial de aplicacin en todo el estado de Indiana (vase el recuadro siguiente), los costes estimados favorecan el enfoque del enriquecimiento por encima del de laaceleracin, pero los beneficios estimados para el alumnado favorecan el segundo. No se calcul ninguna ratio cuantitativa para realizar una comparacin objetiva entre ambos porque laescala de los beneficios y la de los costes era demasiado hipottica. As pues, al Departamento de Educacin de Indiana se le presentaron factores que influan en los costes ylos beneficios, pero no ratios especficas susceptibles de comparacin. Lasescuelas participantes en elPrograma de Educacin para Estudiantes Superdotados y con Talento Especial del estado de Indiana en 1985 podan elegir entre dos estrategias curriculares. As, la poltica del superintendente estatal apoyaba eldesarrollo yelusode: El enriquecimiento, con cursos yactividades especiales, mnimamente conectadas con elcurrculo general. La aceleracin, con cursos yactividades especiales destinadas a la realizacin de un trabajo avanzado en lasprincipales asignaturas acadmicas. Segn sepudo apreciar, esta segunda poltica implic laaparicin de un enorme sobrecoste relacionado con loscursos acelerados adicionales necesarios en aos posteriores para losalumnos ylasalumnas superdotados ocon un talento especial. (Stake, Raths, Denny,Stenzel yHoke, 1986)

de ancianos Golden Skies. y su obispo querra una evaluacin del retiro espiritual de invierno. No todas ellas seran en la misma hora, por supuesto, pero lo que usted hara en una hora es, ms o menos, lo que hara en una semana o en un ao: averiguara todo lo que pudiera sobre los factores yel rendimiento ypreparara unos informes que seran cada vez ms probados yexperimentados. Lo que aumentara en gran medida sidispusiera de ms tiempo sera la confianza que usted mismo tendra en lo que usted les dijera al presidente yalas otras dos personas. Una de las primeras cosas de lasque se dara cuenta sera que hay personas que saben ms de ese tema que usted. Asque acudira aInternet ybuscara pistas en Google. Como necesitara documentos que citar, cogera el telfono ypediria que le aconsejaran acerca de los informes ylasfuentes de datos existentes. Tiene poco tiempo para leer ypara eso senecesita demasiado. As que tiene que confiar en otras personas que sepan sobre el tema. Cuadro0.EsNmocin delprogramoftedjTalentdeeIndianpo rolosescuelocsoles 1 decostes Gi COSTESPARALAESCUELADELAEDUCACIN PARAESTUDIANTES SUPERDOTADOS Nota: en todas lasrespuestas alaspreguntas de estasec in tenga sloen cuentalosdatos para 1985-1986. 1. Cunto dinero recibi sucorporacin en 1985-1986de laOficina para Es-

Los datos para analizar estos costes se obtuvieron a partir de una encuesta enviada a todas las corporaciones (distritos) escolares participantes. El formulario de la misma se muestra en el cuadro 10. El anlisis de los costes de un programa es dificil y,segn los supuestos que se asuman, puede inducir bastante aerror. Para buscar ayuda en la literatura profesional sobre el tema, se puede empezar con Mun C. Tsang (1997). Elenfoque de coste-beneficio en educacin yprogramas sociales es deudor en gran medida del pensamiento de Henry Levin (vase Levin y McEwan, 20()1). Por su parte, Barhara Humrnel-Rossi yJan e Ashdown (2002) han publicado un resumen de las ltimas tendencias del arte de los anlisis de coste-beneficio yde coste-eficacia.

tudiantes Superdotados ycon Talento Especial de Indiana en apoyo de su proyectoIDEG/T? (IDE =Departamento deEducacin deIndiana; G/T =Program deEduca in par EstudiantesSuperdotados yconTalento Especial) 1. dlares 2. Cuntos estudiantes fueron ben ficarios inmediatos de loservicos yrecurso adquirdos con lasubvencin del IDE? (Nota: esta cifra deb ra coresponders con lost ales que s indquen en lasec iones IVy I.) 2 . N= _ 3. Cuntos profesores yprofesoras particparon en progam s de desarol de personal ode servico interno fina ciados con esto fondos del IDE? 3. N= _

Representacidelnes miento o rendi

Supongamos que el presidente le l ama yle pide una evaluacin de laCruz Roja estadounidense, yque la quiere en una hora. Usted, obviamente, la hara. Yahora es su madre la que quiere ponerse al tanto de la residencia

4. Par damos una perspectiva muynecsari par nostros, porfavor,identifique losc tesadiconales (proyectados hast elfinaldeao) relacionados con larelizacin del proyecto IDEG/T. Incluya tno tems recogidos en partidas presup estaris conretas com coste ocultos o compartidos,

132

EVALUACION COMPRENSIVA . . ............................

como, posiblemente, dinero correspondiente alcaptulo 2u otras subvenciones o donaciones: todos aquellos costes de la realizacin del proyecto que no estaban cubiertos por labeca IDEG/T. Calcule una estimacin de lacantidad gastada en cada uno de losfines indicados acontinuacin. (Reconocemos que estamos pidiendo informacin de laque no esfcil disponer. Por favor,indique estimaciones realistas.) Costes adicionales en desarrollo de personal, incluidos viajesydietas. 4a. -- dlares Costes adicionales en retribuciones alprofesorado para desarrollo curricular. 4b. -dlares
Costes adicionales del proyecto (no cubiertos por la subvencin) en concepto de

profesores 4c.
--

sustitutos.
dlares

Costes

adicionales

en

asesores.

4d.
--

dlares

Costes

adicionales

en

salarios

administrativos.

4e.
--

dlares

adicionales

en

salarios

por

eIlDE

G/T .

dlares

adicionales

en

personal

__ dlares

adicionales

en

materiales,

dlares

--

adicionales

--

costes

__

adicionales

--

.....

~i- ~J ~ 't

. i

!\'

.".~

I
LAEVAlUACIN ENEsINDARES BASADA

134

EVAlUACIN (OMPRENSIVA

135

No espere averiguar ms una fraccin mnima de aqu se dedican en laCruz Roja, o en Golden Skies, o en el retiro espiritual de invierno. Necesita una declaracin formal (o informal, incluso) del programa, las actividades y los objetivos del mismo, posiblemente mediante algn informe obtenido de Internet. No seolvide del bibliotecario o de la bibliotecaria de referencia en la biblioteca grande que tenga ms cercana. Quizs alguien pueda enviarle algunas pginas por fax. Sino se mencionan directamente, las necesidades quedarn implcitas en el informe. Puede que quiera usted dedicar algunos minutos a pensar en quin ms est ofreciendo esos mismos servicios o en qu sucedera siel evaluando desapareciera. Yqu ms hara usted? Tiene que recurrir a otras personas. Yoestoy seguro de que llamara a Rita. Usted tambin llamara asu propia Rita. Ala hora de informar de su trabajo, usted querra referirse largo ytendido al rendimiento. Es un buen tema sobre el que preguntar a su bibliotecario de referencia. Pero si hay poco tiempo, simplemente tiene que encontrar aalguien con conocimientos que haya escrito yasobre este tema (mejor si lo ha hecho tras largo estudio ycon objetividad). Por supuesto, preguntar es impertinente. Pero usted lo hace: cules son los problemas que plantea la calidad de servicio? Existen grupos que defienden puntos de vista distintos yque tienen, como consecuencia, diferentes estndares y visiones del rendimiento? Cul es el principal motivo de decepcin? En el caso de la Cruz Roja, lo que probablemente ms le preocupar a usted ser obtener una buena informacin sobre rendimiento. Si usted trabajara para la Oficina de laContabilidad General de los Estados Unidos (la GAO) a las rdenes de Eleanor Chelimsky ydispusiera de un ao para estudiar la Cruz Roja, entrevistara a personas que trabajaran en la sede central yaalgunas otras de los equipos de auxilio. Luego leera un gran nmero de los documentos existentes. Puede que se decidiera a encuestar a los beneficiarios si as lo recomendara la existencia de algn desastre en particular, pero probablemente ni siquiera con un estudio amplio de los beneficiarios ylasbeneficiarias dispondra usted de laclase de informacin basada en criterios que necesita. En laevaluacin de laresidencia de ancianos o del retiro espiritual, sin embargo, sque necesitara con casi total seguridad la opinin de los beneficiarios. La pregunta sobre cul es realmente el rendimiento del evaluando merece que se le dedique una detenida reflexin. Puede ste ser reconocido por los beneficiarios y las beneficiarias? Los miembros del personal tienen una concepcin global del evaluando? Cuanto ms complejo sea el funcionamiento de dicho evaluando, ms necesita usted hablar con gerentes o directivos que gocen de perspectivas amplias del mismo o con investigadores o investigadoras que estn realizando estudios crticos. Una de las frases que usted dir por telfono ser: Tengo un par de preguntas que necesito hacerle asu supervisor.

De acuerdo, usted no vaallamar al director de la Cruz Roja ni ala senadora Elizabeth Dole, la antigua directora. Tampoco se rinde si tres personas le cuelgan el telfono cuando las l ama. Lo que quiero decir es que usted necesita aplicar buenas dosis de ingenio yde perseverancia para l egar acomprender el alcance del evaluando, sus imgenes positivas ynegativas,ysusactividades. Usted est tratando de averiguar su calidad ypuede que sea capaz de obtener mejores datos de los que nadie ha conseguido jams, pero tampoco debera suponer que slo los datos sobre rendimiento que usted recoja sern los que valga la pena incluir en su estudio. Los mejores datos sobre calidad, productividad, ganancias o efectividad de un programa son, probablemente, los que se obtienen de las mediciones del rendimiento. Puede tratarse del rendimiento de los receptores, del rendimiento del personal, de la percepcin que los agentes implicados tienen de los beneficios del programa, o de todos esos factores al mismo tiempo. Esos datos pueden evidenciar una mejora, un avance desde el momento 1hasta el momento 2, o una cada en el rendimiento. Usted preguntar directamente alaspersonas cmo han mejorado (o empeorado) las cosas. Cuando formula preguntas sencillas, normalmente necesita hacer las mismas preguntas a muchas personas para que los datos resultantes sean crebles. Agregamos esos datos ycalculamos los estadsticos descriptivos correspondientes e incluso, aveces, anlisis de regresin o modelos lineales. La inferencia estadstica -Ia inferencia de las caractersticas de una muestra auna poblacin (real o hipottica) ms amplia- puede estar indicada o no. (Ysi no, por qu no?) Tengan en cuenta que todos estos procedimientos estadsticos implican que se tenga que buscar la verdad en el territorio de lasgrandes mediciones agregadas, algo que no resulta directamente visible alosojos de los miembros de! personal, de los agentes sociales implicados o de los evaluadores o las evaluadoras. La alternativa alanlisis agregado esel anlisis interpretativo: en ste, la verdad acerca del programa radica en lo que ciertos individuos pueden ver por smismos. La mayora de las buenas evaluaciones contienen elementos de ambos, incluso aunque, a veces, los datos agregados ylos interpretativos apunten hacia conclusiones distintas. Es posible que usted crea que slo se puede llamar a s mismo o a s misma evaluador o evaluadora siagrega un gran nmero de observaciones o de respuestas yrealiza el anlisis estadstico consiguiente. La evaluacin basada en estndares de un programa de gran tamao incluir generalmente una gran cantidad de informacin estadstica, pero la esencia de la responsabilidad consiste en alcanzar las mejores conclusiones posibles acerca de la calidad del programa. Ynada de esto queda garantizado por e!simple hecho de preguntar a un elevado nmero de personas, especialmente cuando se les pregunta por lacalidad de decisiones en las que poco han podido intervenir.

136

EVAlUACiNOMPRENSIVA C

LAEVlUACiBNAlD[NlAOm

137

Para evaluar el rendimiento, tasdelnecesitaloinnyfpros ado delaum do, c omentaros ncluids,yremit as o recoger observaciones repetidas de cada uno de los rendimientos autores n lods emans.Elprobimportantes. Para evaluar el retiro esema er qu,par entocs,tosyahpiritual de invierno, es importante bandeci ocambirlaobtener datos sobre la planificacin de expican oiserta problemas diconales ntrelos las actividades ysobre laparticipacinejrciospar losaumnos. en lasmismas. No hace falta resumir el rendimiento en una nica valoracin. Las sesiones en grupos reducidos pueden ser de una calidad muy distinta a las de las sesiones plenarias. Podemos llamado anlisis descriptivo.olUnode osapects m desalntdores delos tudios eDe usted depende pensar, especifivalutios e car, describir y obtener datos valorativos sobre el rendimiento de los laft decoperacin delosencustado encustad yde otrspodiversos elementos. vedors de atos. Muchos desto n estn covencidos dequ valgpena sber nad cera de laevluacin oparticpar en la. Algunos piensa incluso que la vluacin servi mspar hacer peligra suposicn que par mejoral. Yla myora tien yademasid cosa las que d icarse. Aspues, uel serdifcl obtenr un dice rspetabl de custionarioscumpli entados ode prsona ques ometn ates voluntarios. Muchas persona seincl an ayudrle ms com favor pesonal que com mod econtribu acre informacin tcnia pra l mejora delagestin. Sencesita una grn dosi deprsuain par poder completar muchosetudios de valucin. Avecs, ayud tenr amno elinforme d un estudio anterio -que goce d buena reputacin yno sreult espcial-

Loquefal a

Nunca hay tiempo sufic ente. El presidente quera que le l amara en una hora. LaAdministracin de Prestaciones para losVet ranos de Guer a quera nuestra evaluacin del programa de redac in centrada en el lectoren tres meses. Phyl is cuenta con veinte das. Su supervisor quiere, adems, que usted tenga terminada su parte de otro estudio de evaluacin este mismo mes (iYestn tambin todos eso otros encargos pendientes . !). Cuando usted escriba su tesi , es posible que piense que, al menos entonces, tendr el tiempo que necesita, pero nunca hay tiempo sufic ente. ment amenzador- par mostranos qu esloque s pued producir. Puede que quiera organizar tres sesiones de prueba de su instrumento principal, pero que se vea apremiado areducirlas incluso auna sola. CharlesMurayhbafirmadocntraos cnuascuntaseculasprticpantes yluego est la validez. Elpunto ms dbil del trabajo de evaluacin par quel nviarn datosdesualmnado par levaucin que stab realiprofesional es, probablemente, la limitada validacin de las interpretacio- zando eCites-nSchols,unprogam fedraldeclardo priotario ydota nes. Los evaluado res no obtienen garantas adecuadas de la validez de las deamplia fnaci ndestinado pro cionar servicosal fmilastrvsde representaciones de las necesidades ylos rendimientos. Existe la cre ncia trabjdores ocialesintaldos enlasproias eculas.Losdat nuca legaampliamente extendida de que sise obtiene ayuda de expertos oexpertas ron.(Stake,1986) (es decir, de personas como quinesilogos, coregrafos yprofesores oprofesoras destacados), yano es necesario cotejar la cor elacin de las puntuaciones obtenidas con medidas independientes del factor. Pero la validez s RELATO que lo exige. Nunca hay tiempo ni financiacin suficientes, ni siquiera en los estudios ms prestigiosos, para validar las mediciones. Esimportante, (ElSr.agedo yPhlisetn comiendo unasopayunos andwiches nelcomede todos modos, que cada evaluador reconozca el riesgo de util zar proce- dor elampresa. PidenalSr.Fedy,mie bro delprsonal des hacetrina dimientos no validados de recogida de datos yadvierta adecuadamente a aos,ques ient conelos.) PHYLISF:erdy,cmocnsideras et cursodeFormacin e Mentorizacn los lectores de su informe. par elPrsonal Sniorcmpardo cnlamnera enquesformab antes Jack Easleyera elevaluador formativo del proyecto de desar ol o cur icular en alosmentors? matemticas de MaxBeberman. Losencargados de redactar lasdiversas lec io- FERDY:Bueno,durante muchotiempon tuvimosregla gunasobrecmoser nes lasiban creando yJack haca que losprofesores ylasprofesoras de un redu- unmetor.Slopreguntbamos alosnuevos inecsitabn algo.Sino ls cido nmero de escuelas las probaran en sus clases de matemticas. Lleg a ayudbamos, lamyoranodecan daporque nocreanquepdieran hacer de aquel procedimiento algo tan rutinario que poda obtener lasrespues- pedirayud.

1 rr- lo{ $E
.J

~""

"T

.. i

:',--'

138

fvllUAClNOMPiINIIVA (

LAEVAIUAClBAlNIOAENESTANOAilS

139

SAGREDO: har cosade diez aos empezamos ahacer que losmentores elaPero boraran un informe trimestral apartir de lospuntos incluidos en una lista de control. FERDY:Efectivamente. Esosirvipara recordamos que haba ciertas cosasde las que tambin tenamos que hablar. SAGREDO: Ylagente empez aobservar aCeleste. Ellasemostraba especialmente sensible con cmo losmsjvenes encajaban odejaban de encajar. FERDY:Seconvirti en una especie de mentora para losdems mentores. PHYLLlS: Fuelalistade control laque cambi laidea que setena de lamentorizacin? FERDY:Mepregunta por losobjetivos de laformacin? PHYLLlS: cierto sentido. S,en FERDY:Ahora hay objetivos que aparecen yaenunciados en la tapa misma del paquete formativo. PHYLLlS: probablemente fue lasituacin de Davislaque hizo que elConsePero jo reorganizara laformacin. .FERDV:Noqueremos que esovuelvaaocurrir. PHYI.L1S: Sr.Ferdy,cree usted que sera una buena idea convocar amedia docena de personas que hayan hecho la formacin para que hablen de las necesidades reales de lamentorizacin yde siesta formacin en concreto seadecua anuestra situacin? FERDY:Esolegustara aCeleste. SAGREDO: usted dijo que necesitbamos comparar el rendimiento de los Phyl, formadores yde losformados con unos determinados estndares. Cules seran? PHYLLIS: ecesitamos utilizar unos estndares para evaluar a los formadores y N otros estndares adicionales para evaluar a losformados yalasformadas. Estn relacionados, pero son diferentes, ysuponen, adems, slouna parte de los estndares que utilizaremos para evaluar el curso. Son estndares que no estn escritos en ninguna parte, o sea que tendrn que estar en la mente de quienes contribuyan ahacer lasntesisfinal.Yestaspersonas seremos yo (principalmente) con laayuda posiblemente de laSra.Vivaniyde un experto externo. LaSra.Vivaniserefiere aun mentor ideal ynosotros trataremos de descubrir tanto como nos sea posible sobre la formacin real, lo cual nos proporcionar algunos criterios sobre losformados ylasformadas. En cuanto aloscriterios derendimiento delosformadores yformadoras,pedir atodos losmentores ymentoras actuales que guarden una copia de susmemorandos yque registren sus contactos durante un mes. Obtendr reacciones dequienes han finalizado yaelprograma. Recoger datos sobre cadauno de loscriterios y,luego, con ayuda de otras personas. decidir cul esun rendimiento malo, bueno o excelente. Aspues, yo interiorizo losestndares y

stos quedan luego reforzados por larevisin que otras personas hacen de misclculos. Estudiar concienzudamente todos losdatos, no slo losrendimientos de formado resyformados. Luego, redactar borradores en los que seresuma lacalidad delaformacin ylosirmodificando amedida que vayaobteniendo nuevas orientaciones apartir del estudio ylareflexin adicionales. FERDY:Ysera se suinforme? PHYLLISNo,enelinforme seexplicaran tambin laformacin, lanecesidad que : haydelamisma, loscriterios ylosestndares, ylosresultados ymisinterpretaciones. Yovolvera a hablar con algunas de las personas que me hayan dado informacin yescuchara sus reacciones a mis interpretaciones. Eso me dara nueva informacin. Yentonces pedira aalguien con experiencia en formacin de mentores -corno un amigo que tengo en eldepartamento de Personal de laMarina- que mecomentase latotalidad delborrador revisado. Qu lesparece? SAGREDO: mesuena msaopiniones que aestndares. Nopodemos hacer Am nada para que seamenos personal? PHYLLIS:Bueno, lomsobvio siempre eshacer que losreceptores ylasreceptorasde laformacin hagan un testde rendimiento. Podemos emplear eltest de Orlando, pero todava no hasidovalidado yno an no tiene tablasuotra cosapor elestilo que indiquen loque significan lasdiferentes puntuaciones en trminos decompetencia en mentorizacin. Tendramos que hacer lasinterpretaciones por nuestra cuenta. Podramos comparar laspuntuaciones de personas que hayan recibido laformacin con otras de personas que no lahayan recibido, pero no creo que esosdosgrupos fuesen comparables en relacin aotros criterios, como losaos de experiencia en laempresa olas habilidades interpersonales. De todos modos, yopreferira probar el test en unas pocas personas receptoras de laformacin y,apartir de ah, ya decidiramos cmo proceder. SAGREDO: do. Noapartemos alagente de su trabajo msde 10que sea Deacuer necesario. (Continuar)