1 Revista ELectrnica de Investigacin y EValuacin Educativa // 1996 // Volumen 2 // Nmero 2_1

ISSN 1134-4032 // D.L. SE-1138-94

PROPUESTA METODOLGICA PARA EVALUAR PROGRAMAS DE ORIENTACIN EDUCATIVA

por Josefina Hernndez Fernndez y Pilar Martnez Clares jhernan@fcu.um.es // pmclares@fcu.um.es Facultad de Educacin Dpto. de Mtodos de Investigacin y Diagnstico en Educacin Universidad de Murcia

RESUMEN
El presente trabajo plantea un modelo de evaluacin de programas de orientacin que parte del supuesto de que dicha evaluacin no es un mero acto puntual, sino que ha de entenderse como un proceso que abarca todas las fases de diseo y validacin del programa y ha de iniciarse en el momento en que se aborda la programacin y planificacin del mismo. El modelo establece cinco fases para el desarrollo de la evaluacin: 1- De los supuestos previos o preliminares, en la que se van a fijar los supuestos tericos-previos en los que se basar dicha evaluacin ( destinatarios, receptores de la evaluacin, finalidad, propsitos, objetivos de la evaluacin, papel del evaluador, etc.). 2- Viabilidad de la evaluacin, en la cual se pretenden establecer las caractersticas de la calidad formal/intrnseca del programa, la adecuacin / adaptacin al contexto y la aceptacin en el mismo. 3 Evaluabilidad o validacin de la evaluacin; en esta tercera fase se persigue especficamente responder a la cuestin bsica de si el programa rene las condiciones para poder ser evaluado. 4- Evaluacin del Proceso, que engloba la evaluacin de la implementacin y la evaluacin de desarrollo. 5- Evaluacin de la Eficacia, la ltima fase de este modelo, en que se trata de realizar una evaluacin de resultados y efectos del programa.

ABSTRACT
In this paper the authors present a model of evaluating guidance programs; it is bassed on the asumption that evaluation a) is a process designed to provide data for management decisions, b) both during the planning and the implementation stages. The model offers an approach to program evaluation on five steps and suggests the following questions to be asked in each of them: 1- Theoretical asumptions. Evaluators must state reasons for evaluation: Why and on behalf of whom the evluation will be started? 2-Program viability: What program will be evaluated? Does this program fit the needs of the target group? 3- Program evaluability: Is it really possible to evaluate this particular program? 4- Process evaluation: Were the plans implemented as designed? 5.- Product evaluation: Wich outcomes have been reached? Every step is important and must relate to each preceding an succeeding step in order to demonstrate that it is done what program designers want to be done... Accordingly to this evaluation model, it is the best way to make decissions about a program.

INTRODUCCIN

Nuestra propuesta es el resultado de la adaptacin del modelo, presentado en el VI Seminario de AIDIPE (Asociacin Interuniversitaria de Investigacin Pedaggica Experimental) celebrado en Madrid en 1993, realizada a partir de la experiencia adquirida con el mismo en trabajos prcticos de carcter interno de nuestra Facultad. Nuestro objetivo es delimitar las fases del proceso de evaluacin de programas en el contexto de la Orientacin Educativa, para lo que partimos, entre otros supuestos bsicos, del entendimiento de que el proceso de evaluacin y el de programacin/planificacin se interrelacionan y se deben producir paralelamente; es decir, la evaluacin puede realizarse en cualquier etapa o fase de la programacin, en un proceso de retroalimentacin permanente. De otra parte, damos por sentado que el programa se basa en la identificacin y determinacin de necesidades de la comunidad educativa, a partir de una evaluacin del contexto socio-ambiental y educativo del centro escolar donde se va a desarrollar. A la vez que consideramos como finalidad general de la evaluacin de programas de orientacin la toma de decisiones para la mejora del proceso de intervencin y del logro de resultados.

3 En definitiva, la evaluacin de un programa consiste en realizar un seguimiento a lo largo de un proceso, que permita obtener informacin acerca de cmo se est llevando a cabo, con la finalidad de reajustar la intervencin orientadora, de acuerdo con los datos obtenidos. Es necesario tener en cuenta en toda evaluacin que sta debe ajustarse a las caractersticas del contexto donde el programa se lleva a cabo. La evaluacin de un programa de orientacin tiene una metodologa concreta, que permite evidenciar si la intervencin o proceso de actuacin llevado a cabo es no slo correcto sino eficaz. As, la evaluacin de un programa de orientacin no es un mero acto puntual, sino puesto que sirve para una mejora continuada del programa, la hemos de entender como un proceso. Este proceso de evaluacin ha de estar ntimamente relacionado con la programacin y planificacin del programa, pudiendo de este modo efectuar una constante retroalimentacin. En este sentido, en nuestra propuesta, al igual que hacen otros autores (Stufflebeam, Prez Juste, Caride), el proceso de evaluacin se puede fijar en cuatro momentos o tipos de evaluacin: - Evaluacin de contexto - necesidades - Evaluacin de diseo - programacin - Evaluacin de proceso - desarrollo - Evaluacin de resultados- producto En definitiva, la finalidad general de la evaluacin es tomar decisiones de cambio y mejora a lo largo del proceso y tras finalizar la intervencin del programa. Aunque nuestra propuesta va destinada inicialmente al profesional que en su prctica pretende evaluar un programa que disea o adapta para cubrir las necesidades de un contexto concreto, en la lnea de lo que hemos afirmado anteriormente de entender la evaluacin como ncleo de todo el proceso de planificacin y programacin (y esta es la postura que defendemos), pensamos que es perfectamente aplicable en sus orientaciones generales a otras situaciones posibles en la prctica orientadora: evaluacin externa, evaluacin de un programa ya implementado, slo responsabilidad en el diseo... En todos los casos el diseo de evaluacin se deber adaptar- a veces obligatoriamente- en sus cuestiones evaluativas, contenido y tipo de evaluacin, a los datos de que se disponga. En la exposicin de cada una de las fases, iremos especificando las posibles adaptaciones a estas situaciones.

FASES EN EL PROCESO DE EVALUACIN DE PROGRAMAS DE ORIENTACIN EDUCATIVA

1 Fase: Supuestos previos o Preliminares
Antes de iniciar el diseo de la evaluacin de cualquier programa de Orientacin (y por tanto en el momento de iniciar la propia planificacin y diseo del mismo) hay que fijar los supuestos tericos-previos en los que se va a basar dicha evaluacin. En ellos se debe especificar, entre otros aspectos: a) finalidad b) propsitos, objetivos de la evaluacin c) papel del evaluador: tipo de evaluacin: interna, externa, mixta d) destinatarios, receptores de la evaluacin e) tipo de informacin que se va a dar f) diseo de investigacin en la evaluacin g) utilidad, adecuacin de la evaluacin en el contexto a que va dirigido, lo que en cierta medida matizar los destinatarios y los responsables de tomar decisiones sobre el programa, teniendo en cuenta tanto la procedencia de la demanda del programa como la de la evaluacin. Estos aspectos, junto con las caractersticas del programa y las del contexto en que se va a llevar a cabo el mismo, nos servirn para determinar el modelo y tipo de evaluacin en el diseo de sta, una vez que se valide el programa y podamos pasar a precisar la metodologa de evaluacin. En resumen, en esta primera pretendemos contestar a la cuestin; por qu y para quin evaluamos?

2 Fase: Viabilidad de la evaluacin

Esta segunda fase, junto con la siguiente, corresponde al momento de evaluacin del diseo del programa. Aunque algunos autores prefieren considerar a ambas como una fase nica de evaluabilidad de la evaluacin, nuestra experiencia en la aplicacin del modelo nos reafirma en la decisin de considerarlas como dos fases con entidad propia (aunque interrelacionadas) dentro del momento de la evaluacin del diseo, puesto que, al margen de aspectos metodolgicos, cada una de ellas responde a una cuestin bsica y secuenciada: (1) es un programa y un buen programa para este contexto? (2) es un programa evaluable? Esta segunda fase se divide en tres aspectos o dimensiones fundamentalmente: a) caractersticas de la calidad formal/intrnseca del programa, que hace referencia al conocimiento de las caractersticas tcnicas del programa, es decir, trata de responder a las siguientes cuestiones:

5 (a) De qu programa se trata? (b) Cules son sus metas? (c) Quines son los destinatarios? (d) Cul es la estructura y contenido del programa? (e) Qu agentes son los responsables de llevarlo a cabo? (f) Cul es la temporalizacin del mismo? (g) Qu tipo de recursos requiere? (h) De qu tipo de actividades, estrategias o habilidades se trata? (i) Qu metodologa requiere?

Esta subfase o dimensin de la viabilidad nos ofrece un conocimiento tcnico del programa que se va a evaluar y trata de responder a la cuestin general qu programa vamos a evaluar?, fijando la atencin bsicamente en la calidad de su estructura formal, pero pudiendo comprender tambin aspectos tales como su congruencia con el marco terico de referencia y con el diagnstico previo. En definitiva, permite al evaluador interno examinar (y modificar en su caso) la adecuacin del diseo del programa a los requisitos mnimos de programacin, a lo que se aade en el caso del evaluador externo, la posibilidad de familiarizarse con el programa a evaluar En resumen, esta subfase de la viabilidad del proceso evaluador comprender el conocimiento y familiarizacin con todos los aspectos y factores que configuran el diseo de planificacin del programa de Orientacin. De ah que sea necesario que el programa a evaluar est escrito con especificacin de los aspectos citados La metodologa de trabajo en esta subfase de evaluacin ser el anlisis crtico del contenido del documento escrito en el que se refleja el programa, as como el anlisis comparativo con otros programas emanados del mismo marco terico y de reconocido prestigio y/o eficacia. Un segundo aspecto o dimensin de esta fase es b) la adecuacin y adaptacin al contexto, es decir, se trata de responder a la pregunta es adecuado y adaptable el programa al contexto donde va dirigido?; para ello nos planteamos una serie de cuestiones que se derivan de la general: (j) El programa a evaluar parte de un Anlisis del Contexto? (k) Surge de un Anlisis de Necesidades?; cul es la/s necesidad/es de partida? (l) Dispone el centro de los recursos precisos o est dispuesto a facilitarlos? (m) Permite la estructura organizativa del centro (horarios, tutora...) la realizacin del programa? La metodologa para la evaluacin de esta subfase ser bsicamente el examen de los datos extrados del Anlisis de Contexto y del anlisis de necesidades, completado con alguna tcnica de recogida de informacin dirigida a aspectos que no aparezcan suficientemente explicitados en el anlisis de contexto (actitud ante el programa de los agentes implicados, expectativas, grado de implicacin en el diseo...)

6 El tercer aspecto de esta fase es c) la aceptacin, que trata de responder a la cuestin es aceptable el programa en el contexto donde se dirige?; para responder, tambin nos planteamos una serie de cuestiones, entre otras destacamos las que siguen: (n) Es aceptado por todos los agentes o subsistemas de la comunidad educativa? (o) Est integrado en el Proyecto Educativo de Centro (P.E.C.)? (p) Est contemplado en la programacin general del departamento de orientacin? La metodologa bsicamente la formar la consulta al Proyecto Educativo de Centro (PEC), entrevistas o reuniones con los agentes de la comunidad educativa, dinmicas de grupos, constatacin con el Anlisis de Contexto...

En cuanto a la temporalizacin de la fase, es decir, el momento de realizarla y tomar decisiones sobre la viabilidad del diseo del programa, variar, obviamente, segn la situacin o tipo de evaluacin de que se trate. En el caso de que el evaluador (orientador) sea el propio diseador de programa, el control del mismo bajo estos criterios deber tenerse en cuenta tanto en la elaboracin del programa como una vez terminada y siempre antes de su implementacin y tendr un carcter de informacin retroactiva para la mejora del diseo. Lo mismo cabe decir en el caso en el que el programa haya sido diseado por otros (tutores, programas publicados...) sea cual sea el grado de compromiso del orientador (evaluador) en la implementacin, siempre y cuando el programa no se haya llevado a la prctica, por lo que a las propuestas de mejora sobre el diseo se puede aadir la toma de decisin sobre la implementacin o no del programa. En el caso de que el programa se haya implementado, lgicamente, la evaluacin de esta fase del modelo se realizar cuando el programa est disponible para el evaluador y tendr un carcter sumativo, sancionador y de informacin para una futura mejora del diseo del programa. En resumen, estos aspectos de la viabilidad nos permiten conocer las caractersticas tcnicas del programa y constatar si dicha intervencin es adecuada y aceptable al contexto donde se dirige. Sintetizando la fase en trminos de criterios e indicadores, puede quedar esquematizada la misma en el siguiente cuadro:

CRITERIO

VIABILIDAD INDICADORES
- mbito -tipo de programa - objetivos - destinatarios - agentes - temporalizacin - recursos

METODOLOGA

CALIDAD FORMAL

ANLISIS DOCUMENTAL ANLISIS COMPARATIVO

ADECUACIN - contexto

- necesidades - estructura organizativa ADAPTACIN - adecuacin de recursos

CONSTATACIN CON ANLISIS DE CONTEXTO CONSTATACIN CON ANLISIS DE NECESIDADES

- inclusin en el PEC PEC - actitud de los subsistemas CONSTATACIN ANLISIS DE CONTEXTO ACEPTACIN - inclusin en el programa de orientacin ENTREVISTAS TCNICAS DE GRUPO Cuadro 1: Criterios e indicadores de la viabilidad de la evaluacin.

3 Fase: Evaluabilidad o Validacin de la evaluacin

En esta tercera fase de validacin de la evaluacin especficamente se pretende responder a la cuestin bsica de si el programa rene las condiciones para poder ser evaluado. Si con la superacin del control de la fase anterior podemos afirmar que lo que tenemos entre las manos es realmente un programa porque responde a la estructura formal de lo que se considera como tal -y no es una mera serie de actividades ms o menos secuenciadas o un cmulo de buenas intenciones o una pequea intervencin- y es adecuado y aceptable al contexto, necesidades y subsistemas a los que se dirige e implica. En esta fase se pretende comprobar que los elementos formales estn diseados de tal forma que pueden ser evaluados, que renen los requisitos mnimos para que puedan pasar aceptablemente los criterios, valoraciones, diseos y anlisis propios de la evaluacin de programas, si merece la pena los costes y esfuerzos de la misma, e incluso los aspectos en que se debe centrar la evaluacin. Las dimensiones propias de esta fase no quedan determinadas ni concretadas si no se establecen una serie de criterios de validacin de evaluacin; as, Berk y Rossi (1990) estiman que un programa no es evaluable si: (1) Sus objetivos no estn claramente especificados. (2) No esta definida la estructura y componentes de forma adecuada. (3) No se pueden predecir con un mnimo de rigor las consecuencias de su no aplicacin. (4) No se conocen los recursos reales disponibles para implantarlo.

En funcin de estos criterios sugerimos que, al menos, deberan seguirse los siguientes para la validacin de un programa de orientacin, que no podr ser evaluado si: (5) Sus objetivos no estn formulados de forma operativa/conductual (si no son medibles y observables). (6) Las actividades planificadas no son suficientes para la consecucin de los objetivos planteados. (7) No tiene delimitadas las acciones o actividades a realizar en unas

8 coordenadas espacio/temporales. (8) No se conocen los recursos materiales y humanos disponibles para implantar el programa. (9) Existen graves obstculos y/o contingencias previsibles que imposibiliten la ejecucin de la evaluacin. (10) No existen en el programa procedimientos para la recogida de informacin de los datos de evaluacin o son de muy baja calidad. (11) Los datos previstos son de muy baja calidad. (12) El coste previsto (esfuerzo, tiempo, recursos materiales) es superior a la utilidad y/o ventajas de la misma

Para que un programa sea evaluable ha de cumplir la mayora de estos criterios (aunque no necesariamente todos) y en un nivel aceptable de cumplimiento. Ante la inexistencia de una normativa especfica en este sentido, es el propio evaluador como experto, y a la luz de los supuestos previos que dirigen la evaluacin (objetivos, destinatarios, utilidad...), el que debe fijar ambos aspectos: qu aspectos considera prioritarios en la validacin del programa y qu nivel debe exigirse en el cumplimiento (logro) de los mismos. Lo ideal sera que para cada criterio antes referido se fijara al menos un indicador acerca de la validez de la evaluacin. De acuerdo con Hernndez y Rubio (1992), el peso de cada criterio depende de dos factores: las concepciones y tcnicas del evaluador, y las peculiaridades especficas del contexto y personas implicadas en la implementacin del programa. A su vez, los datos obtenidos adems de dar respuesta a la cuestin bsica de la fase, es evaluable o no el programa? y por tanto servirnos, segn sea la situacin en que se realice la validacin, para: a) proseguir o no con la evaluacin del programa o b) tomar decisiones para la mejora de aquellos aspectos que resulten deficitarios en este control, nos servir para fijar aquellos aspectos a los que se deber prestar ms atencin en la evaluacin y/o cules son aquellos que se deben obviar por no estar suficientemente validados y ser imposible su mejora en el diseo. De otro lado, estos datos junto con todas las especificaciones logradas en las fases anteriores tales como utilidad, efectos, objetivos, etc, nos servirn para determinar el tipo de evaluacin y los aspectos que especficamente se van a evaluar del programa, pues es ste el momento en que comienza propiamente el diseo de evaluacin con la especificacin del tipo de evaluacin que se va a realizar, el diseo de la investigacin elegido y el anlisis de datos pertinente. La metodologa de esta fase ser fundamentalmente, como en la anterior, el anlisis de la documentacin del programa, de los datos del anlisis de contexto y de las fases previas al diseo, en el que primar la valoracin cualitativa de la misma apoyada en el juicio experto del evaluador, aunque es aconsejable, en la medida de lo posible, que se pueda cuantificar y objetivar, o al menos justificar ampliamente con los datos del propio programa. En lo referente a la temporalizacin cabe decir lo mismo que para la fase anterior.

La fase concluye cuando se definen estos criterios e indicadores y se comprueba que el programa a evaluar cumple con los criterios de evaluacin mnimos, que se pueden se resumir en que el contexto es favorable para realizar la evaluacin, el programa de orientacin en s mismo es evaluable y el evaluador (externo, interno o mixto) es capaz de realizar dicha funcin. Proponemos a modo indicativo algunos de los criterios e indicadores que pueden ser tiles para el control de esta fase.

CRITERIOS
OBJETIVOS EVALUABLES ACTIVIDADES SUFICIENTES

EVALUABILIDAD INDICADORES
* Medibles * Observables * Que los objetivos especficos estn recogidos por actividades concretas. * Que las actividades hagan referencia a los objetivos. * Que las actividades favorezcan o incrementen los objetivos propuestos.

* Especificacin del tiempo. COORDENADAS ESPACIO/TEMPORALES * Adecuacin del espacio. DE LAS ACTIVIDADES * Secuencializacin acorde. RECURSOS ESPECIFICADOS OBSTCULOS Y CONTINGENCIAS EN LA EVALUACIN * Especificacin de los materiales para cada actividad propuesta. * Determinacin de responsable/s para cada actividad. * Actitud de los implicados en la evaluacin * Disponibilidad en la implicacin de la evaluacin * Facilidades dadas por la organizacin para la evaluacin

* Estn previstos en el programa * Son posibles en el contexto PROCEDIMIENTOS EN * Reconocida calidad LA RECOGIDA DE * Acordes con el tipo de datos requeridos INFORMACIN * Dominio de los mismos por el evaluador * Planificada temporalizacin CALIDAD DE LOS DATOS EN LA EVALUACION COSTES DE LA EVALUACION * Son representativos Acordes con los objetivos del programa * Recursos humanos * Tiempo preciso * Coste econmico * Eficiencia

Cuadro 2: Criterios e indicadores de la evaluabilidad de la evaluacin.

10

Es en este momento, como hemos afirmado antes, cundo comienza el diseo de evaluacin propiamente dicho y cuando se ha de decidir el tipo de evaluacin o qu aspectos del programa se van a evaluar de acuerdo con el programa, contexto, y finalidades de la evaluacin, es decir de acuerdo con las caractersticas del programa y los supuestos previos fijados en el planteamiento de la evaluacin. Aunque un programa de Orientacin, como programa socio-educativo, puede ser sometido a distintos tipos de evaluacin segn sea el aspecto o pregunta que se quiera responder (Rodrguez Espinar, 1986:373), dadas las caractersticas de la mayora de las intervenciones orientadoras desarrolladas en los centros docentes de nuestro contexto y siguiendo una secuencializacin jerrquica de los distintos tipos de evaluacin (Alvira, 1991), proponemos dos tipos bsicos de evaluacin para los programas de intervencin orientadora: evaluacin del proceso del programa, que englobara a su vez la evaluacin de la implementacin o puesta en marcha y la evaluacin del desarrollo, y la evaluacin del producto o de eficacia, a las que consideramos fases necesarias para una correcta evaluacin de un programa de intervencin orientadora. Otro aspecto a decidir en este momento es el diseo de investigacin que se va a utilizar, si este no se ha decidido en los supuestos previos o no viene prefijado con anterioridad; diseo de investigacin que, a su vez, vendr condicionado por las decisiones tomadas en el planteamiento de la evaluacin y los condicionantes en que se desarrolle la misma. Sin entrar a fondo en la cuestin de los distintos diseos de investigacin, nos inclinamos por la utilizacin de los diseos preexperimentales y cuasiexperimentales para los diseos intergrupos, por ser los ms aplicables a las condiciones habituales en que se desarrollan los programas de orientacin, si bien la eleccin siempre debe atenerse a los propsitos evaluativos.

4 Fase: Evaluacin del Proceso

En esta fase de evaluacin de proceso el anlisis de los datos y poder tomar decisiones. El anlisis girar en torno a la marcha del programa tanto en su adecuacin a la programacin previa como a los aspectos dinmicos y de relacin del mismo. Tiene por tanto un carcter formativo e implica la realizacin de evaluaciones intermedias que permitan la retroalimentacin del programa. En cada una de ellas se puede distinguir como fases sucesivas, la evaluacin de la implementacin y la evaluacin del desarrollo.

a) Evaluacin de la implementacin
Consiste en evaluar qu est funcionando del programa una vez que se ha puesto en marcha, es decir, la instrumentalizacin del programa de intervencin, su puesta en prctica siguiendo las etapas y esquemas tericos previamente concretados. El fin ltimo de esta fase de evaluacin, es contrastar si hay o no discrepancias entre el diseo y la realidad; y en caso afirmativo, realizar la

11 adaptacin pertinente, redefinir el programa para lograr su ptima y adecuada puesta en marcha. En esta fase nos fijamos o centramos en cinco dimensiones o aspectos que no buscan otra cosa que la adecuacin e identificacin de las actividades diseadas. A partir de estas dimensiones, especificaremos los criterios e indicadores de evaluacin. Las dimensiones a las que nos referimos son: (13) Cobertura del programa: El programa se ha dirigido a los sujetos que previamente se haba previsto. (14) Realizacin de actividades: Se han llevado a la prctica todas y cada una de las actividades planificadas. (15) Ejecucin de la temporalizacin: Muy relacionada con la anterior, hace referencia que se han llevado a cabo las actividades previstas en los perodos de tiempo prefijado, es decir hay un ajuste entre la temporalizacin real (ejecucin real) y la planificacin (temporalizacin diseada). (16) Funciones de los agentes implicados: Cada agente implicado en el programa ha llevado a la prctica las actividades de las que era responsable, tal y como se dise. (17) Utilizacin de los recursos disponibles: Se han empleado los recursos materiales y humanos que se haban previsto. En cuanto a la metodologa (instrumentos) general a utilizar en la recogida de informacin en esta cuarta fase ser: las fichas de control de las sesiones, el propio esquema del programa, rejillas, escalas de estimacin... El anlisis de resultados se realizar en base a: (18) Un anlisis meramente cuantitativo en trminos de porcentajes o grados de cumplimiento de cada uno de los aspectos controlados y su comparacin con los niveles de logro, ejecucin o utilizacin prefijados con anterioridad por el evaluador. En este sentido es conveniente tener en cuenta que aunque idealmente se pudiera pretender un cumplimiento total (100%) del programa, el propio contexto o el punto de partida nos debe hacer realistas en cuanto al nivel de ejecucin a lograr. As por ejemplo en un programa dirigido a padres (o incluso a tutores) es impensable fijar un nivel de cobertura excesivamente alto cuando la participacin previa en actividades ha sido muy baja; o en el caso de un programa con flexibilidad prevista en la utilizacin de recursos, la no utilizacin de todos los inicialmente incluidos en el programa puede no indicar una mala ejecucin de programa. Por ello se hace preciso el anlisis siguiente

(19) Anlisis cualitativo sobre qu aspectos del programa no se han ejecutado de la manera prevista.

(20) Por ltimo se realizar un anlisis que:

12 (a) En todos los casos se dirigir a la bsqueda de las causas, dificultades o contingencias que han impedido la ejecucin diseada, bien por deficiencias en el diseo, bien por las caractersticas del contexto o de la integracin de programa en el contexto. Para ello se hace preciso que los instrumentos de recogida de informacin (rejillas, fichas de control, diario de sesiones...etc.) den cabida tambin a este tipo de informacin. Dependiendo de la entidad del programa (amplitud, poblacin, tiempo, etc..), del enfoque evaluativo, o de los fines de la propia evaluacin este anlisis se podr realizar en base al juicio valorativo del evaluador como experto, a los juicios y opiniones de los participantes del programa (discusin de grupos, TNG, entrevistas...) o bien, en su caso, requerir los tratamientos y anlisis estadsticos pertinentes. (b) En la misma lnea, los datos obtenidos servirn en una evaluacin explicativa como base de la relacin entre el nivel de ejecucin del programa y los resultados y efectos obtenidos.

En cuanto a la temporalizacin cabe hacer una distincin, aplicable por otra parte a las restantes fases o tipos de evaluacin, desarrollo y producto. En este sentido, se debe planificar la temporalizacin de: (21) La recogida de datos de informacin: que se har de modo continuado a lo largo del programa y adaptandose a la naturaleza y finalidad del dato a obtener. As se llevar un control diario del desarrollo de las sesiones en el que se tomar nota, entre otros aspectos, de las actividades realizadas, recursos utilizados, participacin de alumnos, incidencias, actuacin del orientador... en fin, de todos aquellos aspectos que, salvo que se haya previsto un muestreo en la recogida de datos, sea conveniente contar con el mayor nmero (o la totalidad) de ellos. A su vez, habr que prefijar en qu momento del programa se utilizarn los instrumentos especficos de control del programa: cuestionarios, tests, actividades de control de logro de objetivos, entrevistas... para lo que se tendr en cuenta, entre otros, el tipo de programa, duracin, disposicin a la evaluacin, tipo de instrumento a utilizar...

(22)Momentos de toma de decisin: se debe prefijar en qu puntos del desarrollo del programa se van a realizar los anlisis de los datos de evaluacin recogidos, que nos sirvan para, de modo objetivo y documentado comprobar la marcha del programa, el cumplimiento de criterios de evaluacin, el logro de objetivos... de forma que podamos tomar decisiones sobre el programa. Dependiendo del tipo, estructura y duracin del mismo, de la finalidad y objetivos de la propia evaluacin, de los datos recogidos etc, se determinar el nmero y tiempo de los momentos de toma de decisin a lo largo del programa y, obviamente, siempre habr uno final. A continuacin se clarifican a modo de ejemplo e ilustrativo los criterios e indicadores en que se concretan estas dimensiones:

13

DIMENSIN

CRITERIOS

INDICADORES

Cobertura del * El programa se ha llevado a programa * Porcentaje medio de alumnos/as cabo con todos los alumnos/as que han asistido. previsto. * N total de actividades realizadas. * Se han realizado todas las actividaes a lo largo del programa. * Se han realizado las actvs. de acuerdo a la metodologa establecida * N de actividades por Bloq. Contenido. * Inclusin de alguna actividades. * Supresin de alguna actividades.

* El programa se realizar en * Cursos en los que se ha llevado todos los cursos programados. el programa.

Actividades

* Modificacin de alguna * Se han realizado todas las actividades. actvs. previstas con los tutores participantes. * N total de actvs. con los tutores. * Momentos de encuentro. * N de sesiones y horas diseadas / N de sesiones y horas realizadas. * N espacios planificados/ n espacios utilizados. Temporalizacin (Coordenadas Espacio Temporales ) * Frecuencia con la que se * El programa se ha realizado utilizaron. en el tiempo previsto. * El programa se ha desarrollado en el espacio planificado. * Realizacin de las actvs. en el T previsto. * Disminucin /aumento del T previsto para las actividades en las sesiones. * Puntualidad en el inicio de las actvs. * Puntualidad en la finalizacin. Funciones de los * Los agentes encargados de llevar a cabo el prog. * N de agentes previstos/N de

14 Agentes responden segn lo planificado. agentes reales. * N de actvs. planificadas para los agentes / N de actvs. ejecutadas. Recursos * Se han utilizado todos los recursos materiales previstos en el planificacin y en el prog. * N de Recursos diseados / N de recursos usados. * Frecuencia en la utilizacin.

Cuadro 3: Criterios e indicadores de la evaluacin de la implementacin. En resumen, en esta cuarta fase de evaluacin, se debe recoger informacin sobre el cumplimiento del programa en su cobertura, realizacin de actividades, ejecucin de la temporalizacin implicacin y cumplimiento de funciones por los agentes, utilizacin de recursos... Para ello se debe tener muy claro cules son los aspectos nucleares del programa y las unidades de anlisis a utilizar (muestreo si es el caso) de modo que se pueda realizar correctamente la comparacin entre lo planificado y lo realizado porque en resumen, en esta fase se quiere ver cmo se desenvuelve en la praxis y realidad diarias, el programa de intervencin orientadora diseado previamente, comparando el modelo ideal con el modelo real que se desarrolla. Lo que realmente interesa en esta fase es evaluar la identificacin y adecuacin de las actividades diseadas al contexto real, responder a la pregunta de si existe o no actividades uniformes implementadas de manera sistemtica (Alvira, 1991); en definitiva queremos evaluar si las actividades que se estn implementando son las adecuadas en las coordenadas espacio/temporales establecidas y se pueden desarrollar con los instrumentos, medios y recursos prefijados.

b) La evaluacin de desarrollo
Si la evaluacin de la implementacin se refiere a qu se hace en un programa, la evaluacin de desarrollo explica el cmo (Municio,1992:389); es decir, qu requisitos debe cumplir el proceso de puesta en marcha para que se considere adecuado, correcto, acorde con un buen desarrollo del mismo. Es la fase en la que resulta ms difcil definir los criterios e indicadores porque es donde ms claramente entra en juego la visin subjetiva del evaluador, o si se quiere, los aspectos ms cualitativos del marco terico del evaluador, por lo que es frecuente que, mientras en las dems etapas o tipos de evaluacin se logra definir los criterios de cumplimiento con mayor o menor dificultad guiandose por la propia finalidad y objetivos de la fase, la de desarrollo se presta a pretender un visin comprensiva del programa, por lo que se intenta embutir en esta fase los apectos que no quedan contemplados en otras fases, o que supuestamente quedan limitados por un enfoque muy cuantitivista, lo que facilita la traduccin de los deseos del orientador en criterios e indicadores

15 practicamente inaprensibles y/o en listados amplsimos, con lo que la confusin puede estar servida. Por ello es conveniente que se aplique en esta fase con ms empeo que en las dems el principio de parsimonia, de forma que es preferible fijar unos pocos criterios claros y que se traduzcan en indicadores objetivos, aunque sean, tanto en su naturaleza y en el mtodo de recogida de informacin como en su tratamiento de anlisis, de carcter cualitativo, (lo cual no est reido con su carcter cientfico). Esto es necesario a pesar de que parezca que dejamos al margen aspectos que creamos interesantes, pero que haran muy complejo el proceso de evaluacin o que nos lleve a pretender evaluar o controlar matices claramente no evaluables por su difcil especificacin. En definitiva, debido a la dificultad intrnseca que la finalidad de la fase encierra, se debe tener en cuenta estrictamente los principios de seleccin y fijacin de criterios e indicadores. Siguiendo nuestras propias recomendaciones y apoyandonos en las dimensiones revisionadas en la literatura especializada, hemos fijado como dimensiones bsicas en la evaluacin del desarrollo del programa: (a) El binomio programa- factor humano (b) Evaluacin de la actuacin del agente (c) Anlisis tcnico del programa

La evaluacin del proceso viene a cubrir en gran parte el binomio programafactor humano, tanto en la faceta del modo de realizacin de actividades o tareas como en la de las relaciones que se establecen entre los miembros implicados en el programa (agentes y sujetos). En este sentido la evaluacin de proceso nos debe de indicar la adecuacin de la actuacin (comportamientos) de los agentes del programa, tanto a los objetivos del mismo como a los estilos de actuacin y metodologas previstos, as como las respuestas de los sujetos del programa a dichos comportamiento. En cierto modo implica, entre otros aspectos una evaluacin o autoevaluacin del orientador o agente. De otro lado, la evaluacin de desarrollo debe analizar la adecuacin del formato tcnico del programa (estrategias, recursos, actividades, tareas...) a los objetivos del programa, en tanto que su realizacin ayude al logro de los mismos, as como el papel real que dicho formato tcnico juega en la realizacin del programa, en la lnea de la evaluacin de pertinencia o propiedad y de idoneidad o suficiencia que sealan Aguilar y Ander-Egg (1992:48). En otras palabras, se trata de analizar cmo se han instrumentalizado y utilizado los recursos tcnicas y procedimientos del programa. Para ello es necesario adems de la formulacin de criterios e indicadores que nos sealen el modo y adecuacin del proceso (agentes, relaciones y formato tcnico), el contar con un apropiado sistema de control e informacin sobre la marcha del programa que permita revisiones peridicas del mismo. La metodologa en esta fase puede ser muy amplia, al adaptarse a la naturaleza cuantitativa o cualitativa de los indicadores. Por ello precisamente es necesario fijar con ms exactitud el instrumento con que se va a medir cada uno de los

16 indicadores en cada caso en particular (programa). De modo general, se puede indicar como instrumentos apropiados en esta fase los cuestionarios, escalas de observacin, diario de sesiones, entrevistas... En cuanto a la temporalizacin, si bien puede aplicarse lo dicho en la subfase anterior, cabe una mayor flexibilidad en la recogida de informacin, al depender de otras personas y no slo del investigador/orientador y por tanto se hace precisa una ms exacta planificacin de los puntos temporales en que se va a realizar. Lgicamente, estas precisiones son aplicables en el caso en que el diseo de evaluacin coincide con el diseo del programa y se pretende realizar la evaluacin durante la aplicacin y desarrollo del programa, tanto de modo externo como interno. En el caso de una evaluacin posterior a la aplicacin del programa la temporalizacin se adaptar a esta circunstancia. De igual modo, es necesario fijar los niveles de cumplimiento de los criterios e indicadores, adaptandose a los datos concretos que se pidan en cada caso. Como en las fases anteriores brindamos, a modo indicativo, algunos de los criterios e indicadores en que se pueden especificar las tres dimensiones antes dichas.

DIMENSIN

CRITERIOS

INDICADORES
a.1. Los destinatarios muestran inters(formulan preguntascualidad). a. 2. Realizan las actividades indicadas a. 3. Opinin de los destinatatrios. a. 4. Atencin b.1. N de intervenciones positivas. b.2. Interacciones que se producen. b.3. N de alumnos que intervienen. b.4. Opinin. c.1. Inexistencia de conflictos interrnos. c.2. Confianza con el orientador. c.3. Buena conducta y predisposicin c.4. Receptividad de los sujetos. d.1.Presentacin de las actividades asu tiempo.

A. Motivacin del programa.

Binomio B. Participacin en el programa/ programa. factor humano

C. Creacin del clima.

17 d.2. Realizacin de actividades en el tiempo previsto. d.3. No hay disgresiones del tema general. e.1. N de asistentes. e.2. N de retrasos en el inicio de las sesiones.

D. Aprovechamiento del tiempo.

E. Asistencia.
a.1. Receptividad de las intervenciones. a.2. Facilitacin de informacin. a.3. Establecimiento de un buen clima. a.4. Opinin de los destinatarios. a.5. Lenguaje adaptado a los sujetos. b.1. Preparacin previa de las sesiones. b.2. Preparacin previa de las actividades. b.3. Cumplimiento del horario. b.4. Ajuste a la metodologa prefijada.

A. Actitud positiva y motivadora durante el programa.

Evaluacin y actuacin del agente

B. Adecuacin tcnica.

A. Facilidad - Asequibilidad a.1. Grado de dificultad de las actividades del programa.

a.2. Preguntas sobre lo que han de hacer. a.3. Correccin de las "tareas" de los alumnos. a.4. Opinin de los destinatarios.

Anlisis tcnico del programa

B. Adecuacin y suficiencia b.1. Realizacin de ms de actividades. actividades.

b.2. Supresin de actividades

C. Adecuacin y suficiencia programadas. de materiales.

c.1. Supresin y/o inclusin de materiales. c.2. Adaptacin de materiales.

D. Adecuacin de da temporalizacin.

d.1. El n de sesiones es

18 suficiente para los contenidos, actividades y los objetivos del programa d.2. El tiempoo previsto para cada actividad es suficiente. Cuadro 4: Criterios e indicadores de la evaluacin del desarrollo.

5 FASE: EVALUACIN DE LA EFICACIA

Por fin, la ltima fase de nuestro modelo, la evaluacin de la eficacia del programa de Orientacin, trata de realizar una evaluacin de resultados y efectos del programa, es decir, consiste como expresa Aguilar y Ander-Egg (1992) en comprobar en qu medida se estn alcanzando los resultados previstos y tambin los efectos y resultados no previstos. En ella se trata de recoger suficiente informacin para saber si el programa est o no consiguiendo los resultados esperados, a travs de dos preguntas principalmente: (a) Se estn consiguiendo los resultados esperados? (b) Estos resultados guardan relacin y concordancia con el programa diseado?, es decir, los resultados obtenidos son efecto del programa desarrollado o de otras variables o aspectos no contemplados?

Para contestar eficazmente a ellas, los objetivos y resultados esperados deben estar perfectamente identificados y tener una atribucin unvoca, de modo que se pueda establecer fcilmente el nivel de logro alcanzado en la consecucin de los objetivos, si el mismo es debido al diseo, implementacin y proceso del programa y si se han obtenido otros efectos adems de los previstos. En definitiva, lo que estamos proponiendo en esta ltima fase es no slo el anlisis del logro de objetivos, sino una evaluacin global/final del programa a partir de establecer la relacin entre la consecucin de resultados y las posibles causas de los mismos, ya que en ocasiones la mera evaluacin de la eficacia puede resultar un dato pobre para la toma de decisiones sobre el programa. Por ello puede ser necesario incluir otros tipos de evaluacin que completen la de resultados. As se puede realizar una evaluacin del impacto de los resultados en el contexto en el que se desarrolla el programa y sobre los otros subsistemas a los que no iba dirigido el mismo; o bien una evaluacin de efectos colaterales o de efectos no previstos, e incluso la evaluacin de la eficiencia basada en la relacin coste-efectividad, coste-utilidad del programa, que son las mas provechosas en Orientacin, para lo que podemos establecer una serie de indicadores cuantitativos que nos permitirn evaluar los resultados del programa, como por ejemplo indicadores de demanda, de participacin, de fondos...

19 La posible realizacin de stos u otros tipos de evaluacin se deben hacer de modo subsidiario a la finalidad de esta fase de evaluacin, que no es otra que comprobar el logro de los objetivos y los efectos del programa y las posibles causas de los mismos. Es primordialmente para el cumplimiento de esta fase para el que se planea el diseo de investigacin y en la que cabe, desde el enfoque que nos situamos, un mayor nmero y complejidad de los anlisis estadsticos, aun mantenindose en una evaluacin de tipo descriptivo. Los criterios y sus indicadores sern bsicamente los de los objetivos y metas del programa (por ello no es posible dar indicaciones generales sobre ellos) y en segundo trmino los dirigidos a la evaluacin global/final, en la que se puede incluir, como hemos visto, la evaluacin de impacto, de efectos colaterales y de eficiencia. Sobre la metodologa cabe reiterar lo propuesto para las fases anteriores, si bien se debe hacer ms hincapi en los instrumentos que faciliten la recogida de datos cuantitativos y objetivos. En cuanto a la temporalizacin, va a depender de los propios objetivos del programa. En todos los caso habr una evaluacin al trmino del programa, pero dependiendo del tipo de programa y de los objetivos del mismo puede ser necesario realizar una evaluacin de resultados durante la puesta en marcha del programa. Es el caso, por ejemplo, de los programas en los que sea preciso el logro del un objetivo para poder conseguir los siguientes, como ocurre con mucha frecuencia en las intervenciones de recuperacin o en programas de toma de decisin vocacional en los que es necesario que los sujetos adquieran un conocimiento de s mismo, del objeto de eleccin y del proceso de toma de decisin antes de poder aplicarlo al campo de toma decisin vocacional y poder lograr el/los objetivos del programa sobre la correcta toma de decisin vocacional. En otras ocasiones y dado el carcter retroalimentador del modelo de evaluacin que proponemos, ser conveniente, siempre que los objetivos lo permitan, realizar evaluaciones parciales del logro de objetivos que puedan indicar la continuacin o modificacin del programa tal y como se dise.

SNTESIS
El modelo de evaluacin propuesto, destinado a la toma de decisiones de programas de intervencin orientadora, pretende ser un esquema secuenciado y lgico, que permita a los orientadores, siguiendo la ya clsica afirmacin de Herr (1976) demostrar que se ha hecho lo que se quera hacer, a lo que nosotras aadimos, de la mejor manera posible. Para ello el modelo propone las diferentes fases, que responden a las siguientes preguntas bsicas:

(1) Por qu y para quin evaluamos? (2) Qu programa vamos a evaluar?

20 (3) Se puede evaluar ese programa? (4) Se ha llevado a cabo el programa tal y como se dise?; Cmo ha sido esa puesta en marcha y por qu funciona el programa? (5) Se ha logrado lo que nos proponamos y por qu?

A continuacin ofrecemos una representacin grfica del modelo de evaluacin propuesto:

REFERENCIAS BIBLIOGRFICAS
Aguilar, M.J. y Ander-Egg, E. (1992). Evaluacin de servicios y programas sociales. Madrid: Siglo XXI. Alvira, F. (1991). Metodologa de evaluacin de programas. Madrid: CISCuadernos Metodolgicos.

21 Berk, R.A. y Rossi, P.H. (1990). Thinking About Program Evaluation. Sage: Newbury Park. Hernndez, J. y Martnez, P. (1994). Pautas para la evaluacin de un programa de orientacin. Revista de Investigacin Educativa, (23), 598-604. Hernndez, J.M y Rubio, V.J. (1992). Anlisis de la evaluabilidad: paso previo de la evaluacin de programas. Bordn , 43(4), 397-405. Herr, E. L. (1976). Counseling: Accountability, reality, credibility. Journal of Counseling Services, 1, 14-23. Municio, P. (1992). La evaluacin segmentada de programas. Bordn, 43 (4), 375-395. Rodrguez Espinar, S. (1986). Proyecto docente e investigador (Orientacin Educativa). Universidad de Barcelona. (Indito.)

Para citar este artculo:

Hernndez Fernndez, J. y Martinez Clares, P. (1996). Propuesta metodolgica para evaluar programas de orientacin educativa. RELIEVE, vol. 2, n. 2. Consultado en http://www.uv.es/RELIEVE/v2n2/RELIEVEv2n2_1.htm