Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
LGE
ESPACIO CURRICULAR
EVALUACIN DE PROGRAMAS EDUCATIVOS
Autor
Lic. Eduardo De Gregorio
OBJETIVOS
Brindar las herramientas tericas Metodologicas para una adecuada
Planificacin Educativa.
Conocer tcnicas de evaluacin social de proyectos aplicadas en programas del
sector.
Desarrollar capacidades para el seguimiento y evaluacin de programas
educativos.
CONTENIDOS
Capitulo 1: Planificacin de Procesos
Concepto de planificacin Estado de Planificacin Planeamientos generales para
planificar- Metodologas Niveles y Plazos - Panificacin Estratgica y OperativaTcnicas Planificacin Esttica y Dinmica.
Capitulo 2: Evaluacin.
Concepto de Evaluacin Situacin dentro del Proceso Metodolgico. - Razones de la
evaluacin Tipos Criterios Indicadores Instrumentos. - Matrices de Evaluacin.
CRONOLOGA DE ENCUENTROS
Se realizaran dos encuentros, uno cada cinco semanas, al iniciar y al finalizar el cursado
de la asignatura.
PROPUESTA DE SEGUIMIENTO.
Se podrn realizar consultas para asesoramiento semanalmente en la sede de la U.N.S.E.,
personalmente, por telfono ( 0385 4509575) fax (0385 4509575) de acuerdo a horarios a
establecer.
CONDICIONES PARA APROBAR
1- EL CONCEPTO DE LA PLANIFICACIN
- Qu bonito proyecto!
Por ltimo, resear e! gran nmero de proyectos y planificaciones que, una vez
diseados y presentados ante quien correspondiese, van directamente al archivo sin
ningn tipo de contraste con lo ejecutado; este fenmeno, excesivamente frecuente,
habla por si solo del carcter aislado y puntual, sin ningn sentido de proceso, del que
adolecen muchas de las acciones de Innovacin Educativa.
3- PLANTEAMIENTOS GENERALES PARA PLANIFICAR
Tan importante como conocer la metodologa de la planificacin, es saber cules
son los planteamientos generales en los que se enmarca. No hay que olvidar que las
fuentes tcnicas e instrumentales de la planificacin, proceden del mundo empresarial y
de la gestin econmica; sin embargo, los objetivos de los procesos de Gestin
Educativa no son los mismos obviamente que los que persigue "el mundo del
capital".
As pues, lejos de formular una definicin restringida de planificacin, este
concepto tendr ms amplitud y ser ms rico en su significado, si la definicin la
configuran el conjunto de planteamientos generales que en el siguiente cuadro se
exponen:
La planificacin implica:
- una forma de graduar la utopa
- partir de una realidad analizada
- acercar / determinar el futuro
.
- disear un camino que pueda ser recorrido
- establecer los pasos precisos para alcanzar los objetivos propuestos
- aprovechar las oportunidades y prever las dificultades
- tener una visin global del contexto en el que se ubica "nuestra planificacin"
- adaptarse al medio y a la situacin en la que ha de desarrollarse
- mantener el equilibrio propio del mbito desde el que se planifica
- la existencia de un proceso colectivo de avance
- establecer tos mecanismos de implicacin de los destinatarios
- romper la resistencia al cambio
- comprometerse en su ejecucin. .
Este cuadro de planteamientos generales otorga personalidad propia al trmino
planificacin, en cuanto a su papel en la innovacin Educativa se refiere. Pero an se
puede profundizar ms en algunos de los epgrafes presentados.
-
Y algo de verdad hay en todo esto. Habr, pues, que conjugar las dos premisas: "la
cruda realidad de la que se parte" y "la esperanzadora utopa a la que se aspira".
En primer lugar el conocimiento preciso de la realidad inicial es el paso
imprescindible para elaborar una correcta planificacin. En segundo lugar, s se puede
aportar algo respecto al tratamiento de la Utopa; es importante saber que lo que la
inhabilita para los procesos de Innovacin, es el entenderla como un todo globalizado,
complejo y lejano a lo que es difcil acceder. Parece como si se quisiese pasar de la
estacin de origen a la de destino en un tren de alta velocidad; pero la realidad social
est llena de estaciones y apeaderos en los que es obligado pararse, conocerlos e
integrarlos en el recorrido.
La Utopa global, afortunadamente, puede ser y lo ha sido durante muchos
siglos graduada en utopas ms cercanas, ms alcanzables, utopas de corto y medio
plazo, que acerquen la Utopa, no quizs para los que han iniciado el viaje, pero s para
los que les toque llegar a la estacin de destino. Si se habla del "pasado maana", se
descubrir que hay cosas que no son imposibles de conseguir, solamente: a nadie se le
haba ocurrido antes; se descubrir tambin que otras cosas requieren su tiempo, pero
que se sabe la forma de obtenerlas; y se sabr, por ltimo, qu es lo que pertenece al
futuro y qu, de ese futuro, se puede adelantar ahora.
.
. ..
UTOPIA
PROCESO DE
GRADUACIN
DE LA UTOPIA
Proyectos
Planificables
Y alcansables a
corto plazo.
Proyectos
realizables de
inmediato.
(se dispone ya de
los medios )
(no se dispone de
los medios pero
se pueden
obtener con
facilidad)
Proyectos
planificables
y alcanzables
a medio
plazo.
( no se
dispone de
los medios
pero se
pueden
obtener con
facilidad)
Proyectos
planificables y
alcanzables a
largo plazo
Utopas
Parciales.
(no se dispone
de los medios
pero se pueden
planificar las
situaciones
previas para
conseguirlos)
REALIDAD de PARTIDA
- Anticiparse a! futuro. Una prospectiva diseada para la accin
La planificacin se refiere siempre al futuro, es una prospectiva diseada para la accin;
dicho de otro modo, al planificar se debe:
analizar las oportunidades que el futuro ofrece para la accin
estudiar las alternativas que se plantean
buscar nuevas vas.
PLANIFICACIN
Ahora bien, al referirse al futuro no hay que olvidar que ste no es algo
predestinado sobre lo que no se puede incidir. La planificacin, partiendo siempre de la
realidad, puede y debe determinar el futuro. En este proceso se produce un juego a dos
bandas: se tratara, por un lado, de aprovechar las oportunidades y alternativas y, por
otro, de prever las dificultades y los riesgos
APROVECHAR
MAXIMIZAR
PREVER
MINIMIZAR
OPORTUNIDADES Y
ALTERNATIVAS
RIESGOS
DIFICULTADES
PLANIFICACIN
EVALUACIN
ELECCIN DE LA ACCIN
ANLISIS DE LA REALIDAD
De esta manera, cada planificacin se hallar inmersa en un proceso mas amplio que, a
su vez, habr sido previamente planificado; esto permitir que la trayectoria del
colectivo pueda ser, efectivamente, de avance y la realidad de la que se parte cada vez,
cambiante.
-
(A) Procesos de
paralelismo
(A) Procesos de
paralelismo
POR
QUE
PARA
QUE
EL QUE
COMO
PARA
QUIEN
CON
QUIEN
DONDE
CUANDO
CON
QUE
espacio
Condiciones
coyunturales del
entorno en el que
se enmarca la
planificacin.
Proyecto / Utopa
Finalidades.
Planificacin
Estratgica
recursos
tiempo
Personas, dineros,
infraestructuras,
equipamientos,
relaciones, etc....
Periodo para el
cual se prev la
accin.
Objetivos
Especficos
Planificacin
Operativa
PROCESO DE ACCION
He aqu otra asignatura pendiente. Suele ser, tambin, uno de los principales
obstculos para convertir proyectos en realidades. Es imprescindible aplicar cierta
mentalidad empresarial a este elemento; dicho de otro modo, hay que combinar la
agresividad en la bsqueda de recursos econmicos con el criterio de rentabilidad. Todo
cuesta dinero: el tiempo, los materiales, la infraestructura, los especialistas, el trabajo en
exclusiva, la difusin, etc., etc. No se puede actuar irresponsablemente en este apartado.
El planteamiento financiero ha de implicar la previsin, el buscar el dinero para los
proyectos antes que hacer slo los proyectos que me permite el dinero que tengo,
implica adems una cierta capitalizacin o generacin de beneficio que permita una
estabilidad y amplitud de miras para futuras realizaciones. Cmo se podra hablar de
estrategia, sin un planteamiento econmico estratgico?
7. Mecanismos de evaluacin
Se dedica un captulo entero a la evaluacin y por eso no se va a abundar mucho aqu
sobre este asunto; solamente sealar que en la planificacin estratgica hay que
establecer los mecanismos de contraste y revisin y los momentos idneos para
ponerlos en juego. Del cmo y por qu, se habla en ese otro captulo.
8. Tiempo y estrategia
El factor tiempo cuando nos referimos a la planificacin de la estrategia, no es algo tan
tangible como ocurre en la planificacin operativa de acciones. Habitualmente
trabajaremos con perodos amplios de un mnimo de seis meses, aunque esto siempre ha
de ser orientativo, sin embargo, es fundamental tener presente que los grandes proyectos
requieren su tiempo, tiempo de ejecucin y tiempo de transmisin, por ello puede ser
bueno trabajar con el concepto de bienio, trienio, o cualquier otro plazo que supere la
ansiedad de lo inmediato.
4.3 Planificacin Operativa
Qu hacer para hacer cada cosa; convertir en accin la estrategia planificada con
anterioridad: de esto se trata cuando se habla de planificacin operativa. Trasladar los
planteamientos tericos a resultados prcticos.
Para explicar este segundo nivel de planificacin la teora general de sistemas
puede servir como modelo; resumiendo: todo sistema es un : conjunto organizado de
elementos, integrados y ordenados lgicamente entre s, que tienden hacia un mismo
fin, supone la existencia de una serie de procesos interconectados, cuyo resultado global
es superior al resultado de cada uno de ellos separadamente.
Relacionando esta teora sistmica con la planificacin operativa se sugieren
dos cuestiones a resolver: la primera, la coordinacin entre todos los procesos
necesarios para desarrollar una accin, lo que economiza recursos y ofrece un mejor
resultado; la segunda, la concrecin de qu elementos comporta !a entrada del sistema
as como su interrelacin, para que la salida es decir, la actividad resultante sea la
proyectada. De la coordinacin de procesos y de la interpelacin de elementos se
INFORMACIN
PERSONAS
MATERIA PRIMA
INFRAESTRUCTURA
FINANCIACIN
TIEMPO
ACTIVIDAD LOGROS
RESULTANTE
PLANIFICACIN OPERATIVA
1. Informacin
Ofrece los datos necesarios para ponerse a trabajar; es e! canal a travs del cual,
se van a conocer las premisas externas e internas de las que se parte en el momento de
empezar a desarrollar cada actividad, pero no slo; tambin, va ,a informar del estado de
la accin en cada momento, para saber qu nuevos elementos hay que incorporar, qu
correcciones hay que aplicar y cualquier otra cuestin que vaya surgiendo durante el
proceso de realizacin. El elemento informacin es un anlisis de la realidad ad hoc, es
un catalizador que indica la marcha del trabajo, la necesidad de acelerare ralentizar;
aprovecha, por otro lado, la experiencia existente en el campo en el que se desarrolla la
accin proyectada, evitando cometer errores ya cometidos y captando el sentido de
oportunidad preciso. Habr que decidir: dnde recabar la informacin que se necesita,
qu tipo de informacin y qu canales se disponen para recibir la informacin de la
marcha del proceso.
2. Personas
Es el elemento humano de la planificacin operativa y determinante del proceso
de accin. Este requerir unas personas determinadas para ser llevado a cabo personas
que formarn parte habitualmente del ncleo promotor o que habr que buscar fuera.
Adems, ser conveniente una calificacin concreta; para ejecutar determinadas
actividades har faltar acudir a especialistas. Lo que en un momento dado aparenta un
abaratamiento de los costos, ms tarde puede disminuir la rentabilidad final del trabajo y
ser realmente costoso.
As pues, esta segunda entrada de la planificacin operativa alude a las
personas que sern necesarias para desarrollar la accin y al papel que cada una de ellas
ha de resolver. Luego se ver la problemticas de la participacin.
3. Materia Prima
Como su propio nombre indica, la materia prima son los componentes en bruto a
partir de los cuales se va a construir el producto final objetivo de cada actividad. Como
alguien dijo alguna vez; son los ingredientes de la comida, siempre resultar los
mismos, pero de cmo se cocinen y condimenten la comida ser mejor o peor, de una
clase u otra. Este ejemplo culinario aporta un dato importante: tanto valor tienen los
materiales que se decida utilizar como el tratamiento que se haga de ellos.
Volviendo a la cocina, cuando se quiere realizar un plato cualquiera, se repasa
cules son los ingredientes necesarios y la forma de cocinarlos, se mira al armario para
comprobar cmo estn las existencias, se va al mercado si hace falta o se le pide a la
vecina. Es la planificacin operativa aplicada a la cocina. Aplicar esto a la Gestin
Educativa es una tarea parecida.
4. Infraestructura
Y si ya se cuenta con la informacin, con las personas y con la materia prima,
ahora habr que definir qu infraestructura es la apropiada. Es decir qu equipamientos,
En este momento seria oportuno que eligieran algn problema institucional que
interese, y realizasen un buen diagnostico del mismo. ( Ver Tcnicas aplicadas en la
planificacin, el modelo de las nueve cuestiones).
Luego tratar de contestar las preguntas propuestas por el modelo.
Plazos de tiempo
Plazos de tiempo
CORTO
MEDIO
LARGO
Finalidades
Planificacin
estratgica
Objetivos
Planificacin
Operativa
Evaluabilidad
que sean coherentes con las finalidades fijadas y con el contexto ideolgico del
que emanan
que motiven para la accin; es decir, que los participantes en el proceso se
identifiquen con ellos y los relacionen con sus propios intereses o aspiraciones,
lo que necesariamente conlleva.
- que sean participativos, de modo que todos los implicados hayan participado en
su discusin y posterior elaboracin
- que sean concretos y estn planteados con claridad, o lo que es lo mismo: que
establezcan con exactitud qu es lo que se pretende alcanzar y que esto sea
entendido igualmente por todos
- que sean proporcionados con los recursos de los que se dispone, as como con
las condiciones socio ambientales en las que se establecen; este hecho evita
frustraciones intiles y traslada la misma proporcionalidad al momento de
evaluar los resultados, para el cual ser preciso haber formulado unos objetivos.
- que sean evaluables, es decir, que al finalizar la accin permitan verificar con
exactitud si se han cumplido o no y por qu; asegurando, adems, que exista
acuerdo comn sobre ello. Esto implica que, frente a los trminos abstractos y
generales de las finalidades, los objetivos debern plantearse en trminos
concretos que signifiquen lo mismo para todos los que los deciden, en este
momento y en el de su evaluacin.
Unos cuantos prrafos antes se recurri a la teora general de sistemas para explicar
el proceso de la planificacin. Esta teora establece unos principios que deben regir el
funcionamiento de los sistemas; comparando de nuevo estos con la planificacin, dichos
principios constituyen una nueva clave a tener en cuenta:
-
7. EN RESUMEN
La planificacin en los procesos de Gestin es el sistema para hacer efectivas las
decisiones tomadas, realizar el plan elegido y conseguir los objetivos formulados.
El panorama ms frecuente en lo que a aplicacin de metodologas de planificacin
se refiere, presenta un aspecto no demasiado alentador: metas difusas, tendencia a la
improvisacin sobre la marcha, concentracin de tareas en unos pocos, la inercia o la
rutina como pautas de trabajo, carencias de ideas que proyectar, falta de conciencia de
avance, descontrol de las contingencias, diseos de proyectos muy bonitos pero poco
prcticos, etc.
La planificacin implica, sin embargo, la graduacin de la utopa, anticipar el
futuro, pasando de la realidad ineludible a la utopa creadora. Al planificar se elabora
una prospectiva diseada para la accin, que aproveche las oportunidades y las
alternativas, y que prevea los riesgos y las dificultades. La planificacin se convierte as,
en el hilo conductor del proceso colectivo que, como tal, exigir una implicacin de
todos los factores humanos intervinientes, para poder esperar luego un adecuado
compromiso en la ejecucin.
La propuesta metodolgica que aqu se ofrece, parte de la combinacin entre
recursos y tiempo como variables condicionantes para la accin; los plazos idneos para
cada planificacin estarn conformados por el tiempo para el cual se puede
comprometer un funcionamiento adecuado con los recursos disponibles. Distinguiremos
dos niveles de planificacin basados en el distinto alcance de cada uno: planificacin
estratgica relacionada pero diferenciada del concepto de estrategia y planificacin
operativa; el primer nivel 'el estratgico se construye sobre finalidades y
motivaciones generales de la accin, previendo sus exponentes claves, la infraestructura
de apoyo precisa, la organizacin de la estructura humana y los mecanismos de
evaluacin. El segundo nivel el operativo se elabora sobre objetivos especficos
conducentes a la accin, con los siguientes elementos: informacin, personas, materia
prima, infraestructura, financiacin, tiempos de realizacin. En sntesis, la planificacin
estratgica se plantea el tiempo hacia adelante en su" prospeccin; en la planificacin
operativa, el tiempo cuenta hacia atrs.
En definitiva , las claves que posibilitan una planificacin til son: un adecuada
formulacin de objetivos , que estos sean coherentes , motivadores, participativos,
concretos, proporcionados y evaluables; la aplicacin de los principios de la teora
general de sistemas: equifinalidad, estabilidad, adaptabilidad, eficiencia, sinergia y
retroalimentacin,; la previsin de la flexibilidad necesaria para planificar, la existencia
de la relacin decisin accin responsabilidad y un eficaz sistema de registro y
reciclaje de la informacin.
Por ultimo, recordar la universidad de la aplicacin de la metodologa de planificacin,
desde el mbito mas sencillo al mas complejo, desde un aspecto parcial de la accin a su
globalidad.
LA EVALUACIN
1. CONCEPTO:
La evaluacin es una parte importante del proceso metodolgico; previo al
desarroll de esta idea a lo largo de este captulo, se puede enunciar un concepto de
evaluacin que describa su funcin.
La evaluacin ofrece muchas posibilidades de utilizacin, tantas como fines a
los que se puede aplicar Es posible evaluar desde cmo se ha sentido un grupo en una
sesin de alfabetizacin, hasta cul ha sido la relacin costo - beneficio en una agencia
de publicidad.
Que se hace?
ANLISIS
DE LA
REALIDAD
qu ocurre?
PLANIFICACIN
ORGANIZACIN
INTERVENCIN
EVA
LUA
CIO
evaluar.
" Comparar los efectos de un programa con las metas que se propuso alcanzar,
con el fin de contribuir a la toma de decisiones subsiguiente acerca del mismo y para
mejorar as la programacin futura " (Weiss, 1982:16).
Para otros autores, el caso de Banners, Docstors y Cordn:
" La evaluacin mide hasta que punto un programa alcanza ciertos objetivos"
(1975:13).
En documentos oficiales de la ONU, la evaluacin se entiende como:
" El proceso encaminado a determinar sistemtica y objetivamente la
pertinencia, eficiencia y eficacia del impacto de todas (as actividades a la luz de sus
objetivos. Se trata de un proceso organizativo para mejorar las actividades todava en
marcha y ayudar a la administracin en la Planificacin, programacin y toma de
decisiones futuras " (1984:18).
En el caso de un organismo del Sistema de las Naciones Unidas, la OMS. la
evaluacin es definida como:
Un medio sistemtico de aprender empricamente y de analizar las lecciones
aprendidas para el mejoramiento de las actividades en curso y para el fomento de una
planificacin mas satisfactoria mediante una seleccin rigurosa entre las distintas
posibilidades de acciones futuras.
Ello supone un anlisis critico de los diferentes aspectos del establecimiento y la
ejecucin de un programa y de las actividades que constituyen el programa ,su
pertenencia, su formulacin , su eficiencia y eficacia, su costo y su aceptabilidad para
todas las partes interesadas
(1981:11).
3. REFERENCIAS BIBLIOGRFICAS
La conciencia de la necesidad de la evaluacin en procesos de Gestin
y, sobre todo, el desarrollo de. la misma son fenmenos relativamente nuevos. En la
actualidad, se podra decir que existe ya un discurso de la necesidad de la evaluacin
como parte inevitablemente Integrante de un proceso metodolgico ms amplio. Este
discurso, sin embargo, ha quedado muchas veces en una mera declaracin de
intenciones que no se ha correspondido con una ejecucin real. Esto puede ser
considerado como un fenmeno extrao, si se analiza la literatura existente en nuestro
pas sobre evaluacin, que se podra dividir en varios campos:
evaluacin que, sin embargo, tienen ms que ver con evaluaciones a gran escala
de servicios sociales que con otro tipo de procesos socioculturales.
;
actividad o intervencin con la intencin de utilizar (es decir, aplicar) ese anlisis en la
mejora del programa, actividad o intervencin.
4.1 El sentido de la evaluacin
Esta definicin implica, claramente, que el sentido de la evaluacin reside
precisamente en que sta sea usada, de hecho, para despejar interrogantes, mejorar la
efectividad o tomar decisiones en cuanto a un programa, actividad o intervencin y a lo
que stos afectan se refiere. Es decir, la evaluacin ha de ser ante todo til y prctica:
til, porque la informacin que nos ofrezca debe servir para la mejora del
programa, actividad o intervencin; es decir, debe ser una informacin fcilmente
aplicable y utilizable
Prctica, porque debe estar dirigida a la accin, al igual que todos los momentos
del proceso metodolgico que se utilice. Para esto, debe estar basada en la realidad
concreta del programa evaluado.
En definitiva, si no se utiliza la informacin obtenida a travs de la Evaluacin, los
esfuerzos y energa empleados no merecen la pena.
ALGO MAS SOBRE LOS CRITERIOS DE UTILIDAD
En 1991, el Comit Conjunto de Normas para fa Evaluacin educativa, publica
en tos EE.UU. una serie de normas para la evaluacin de programas, proyectos y
materiales educativos.
Estas normas se desarrollaron en un periodo de cinco aos y dicho Comit
representaba a ms de doscientas personas en el mundo profesional de la evaluacin.
Las normas estaban divididas en cuatro condiciones, por orden de prioridad:
utilidad
Viabilidad
tica
Precisin
Este Comit consider que primero, una evaluacin debe ser til para las
personas implicadas en el programa evaluado. Despus, debe ser viable tanto en
trminos polticos, como prcticos, como de costo -beneficio y debe ser llevada a cabo
tica y honestamente.
Finalmente, si ya hemos comprobado que es til, viable y tica, entonces nos
ocupamos de la precisin tcnica.
Estas normas, aunque especializadas en programas e intervenciones educativas,
y teniendo como marco de referencia la idea de evaluadores externos al programa,
pueden ser tiles en el sentido de que responden a una tradicin evaluativa de muchos
aos.
*Es una manera de recibir feedback sobre las intervenciones y los programas que
se llevan a cabo, un modo de mejorar y progresar. Al fin y al cabo, la evaluacin puede
ser w proceso de aprendizaje de la propia intervencin.
*Es una responsabilidad social y poltica, especialmente si las actividades llevadas a
cabo se financian con fondos pblicos, ya que el contribuyente tiene derecho a saber en
qu y cmo se est empleando el dinero pblico.
La propuesta metodolgica que aqu se plantea propone una evaluacin que tenga
como rol principal el de aprendizaje y mejora ,que sea una evaluacin formativa y
participativa y que sea consecuente y est imbricada en el proceso metodolgico
planteado, es decir, que sea una necesidad del propio proceso de anlisis, planificacin e
intervencin.
4.4 Objetivos de la evaluacin
El fin ltimo de la evaluacin es, pues, la mejora del programa, actividad o
intervencin. Para mejorar, dependiendo de las circunstancias especficas y de las
caractersticas del programa puede ser interesante conseguir uno o ms de los siguientes
objetivos:
__* Medir el grado de idoneidad, eficacia o eficiencia de un programa.
__*eficacia : si consigue lo que se haba propuesto como metas ( si a cumplido los
objetivos o produce el efecto deseado)
__* Facilitar el proceso de toma de decisiones del colectivo y sobre la intervencin,
actividad o programa.
__*Fomentar un anlisis prospectivo sobre cuales y como deben ser las
intervenciones futuras. Esto a su vez contribuye, en ultimo termino, al aprendizaje y
conocimiento progresivo y acumulativo sobre modelos de intervencin.
.............................................................................................................................................
.............................................................................................................................................
.............................................................................................................................................
.............................................................................................................................................
.............................................................................................................................................
.............................................................................................................................................
.............................................................................................................................................
.............................................................................................................................................
.............................................................................................................................................
.............................................................................................................................................
.............................................................................................................................................
.............................................................................................................................................
.............................................................................................................................................
.............................................................................................................................................
.............................................................................................................................................
.............................................................................................................................................
.............................................................................................................................................
.............................................................................................................................................
.............................................................................................................................................
.............................................................................................................................................
.............................................................................................................................................
.............................................................................................................................................
.............................................................................................................................................
5. LA PROPUESTA METODOLGICA
.
Hasta ahora se han establecido las bases de un planteamiento metodolgico; se
ha hablado de la idea general de este planteamiento (el sentido de la evaluacin), de las
caractersticas necesarias de una buena evaluacin y de las razones (los fines) y los
objetivos de la evaluacin.
A continuacin se va a concretar ms esta propuesta metodolgica analizando los
diferentes tipos de evaluacin posibles y as como estableciendo unas bases que puedan
resultar tiles para llevar a cabo un buen diseo de evaluacin. , ,
5.1 Tipos de evaluacin
Segn el papel que cumple la evaluacin
La evaluacin puede cumplir dos papeles: el formativo y el sumativo.
Una evaluacin formativa hace un seguimiento del programa o actividad. Se
puede considerar que esta evaluacin es una parte integral del proceso de planificacin
y desarrollo de un programa, y su funcin es ofrecer un feedback continuo que
contribuya a la replanificacin y el aprendizaje sobre la intervencin, mientras sta se
est llevando a cabo. En general, la evaluacin formativa cumple la funcin de ayudar a
los implicados en el programa a mejorar y ajustar lo que se est haciendo.
La evaluacin de tipo sumativo determina hasta qu punto los objetivos se cumplen
o se producen determinados efectos no previstos; la evaluacin se realiza una vez
finalizado el programa. Valora el producto final, va ms encaminada a la toma de
decisiones y sirve como medio de controlar responsabilidades. Sirve, a su vez, para
obtener una informacin que permita comparar los costos, el mrito y la vala de otros
programas similares.
Como se ha mencionado ms arriba, esta propuesta metodolgica se va a centrar
ms en una evaluacin de tipo formativo. Esto, adems, es coherente con la idea de que
la Gestin Educativa pretende fomentar procesos de participacin.
Segn el contenido de la evaluacin
Segn el contenido de la evaluacin, se pueden diferenciar cuatro tipos: evaluacin de
necesidades, de diseo, de proceso y de resultados.
Evaluacin de necesidades
Esta evaluacin se hace despus de haber estudiado la realidad y es previa a la
formulacin del proyecto. Se evala el contexto, y la realidad sobre la que se quiere
intervenir y se realiza un diagnstico de las necesidades de y con el grupo destinatario,
para dirigir nuestra accin. Este tipo de evaluacin coincide con el anlisis de la
realidad, que ya ha sido tratado previamente.
Esta evaluacin sirve, sobre todo, para ayudar a desarrollar objetivos y para
tomar decisiones sobre la planificacin de la intervencin. A su vez, cumple la funcin
de ofrecer una base que sirva para juzgar los resultados del programa.
Evaluacin del diseo
Esta es una evaluacin del diseo del programa, de su coherencia y su
aplicabilidad. Puede cumplir una funcin de ayuda, a la hora de dar forma a propuestas
y proyectos y formar decisiones sobre la estructuracin de tos mismos. Permite, adems,
obtener una base para juzgar cmo se est llevando a cabo el programa.
Las bases para este tipo de evaluacin se pueden encontrar er. los procesos de
planificacin y elaboracin de proyectos tambin tratados anteriormente.
Evaluacin del proceso y desarrollo del programa
Este tipo de evaluacin sirve para guiar el proceso de ejecucin del programa, de
manera que se obtenga una informacin til para realizar los ajustes convenientes
mientras el programa se est llevando a cabo. Busca, pues, explicaciones de lo que pasa,
de los fallos y los cambios que se producen.
Se puede realizar a travs de distintos "puntos de control" y tiene una funcin de
retroalimentacin; de ofrecer informacin que permita mejorar y refinar el diseo y la
ejecucin del programa.
Esta informacin, adems, puede ser til posteriormente cuando se evalen los
resultados. As, este tipo de evaluacin de proceso pretende ir ajustndose mejor a la
realidad y a los destinatarios a los que se dirige.
Evaluacin de resultados
Describe y juzga los resultados de un programa de intervencin,
relacionndolos con los objetivos y las necesidades, para evaluar el mrito y vala del
programa en su conjunto. As, sirve para evaluar los efectos que ha producido el
programa, no slo los pretendidos y positivos sino tambin los no buscados y negativos.
Se evala una vez finalizada !a accin y facilita la toma de decisiones sobre la
continuacin, terminacin o modificacin del programa. .
Los cuatro tipos de evaluacin pueden ser importantes tanto desde el punto de
vista formativo como desde el sumativo. En la tabla siguiente se relacionan entre s
distintos tipos de evaluacin.
Evaluacin
Formativa
(orientada a la
toma de
decisiones)
Evaluacin
Sumativa
(orientada a la
asignacin de
responsabilidades)
Evaluacin
necesidades
Gua para la
eleccin de
objetivos y el
establecimiento
de prioridades.
Evaluacin
Evaluacin
de diseo
de proceso
Gua para la
eleccin de
Gua para la
estrategias y
ejecucin.
procedimientos.
Registro de
objetivos y de
las bases para
su eleccin
Registros de
estrategias y
procedimientos
y bases para su
eleccin.
Registro del
proceso real.
Evaluacin
de producto
Gua para la
terminacin,
continuacin o
modificacin.
Registro de lo
conseguido y
de las
decisiones
tomadas.
5.4. Indicadores
Unido al concepto de evaluacin se encuentra el concepto de , indicadores.
Este concepto ha sido utilizado, principalmente, en la : evaluacin de servicios sociales
y se ha relacionado, casi siempre, con una evaluacin de tipo cuantitativo.
Un indicador es una unidad de informacin que nos seala si un cierto criterio
de evaluacin se ha dado o no. Por ejemplo, algunos indicadores del grado de
participacin pueden ser: N de asistentes y N de intervenciones de tipo
cuantitativo, ha habido propuestas constructivas para el grupo, hay predisposicin a
participar activamente en las actividades que se proponen, todos intervienen en la
discusin de tipo cualitativo.
Muchas veces estos indicadores, cuantitativos o cualitativos, pueden ser tiles.
Sin embargo, no se puede hacer una evaluacin seria de un programa slo a base de
indicadores cuantitativos, ya que perderamos una informacin muy valiosa
probablemente, la que ms nos interese o resulte ms significativa que no puede ser
reducida a trminos numricos.
En definitiva, formular indicadores puede ayudar a especificar los criterios o
preguntas de evaluacin; tambin a sistematizar la bsqueda de informacin. Sin
embargo, se tendr que contemplar otra informacin significativa que no se haya
incluido en los indicadoras. Es por esta razn por la que en algunas situaciones
evaluativas no conviene determinar indicadores previamente, ya que puede interesar
afrontar la evaluacin de la manera menos predeterminada posible (por ej; programas
nuevos que se estn experimentado).
5.5. Instrumentos de evaluacin. Cmo se evala?
La evaluacin consiste en una recogida sistemtica de informacin focalizada
en una serie de aspectos, posteriormente analizada y juzgada. Los instrumentos de
evaluacin pueden ser cualquier instrumento de recogida de informacin que se ajuste al
tipo de informacin que queremos, a las circunstancias especficas de cada situacin
evaluativa y a los recursos y al tiempo disponible. .
La idea de que la evaluacin debe ser til conecta con la necesidad de una
flexibilidad metodolgica; es decir, cada situacin puede exigir o permitir la utilizacin
de instrumentos o mtodos muy distintos, y cualquiera puede ser vlido, siempre y
cuando nos d una buena informacin para contestar los interrogantes planteados. La
utilidad de una evaluacin va a depender en gran medida de que los mtodos utilizados
sean los apropiados.
Los elementos a tener en cuenta en la eleccin de instrumentos de recogida de
informacin son los siguientes:
.
...
__ Naturaleza de la informacin que se quiere obtener: es distinto saber qu es lo
que opina, siente o espera la gente, que lo que sabe o cmo se comporta. Tambin es
diferente si se quiere saber cmo siente o qu opina cada una de las personas (en ese
GRFICO N.III-1.
MODELO DE PROBABILIDADES DE OCURRENCIA DEL IMPACTO
SOCIAL
previsto
+
deseado
no previsto
no deseado
IIMPACTO
previsto
no previsto
b) Permite determinar con criterios objetivos las reas problemticas que necesitan ser
mejoradas, evidenciando las dificultades reales y el grado de recurrencia de las mismas.
c) Provee evidencias tangibles sobre los logros y las estrategias necesarias para
consolidarlos.
ch) Apoya los procesos de revisin de los procedimientos de trabajo, proveyendo
informacin actualizada y oportuna para la toma de decisiones. .
d) Orienta la evaluacin de la eficacia y la eficiencia en la generacin del impacto
-social, por medio de la consideracin
de variables de inters, tales como la cobertura, el costo Y otras.
Sin embargo, para que lo anterior sea efectivo, el proceso de medicin tiene
que basarse en procedimientos estandarizados que garanticen su confiabilidad. Un
procedimiento sencillo para emprender la medicin puede ser:
,
1) Establecer el sistema de medicin para determinar: qu se quiere medir? y bajo
qu estndares se har la medicin?
2) Definir los aspectos de la situacin deseada que sern medidos.
..
3) Generar las informaciones requeridas.
4) Retroalimentar el proceso de medicin.
Otra consideracin importante en el proceso de medicin, es el hecho de que no se
puede medir todo a un mismo tiempo. Es necesario discernir. Se debe medir lo que es
importante a los propsitos del impacto social buscado. Asimismo la medicin debe
orientarse, en la medida de lo posible, a los procesos y no slo a los resultados.
Generalmente, la gente tiende a relacionar las medidas con porcentajes,
estimaciones, aproximaciones, presupuestos, o bien, con otras cosas ms sofisticadas
como varianza, modelos matemticos, etc. Sin embargo, es til recordar que la medicin
del impacto social es, fundamentalmente, un hbito, una disciplina ; de trabajo para
determinar dnde estamos de la situacin lograda y qu tan lejos o cerca nos
encontramos con respecto a la situacin deseada.
Uno de los problemas fundamentales que se presenta en la medicin del impacto
social, es que los cambios que se quieren . medir, generalmente estn asociados con la
calidad. De ah que la pregunta crucial es: Corno medir algo tan abstracto como la
calidad? Esta ha sido una de las grandes polmicas alrededor de las discusiones
conceptuales y de aplicabilidad prctica de la evaluacin del impacto social.
Incluso, hay quienes defienden posturas eclcticas y hablan de la imposibilidad real de
desarrollar procedimientos metodolgicos para medir la calidad.
Sin nimo de soslayarlas dificultades de orden metodolgico y prctico que este
campo representa y, por supuesto, sin intentar solucionarlas con simplificaciones a la
ligera, es til recurrir a la literatura reciente sobre los Procesos de Liderazgo , de
Calidad, desarrollada fundamentalmente por los japoneses, que presentan, interesantes
sugestiones para abordar el problema de la medicin de la calidad.5
En tal sentido, los autores que han trabajado en esa lnea plantean: Cmo definir la
calidad?: Calidad es cumplir con los requisitos. De esta forma, la calidad deja de ser una
medida subjetiva de gustos y preferencias personales y se convierte en un concepto
Por esto las vas de generacin de impacto deben formar parte de un cuidadoso
proceso de planificacin estratgica, que involucra la formulacin de estrategias, el
establecimiento de metas y objetivos, desarrollar planes especficos de accin, ponerlos
en prctica, evaluarlos y retroalimentarlos. En fin, lo que se trata de destacar es. que el
impacto social, no es, solamente, un sistema de control y evaluacin.
El impacto social- es una funcin tico filosfica, ligada a una determinada
concepcin del mundo que rescata los valores del ser humano, su desarrollo, su
creatividad, en el contexto de un proceso de aprendizaje guiado y direccionado hacia
formas de convivencias superiores.
BIBLIOGRAFA
- Weris C.H. Investigacin Evaluativa Triela- Mxico - 1975
-Ernesto Cohen y Rolando Franco. Evaluacin de Proyectos Sociales Siglo XXI.
- Ins Aguerrondo. El Planeamiento Educativo Troquel 1994.
-Planificacin Estratgica _ SIEMPRO 1998.
- Arlette Pichardo Muiz. Planificacin y programacin Social Humanistas 1998.
- Arlette Pichardo Muiz. Evaluacin del impacto SocialLumen 1997.
ANEXO
TCNICAS
Aqu se ofrecen algunas tcnicas que sirven, sobre todo, para evaluar procesos en los
que un grupo es protagonista. En cualquier caso pueden ser guas o maneras de
organizar la informacin de cualquier otra evaluacin.
1.
Valoracin-Explicacin-Aplicacin
Las reglas del juicio son flexibles pero deben estar predeterminadas por los
directores de la audiencia y las dos partes implicadas.
Los directores del juicio (equipo de jueces) son los que deciden si una
informacin es relevante o no.
Puede haber testigos a. los que se les puede interrogar.
Tambin se puede llamar a declarar a expertos en la materia que se est
evaluando.
Tambin pueden participar otros grupos interesados o implicados en el
programa evaluado.
Puede pedirse a la parte que acta como fiscal, que informe previamente a la
parte defensora de los cargos que se le imputan, teniendo derecho a admitir por
anticipado ciertos cargos y a recusar otros (esto es til para no emplear el juicio
en demostrar lo que todos ya sabemos).
Ventajas
Disminuye: la tendenciosidad inconsciente, ya que se valora lo negativo y lo
positivo.
Se promueve una gran implicacin de! grupo(s) de interesados.
Se profundiza en la informacin y en la causa de las valoraciones,
__No es incompatible con que se den otras actividades evaluativas antes o despus del
juicio. No debe sustituir a las planificaciones de recogida y anlisis de datos de una
evaluacin ms amplia.
__ La calidad de la informacin es muy alta ya que todas las afirmaciones son probadas.
Permite que mucha gente exprese su punto de vista.
La informacin puede tener mucho alcance por el numero de personas implicadas en
la actividad.
Limitaciones
__ Se requiere bastante tiempo de preparacin y costes altos ya que se debe contar con
mucha gente para su realizacin.
No siempre hay diversidad de opiniones.
El juicio en s mismo, es decir la actuacin del mismo, se puede convertir en algo
ms importante que el contenido.
Puede depender de la habilidad de cada parte contrincante que el lado positivo o el
lado negativo sea el ms atractivo.
3.
Matrices de evaluacin
Esta es otra forma de recopilar y organizar informacin til para una evaluacin.
Esta tcnica est basada en la idea de que, ya que toda evaluacin implica
necesariamente una emisin de juicios sobre lo que se evala, stos no deben emitirse
sin tener en cuenta la explicacin de los hechos o datos que nos inducen a juzgar de una
manera u otra.
Consiste en desarrollar tres tipos de matrices en las-que se recopila y organiza
otros tantos tipos distintos de datos:
Matriz de descripcin: en esta matriz se contemplan dos columnas en las que se
incluye la siguiente informacin:
1. columna: las intenciones, lo que se pretende y planifica. Aqu se debe tener
en cuenta no slo los objetivos explcitos, sino tambin los implcitos, as como
las variaciones que estos hayan sufrido a !o largo del programa.
2.a columna: las observaciones, lo que realmente ocurre y se puede observar.
Matriz efe explicacin: en esta segunda matriz, se hace un anlisis del grado de
congruencia entre lo pretendido y lo observado. Siempre va a haber una diferencia entre
ambos aspectos; lo que se trata de analizar es cul es su envergadura y los porqus de la
misma. Si se para slo en analizar el hecho de la diferencia, es posible que se caiga en el
error de mirar slo lo negativo del programa, cuando probablemente existirn aspectos
que hayan resultado positivos, incluso aunque no estuviera contemplado en los
objetivos iniciales del programa. Esta es la razn de que en la matriz de explicacin se
incluyan columnas en las que se reflejan no slo los errores a cambiar, sino los aciertos
a potenciar. Estos errores y aciertos son los que van a explicar las causas y el grado de
diferencia entre las intenciones y lo observado.
1.a columna: grado de diferencia entre lo pretendido y lo observado.
2.a columna: se enumeran los errores. Estos errores van a ser las posibles causas
de esa diferencia.
3.a columna: se trata de dar una alternativa a esos errores. Se trata de ver qu es
lo que hay que cambiar.
4.a columna: se enumeran los aciertos del programa, en el sentido de que
contribuyen a que la diferencia entre lo intencionado y lo observado sea pequea
y, tambin, por lo que de inesperado puedan tener y que conviene potenciar.
5.a columna: en sta se resalta lo que se cree conveniente potenciar de esos
aciertos.
Matriz de juicio: en esta matriz se pretende recopilar la informacin relacionada con la
emisin de juicios sobre el programa que se est evaluando. Esta informacin se recoge
en dos columnas:
1.a columna: se enumeran las normas que se van a utilizar para emitir los juicios.
Las normas son los criterios explcitos para valorar la calidad de un programa.
Hay dos tipos de normas:
Absolutas: vienen dadas por las convicciones personales de los profesionales
implicados en la evaluacin, sobre lo que es bueno o deseable para un programa.
Tambin pueden venir dadas por lo que se ha escrito sobre el tema la
literatura existente
Relativas: vienen dadas por las caractersticas de programas similares que se
consideran satisfactorios. En este tipo de normas tambin hay que tener en
cuenta el anlisis de la realidad en a que est inmersa el programa evaluado, as
como las condiciones en as que dicho programa se ha llevado a cabo. 2.a
columna: se realizan y enumeran las valoraciones o juicios sobre el programa en
general y sobre cada uno de sus aspectos, en particular.
El valor de esta tcnica radica en la organizacin que realiza de una cantidad de
informacin considerable con respecto al programa. A su vez, y como ya se ha
mencionado, no permite que se hagan las valoraciones finales sin haber contemplado
antes la explicacin de los hechos y la proposicin de alternativas.
Su desventaja est en la complejidad que conlleva la organizacin de todos esos
datos. Por esta razn, es una tcnica ms adecuada para las evaluaciones que, o bien se
realizan desde el equipo base o bien desde un equipo de evaluadores externos no
implicados directamente en el programa.