EL PLANEAMIENTO COMO INSTRUMENTO DE CAMBIO

Materiales para su reconceptualizacin

Ins Aguerrondo

Proyecto Editorial: Esther Jacob Editorial TROQVEL Primera edicin, abril de 1990 Segunda edicin, agosto de 1991 Impreso en Argentina

INDICE
INTRODUCCION .................................................................................................................................................................... 11

1. LA PLANIFICACION EDUCATIVA EN AMERICA LATINA ........................................16 I. Discusin del concepto de planeamiento ................................................................................16 Limitaciones de la conceptualizaciones habituales ..........................................................................16 El proceso de gobernar ................................................................................................................ 17 La funcin especfica del planeamiento .........................................................................................19 La relacin poltica-planeamiento ..................................................................................................21 La relacin administracin-planeamiento .......................................................................................22 La participacin en cl contexto del planeamiento ............................................................................24 II. Surgimiento y desarrollo de la planificacin educativa en Amrica latina ............................27 Principales factores que han coadyuvado al surgimiento y expansin de la planificacin educativa en la regin ..................................................................................................................27 Etapas del desarrollo de la planificacin educativa ..........................................................................32 El proceso en Amrica latina ........................................................................................................34 III. Consideraciones sobre el producto del planeamiento educativo: los planes.........................35 Elementos para analizar la calidad tcnica de un plan .....................................................................35 La situacin en Amrica latina.......................................................................................................39 IV. El planeamiento de la educacin y la investigacin educativa ............................................43 Aportes de la investigacin ...........................................................................................................43 La situacin en la regin ...............................................................................................................45 V. Consideraciones finales. Aportes del planeamiento educativo...............................................47 2. PLANICACION Y PARTICIPACION: APORTES PARA EL DEBATE ................................................53 I. El planeamiento educativo en su entorno concreto ................................................................53 La educacin como proceso .........................................................................................................55 La participacin social y las transformaciones.................................................................................56 II. Planificacin, investigacin y participacin ..........................................................................57 3. CURRICULUM Y PLANIFICACION EDUCATIVA ...........................................................................69 I. El lugar del curriculum en la planificacin educativa ............................................................69 II. El tema del curriculum en nuestra realidad ...........................................................................70 III. Algunos aportes para la conceptualizacin del "curriculum" ..............................................72 Instancias implicadas en la construccin del curriculum ..................................................................73 El modelo curricular implcito.........................................................................................................75 El enfoque curricular implcito....................................................................................................... 76 IV. Hacia un nuevo paradigma curricular ................................................................................78 V. Centralizacin y descentralizacin: el reto de la regionalizacin desde el curriculum .........83 Bibliografa ..................................................................................................................................87 Diseos curriculares analizados ....................................................................................................88 4 . ABRIENDO CAMINOS ...............................................................................................................89 5. USO DE LA INFORMACION EN EL CONTEXTO DEL PLANEAMIENTO ....................................................... 100 Cmo garantizar la viabilidad de las decisiones .............................................................................102 Cmo colaborar en el contexto de la transformacin ....................................................................104 Cmo apoyar la racionalidad de la toma de decisiones...................................................................104 Redefinir qu se entiende por informacin ...................................................................................106 Organizar la informacin para la gestin: bases de datos, escenarios y diagnsticos ........................107 2

Generar informacin oportuna y relevante ...................................................................................109 Informacin sobre los resultados y logros ....................................................................................111 La unidad de anlisis en la presentacin de la informacin ............................................................112 6. EL PROCESO DE EVALUACION DE PROYECTOS EN EDUCACION: MODELOS Y
APROXIMACIONES .......................................................................................................................................................... 113

Presupuestos .............................................................................................................................113 Las metodologas de educacin .................................................................................................. 118 Los diferentes modelos de evaluacin .........................................................................................121 La evaluacin como un proceso constructivo ...............................................................................122

El proceso de evaluacin de proyectos en educacin: modelos y aproximaciones*

INS AGUERRONDO

Presupuestos La evaluacin de proyectos en el rea de la educacin presenta caractersticas complejas que se inscriben en dos ejes bsicos: por un lado, "lo educativo" como tal es un proceso multivariado que recibe determinaciones desde diferentes instancias; por otro lado, un "proyecto" implica un intento de transformacin de la realidad, lo que lo sita en el medio de las fuerzas sociales antagnicas que pugnan por cambiar y por no cambiar. La lgica desde la cual se trabaja habitualmente en la evaluacin de proyectos educativos refleja y se apoya en una concepcin muy clsica sobre la sociedad y las reglas de su funcionamiento, cosa que no debe extraar porque es congruente con la formacin que hemos recibido la gran mayora de los especialistas que estamos cerca de esta temtica. Como consecuencia de ello, tendemos a desmenuzar los objetivos del proyecto en una serie de indicadores que nos permitan elaborar instrumentos para "medir" los resultados en trminos del "cumplimiento de las metas propuestas", transformando de este modo la evaluacin del proyecto educativo en el mejor de los casos en una gran investigacin al estilo clsico donde se elabora un producto final: el Informe de Evaluacin. Entendida de esta manera, la evaluacin cierra un ciclo, luego de la ejecucin, en el conocido esquema del planeamiento educativo que postula una sucesin de etapas: diagnstico, programacin, ejecucin, evaluacin. Existen quienes tratan, con xito variado, de superar este enfoque lineal verticalista integrando la opinin de los participantes, Entonces agregan instrumentos (que hasta llegan a ser talleres de discusin) que recogen las opiniones de los diferentes actores, de tal modo que esta se constituye en una dimensin ms a evaluar dentro de la concepcin original propuesta, pero no se cuestiona en profundidad la propuesta de evaluacin ni se ensaya un enfoque alternativo. A pesar de que estas concepciones no son desconocidas entre los tcnicos especializados, la verdad es que pocos proyectos educativos se evalan, es decir pocos se evalan con este esquema formal. Las evaluaciones que se realizan parece que se emprendieran en funcin de esquemas mucho menos organizados, o mucho menos intencionados. Por un lado, todos los proyectos educativos son evaluados permanentemente por los diferentes actores que participan en ellos: por los alumnos y sus familias, por los docentes, por los conductores del ensayo, en fin, por la comunidad; y cada una de las personas que est en contacto con el proyecto tiene su propia evaluacin (o su propia 'opinin'), as como cada uno de los actores sociales la tiene, y consecuentemente cada uno de ellos acta apoyndolo o resistindose en funcin de ella. Por otro lado, los proyectos educativos son evaluados permanentemente por los conductores del ensayo en funcin de una serie de indicadores que cada uno de ellos considera pertinente, y esta evaluacin permanente sirve a los efectos de retroalimentacin para los ajustes que la prctica va sealando como necesarios. Es decir, que la actividad de evaluar proyectos se realiza en la realidad porque resulta socialmente relevante a los efectos de la determinacin cotidiana de la conducta de una serie de actores. Pero la teora sobre cmo se debe evaluar un proyecto adolece de una serie de carencias que hacen bastante dificultosa su aplicacin. Creo por ello sumamente importante iniciar una discusin acerca de la evaluacin de proyectos en el campo de la educacin, porque creo que es un campo que todava est en sus comienzos y al cual no se ha prestado demasiada atencin ni en lo que respecta a la discusin de cules son los modos idneos de evaluar, ni en lo que respecta a la reflexin sobre cules son las dificultades ms corrientes y los caminos posibles para superarlas.
*

Este artculo es el resultado tanto de notas anteriores de la autora sobre el tema (Evaluacin de proyectos en educacin, 1987, Mimeo), cuanto de la discusin realizada durante el I Seminario Taller Regional de Formacin de Formadores en Planificacin y Administracin de la Educacin (OREALC, Chile, mayo-junio 1989) en el grupo de trabajo sobre "Diseo y evaluacin de proyectos", integrado por Ins Aguerrondo, Elizabeth Garca Flores, Stella Guimaraes Trois, Damiana Len Crespo, Ralph van Breet, Luis Corts Coronel y Roberto Villaseor Spreitzer.

Creo importante poder superar el marco clsico que plantea la evaluacin por indicadores surgidos de los objetivos, ya que esta aproximacin ha demostrado que sus mltiples dificultades tericas y concretas la hacen bastante imposible de aplicar por las limitaciones epistemolgicas del enfoque y por las restricciones de tiempo y recursos que caracterizan nuestras realidades. He planteado en algunos escritos anteriores (Aguerrondo, 1986), la falacia de la planificacin educativa realizada a partir de la idea de que es posible el "manejo total" de la sociedad, o de que es posible el "conocimiento total" de la sociedad (la lgica sera: cmo puedo conocer toda la sociedad a travs del diagnstico, y puedo manejar todos sus procesos, basta con que disee buenos planes y proyectos para que todo cambie en el sentido en que el plan postula). De manera similar, creo que no es adecuada una evaluacin de proyectos educativos que suponga que la realidad puede dividirse en pedacitos que pueden medirse, y que la suma de todos ellos reflejar el resultado final del proyecto. Ms bien adscribo a una idea de sociedad donde el tiempo, como dimensin constitutiva de lo social, juega a travs de la historia un papel imposible de desconocer, tanto para la planificacin de los proyectos como para la evaluacin de los proyectos. El todo social se construye acaeciendo y, en ese proceso de construccin, se entrecruzan una totalidad de determinaciones cuya sntesis final (o concreta) es la historia. En este sentido, un "proyecto", tal como lo entendemos normalmente en la expresin "evaluacin de proyectos" no es algo que en la realidad pueda recortarse absolutamente sin considerar un antes y un despus que lo contamine o desdibuje. No existe de manera real un ANTES del proyecto que no contenga las condiciones de su posibilidad y tambin de su viabilidad e inviabilidad. Lo mismo, no existe un DESPUES absoluto que no contenga sus resultados, sean stos xitos o fracasos, positivos o negativos. Por esto, porque la dinmica de lo social es una y lodos sus momentos estn presentes y abren las condiciones de los posteriores, algunos estudios muestran que la existencia de antecedentes de experiencias educativas en una lnea determinada sera muchas voces la condicin para el xito de los proyectos posteriores, aunque existan tambin casos en que el efecto es el contrario. (F. Lamarra y Aguerrondo, 1983). Adscribo tambin a una concepcin de la sociedad donde su configuracin especfica en un tiempo y lugar tione que ver con mltiples determinaciones que interjuegan para imponerse unas sobre otras, de donde no puede desconocerse el carcter poltico (en el sentido de pugna de fuerzas) de todo proceso social, y por lo tanto, del proceso de transformacin intentado con el "proyecto educativo" que se quiere evaluar. Finalmente adscribo a la idea de que son sujetos histricos y no sujetos individuales los que construyen la historia, como portadores de los intereses de las distintas fuerzas que interactan en la pugna social. Por esto creo que es importante tener en cuenta cules son los actores sociales que estn presentes en la situacin concreta de un proyecto educativo, y con qu intereses se mueven a favor o en contra del proyecto. Del mismo modo se puede entender la necesidad de explicitar a qu intereses sociales responde el proyecto dentro de ese contexto social, quines los encarnan, y cmo son visualizados por los dems actores. Para avanzar un poco ms en la discusin concreta de cmo evaluar un proyecto en cl campo de la educacin creo que hay que empezar por una distincin obvia pero no por ello gratuita. Muchas de l s a evaluaciones de proyectos que se realizan son en realidad evaluaciones de documentos donde se formula el proyecto y, a veces algunos otros donde aparecen informes de situacin o de resultados. Los criterios a aplicar en estos casos son claramente distintos de los que se aplicaran en el caso de que se realizara una evaluacin recogiendo informacin ad-hoc. Habitualmente estas evaluaciones no pueden pasar de la aplicacin de una serie de criterios de congruencia lgica, relevancia poltica, etc. En este trabajo hacemos referencia a cmo evaluar proyectos en el contexto de la planificacin educativa no normativa; o sea en un contexto de accin. El marco bsico para la comprensin de la problemtica de la evaluacin de proyectos est condicionado por dos ele mentos sustantivos: la razn de ser de la evaluacin es generar informacin para la toma de decisiones; la razn de ser de un proyecto es producir cambios. Por ello, si se entiende a la evaluacin de proyectos dentro del marco de la planificacin, nos colocamos dentro de la perspectiva de conocer para transformar o para producir un cambio, y por lo tanto de allegarnos la informacin necesaria para la toma de decisiones.

El primer problema o dificultad que surge frente a la necesidad concreta de evaluar un proyecto educativo se puede resumir en la pregunta: Por dnde empezamos? La realidad del fenmeno educativo es tan rica y compleja que permite y supone mltiples lecturas, y las aproximaciones clsicas nos ofrecen herramientas demasiado simples como para aprehenderla en su totalidad. Frente a un proyecto educativo en marcha, el evaluador o el grupo que evala podr tener en cuenta por lo menos cuatro grandes niveles de anlisis: las condiciones de viabilidad de la propuesta, en el sentido de su ajuste/desajuste con las caractersticas culturales, sociales y estructurales de la poblacin objetivo, o en el sentido de las posibilidades que abre una coyuntura poltica determinada; el proceso de gnesis-implantacin-desarrollo del proyecto, que debe incorporar las condiciones de su surgimiento, los movimientos o factores en contra que gener, los cuellos de botella que lo trabaron, las condiciones de su consolidacin o desaparicin, etctera; los resultados del proyecto, que en primera instancia pueden derivarse de los objetivos y metas, pero que deben necesariamente tener una dimensin cuantitativa y otra cualitativa, apareciendo tambin en este nivel una serie de resultados no previstos que debern incorporarse; la eficiencia de gestin del proyecto, que tender a establecer hasta qu punto los tiempos y la utilizacin de los dems recursos (costos, personal, etc.) fueron eficientemente manejados. Estos cuatro niveles tienen que ver con la idea inicialmente sealada en el sentido de que un proyecto educativo supone incidir en un campo de fuerzas sociales. Por esto, planteamos la necesidad de una lectura desde la cultura del grupo donde se implanta; una lectura desde la historia y la sociologa centrndose en el proceso; una lectura pedaggica desde la calidad de los resultados; y una lectura administrativa desde la eficiencia. Creemos que todos estos campos se entrecruzan vlidamente en un proyecto educativo. Todos estos considerandos pretenden presentar la idea de que el primer paso a realizar para evaluar un proyecto en educacin tiene que ver con la necesidad de restringir el campo concreto de la evaluacin, es decir acotar su mbito. Todo no se puede evaluar a la vez, y es por esto que se deben respetar algunas prioridades. Quisiera para esto volver a recordar que nos estamos planteando la evaluacin de proyectos en el marco de la planificacin no normativa y, dentro de ella, intentamos proponer una metodologa concreta referida a lo que hemos denominado primera funcin de la planificacin: acercar informacin oportuna y relevante para la toma de decisiones (Aguerrondo, 1988). Por esto, las prioridades deben salir de las necesidades de la toma de decisin para la gestin (poltica o administrativa). En este contexto, la seleccin de los modelos de evaluacin estar necesariamente condicionada por qu tipo de decisin se necesita tomar. Es de destacar que la toma de decisiones se enmarca dentro de un proceso poltico, y por lo tanto necesariamente ideolgico, lo que lleva a reconocer que todo tipo de evaluacin es sin lugar a dudas ideolgica, ya que consiste en realizar un juicio de valor sobre un objeto determinado, cuyos criterios respondern a determinadas visiones del mundo, de la realidad, y de lo que debe hacerse para transformarla (o mantenerla). En este sentido, no existe la evaluacin "objetiva", aunque uno pueda apoyar los juicios que realiza en cierta informacin emprica o en ciertas interpretaciones de la realidad que puedan dar cuenta de ella. Entonces, la primera cuestin a aclarar en el proceso de evaluacin de un proyecto es para qu se va a evaluar, esto determinar a su vez qu es lo que se va a evaluar, y dar algunos criterios para determinar cmo se va a evaluar. Estos posibles "para qu" se pueden clasificar en tres grandes opciones: a. Evaluacin de los objetivos o fines del proyecto. Se requiere conocer las condiciones de validez de un proyecto propuesto en el sentido de su congruencia con las polticas sociales globales, con la poltica educativa, o en relacin con cualquier otro criterio. Se evala para tomar decisiones sobre la validez de los cambios propuestos, saber si ellos estn efectivamente dentro de las polticas bsicas que interesan, etctera. b. Evaluacin del proceso o de los medios: La decisin prioritaria consiste en saber cmo se puede optimizar la operacin o administracin del proyecto, cmo se pueden superar las resistencias que genera, etc. No se pone en tela de juicio la validez de sus objetivos. Se evala para tomar decisiones sobre alguno de los aspectos de la implementacin del proyecto, que pueden ser: 6

 en cuanto a la dimensin poltica o cultural (anlisis de la viabilidad poltica); en cuanto a la dimensin institucional o administrativa (anlisis de la viabilidad institucional y administrativa); en cuanto a la dimensin econmica (anlisis de la viabilidad econmica). c. Evaluacin del impacto: Se evala para tomar decisiones sobre los resultados del proyecto. Generalmente la decisin a tomar tiene que ver con si se debe extender, si se lo suprime, etctera. Por lo tanto, se abren campos diferenciales de la evaluacin, ninguno de los cuales es prioritario sobre el otro de manera absoluta, sino que su prioridad estar solamente justificada por el objetivo especfico de la decisin que se necesita tomar. Si la idea es decidir si el proyecto sigue o no, puede ser que se deba priorizar la lectura de los resultados, y quiz la congruencia con las necesidades de la poblacin meta; si la decisin es cmo se optimiza su extensin, lo ms urgente ser el anlisis de la eficiencia. Si se debe decidir sobre cul de sus resultados es el que tiene ms importancia o es ms factible expandir, se trabajar de manera ms detallada la lectura de resultados para poder comparar entre ellos; si lo que interesa es cmo tomar acertadas medidas frente a un proyecto muy resistido se priorizar le lectura histrico-psicolgica. Lo que se trata de demostrar es que de las mltiples posibles lecturas o niveles que puede involucrar una evaluacin de un proyecto educativo, la opcin estar determinada por la necesidad concreta de la utilizacin de sus resultados. Tambin interesa destacar, por si no qued claro, que esta opcin por unos niveles no implica desconocimiento total de los dems una vez hecha la eleccin, sino que el centro del anlisis ser un nivel, al cual se aportarn de manera subsidiaria las dems lecturas. El segundo criterio para restringir el campo o mbito de la evaluacin surge de las opciones que deben hacerse en torno a los aspectos de la educacin que se incluirn. Se ha sealado en el inicio que el hecho de que el proyecto sea "educativo" nos coloca igualmente en el medio de una multiplicidad de posibles reas a estudiar Cualquiera sea el contenido especfico con que se formule un proyecto habr en l un conjunto de aspectos y dimensiones educativas que estarn involucradas, algunos de ellos de manera principal y otros de manera subsidiaria. Logros en el nivel de aprendizaje de los alumnos, cambios en la propuesta metodolgica del docente, formas alternativas de organizar la institucin escolar para dar slo algunos de los mltiples ejemplos que seran posibles sern aspectos centrales en algn proyecto, pero pueden no ser tan centrales en otros, pero lo que es bien posible es que todos ellos interesen para la evaluacin. Frente a la imponente masa de trabajo que implicara encarar la evaluacin de un proyecto educativo abarcando todas las posibles lecturas y todos los aspectos educativos involucrados, se hace necesario plantearse opciones en funcin de prioridades. Las prioridades en el campo de la educacin tambin estarn sealadas por las necesidades de la gestin. Las metodologas de evaluacin Hasta ac se ha planteado cmo seleccionar el contenido de lo que se va a evaluar frente a un proyecto educativo. El p rximo paso ser determinar cmo evaluarlo, o sea qu metodologa puede ser utilizada. Continuando con la tarea de tratar de explicitar los elementos que estn subyacentes en las propuestas de evaluacin de proyectos educativos, y para clarificar tambin el marco general desde donde se propondrn las alternativas, quisiera encarar alguna precisin frente al tema metodolgico. El esquema subyacente, profundo, o que sustenta la tarea de evaluacin cientfica de un proyecto no es otro (y no puede ser otro) que el de la investigacin educativa, porque la idea de evaluar nos remite necesariamente a la de conocer y el artilugio socialmente generado y aceptado en nuestra cultura para conocer cientficamente es la investigacin. Entonces, cuando planteamos EVALUAR, de suyo nos enmarcamos dentro de algn paradigma de investigacin educativa. Y ac entramos en una interesante problemtica terica y prctica que se puede resumir en la necesidad de optar por uno de dos paradigmas: el modelo de investigacin clsica que se sustenta en una visin esttica y armnica de la sociedad y el modelo de investigacin que surge de una conceptualizacin dialctica de la sociedad. La discusin acadmica sobre estos paradigmas ha dejado suficientemente en claro la concepcin del objeto de la investigacin, del papel del investigador y del investigado, del modo de construccin del conocimiento cientfico que sostiene cada una de estas opciones, y por esto en muchas situaciones estas 7

aproximaciones vienen a resultar como opciones opuestas. Sin desconocer los elementos contradictorios que aparecen en cada una de estas dos propuestas y que signan la postura ideolgica del investigador (o del planificador, o del evaluador) frente a la tarea, creo que hay puntos en que la contradiccin no es absoluta, ya que en ambos paradigmas hay procesos similares que rescatare. Me refiero por ejemplo al proceso de construccin lgica del objeto de estudio que sigue en ambos casos, con sus particularidades especficas, una va similar de ida y vuelta permanente de la realidad a la idea llamada entre los metodlogos clsicos la verificacin de las hiptesis y entre los dialcticos el crculo concreto-abstracto-concreto. Es decir que ambos paradigmas de anlisis de la realidad se plantean la necesidad de construir las explicaciones a travs de aproximaciones sucesivas que conforman una espiral creciente, que pasan de un mero bosquejo a la posibilidad de dar cuenta cada vez con mayor exactitud de los problemas que interesan. Es verdad que especificando el modo de hacer ciencia en uno y otro modelo estar el papel activo-pasivo que se confiere al grupo estudiado, el objetivo de conocimiento-transformacin que se adjudique a la investigacin, etc.; en suma, la postura ideolgica que asuma, y es verdad tambin que esto no es un detalle sino que signa el objeto de conocimiento que se construye. Otro elemento comn entre ambos paradigmas de investigacin son los modelos bsicos de recoleccin de informacin. Ambos reconocen la necesidad de utilizar informacin y organizan sus diseos para ello. Cada uno de estos paradigmas puede valerse de diversas tcnicas e instrumentos de recoleccin y anlisis de la informacin, ninguna de las cuales son propias de uno u otro paradigma, aunque histrica y prcticamente a veces se los pueda identificar con alguno de ellos. Por esto, cualquiera de los dos paradigmas podr trabajar con enfoques cuantitativos o cualitativos, aun cuando lo ms frecuente es que las opciones por los enfoques no sean absolutas sino de tendencia, reconocindose por ello un enfoque cuanti-cualitativo, y otro cuali-cuantitativo siendo las diferencias entre ellos de nfasis relativo y no de oposicin y negacin de su contrario. En los dos casos se recolectar informacin cuantitativa y cualitativa a travs de los instrumentos conocidos: censos, estadsticas, registros de observacin, entrevistas individuales y colectivas, encuestas, etc. La diferencia estar dada por las categoras tericas que se hacen jugar en el anlisis, que suponen modos diferentes de comprender la realidad y por lo tanto de evaluarla. Porque realizar un informe de evaluacin no consiste ni en describir ni en explicar la realidad. La impronta de la evaluacin es la comprensin de la realidad y para ello debe necesariamente incorporarse algn marco de interpretacin valorativa. Evaluar, en ltima instancia, es dar una opinin cientficamente fundamentada, con todos los problemas de objetividad inherentes a la temtica del conocimiento y de la ciencia como construccin humana. Puede quiz plantearse que este marco de interpretacin valorativa no perjudicara relativamente la "objetividad" de los resultados en la medida en que sea adecuadamente explicitado. Si la impronta evaluativa significa que la interpretacin de la informacin debe ser bsicamente de comprensin, en cualquiera de los paradigmas se abre la necesidad de un espacio para lo cualitativo, lo que no implica desconocer los datos cuantitativos que puedan recogerse, sino ms bien, que stos slo adquieren sentido luego de su insercin dentro del anlisis "comprensivo" regido por los criterios valorativos del marco de la evaluacin. De acuerdo con estas consideraciones, las metodologas de evaluacin (o sea el cmo evaluar) pueden asumir diferentes formas, tal como puede verse en el cuadro siguiente:
CUADRO 1. METODOLOGIAS DE EVALUCION De acuerdo con el Paradigma optado en cuanto al marco de interpretacin CLASICO DIALECTICO Clsica cuanti-cualitativa Dialctica cuanti-cualitativa Clsica cuali-cuantitativa Dialctica cuali-cuantitativa

De acuerdo con el enfoque de tcnicas e instrumentos

Cuanti-cualitativo Cuali-cuantitativo

Es clara la objecin epistemolgica que pueda generarse frente a la distincin de un enfoque "cuanti" y otro "cuali" en el paradigma dialctico. Aunque es absolutamente correcta la objecin desde un planteo terico abstracto creo que en la prctica pueden reconocerse ejemplos en los cuales los intentos de comprensin de una experiencia concreta se basan en ms o menos informacin cuantitativa o cualitativa. El

cuadro tiende a ayudar a clasificar ejemplos concretos de modelos de evaluacin que se conozcan y no a innovar abstractamente en el campo de la epistemologa ni a enmendar la plana a los pensadores clsicos. Aun cuando puede existir cierta preferencia y mayor adaptacin de alguno de los enfoques con alguno de los paradigmas, stos no se corresponden necesariamente. As, por ejemplo, el enfoque cualitativo, dentro de cuyas tcnicas ms comunes se pueden encontrar los modelos etnogrficos o de investigacin participativa, no implica necesariamente un marco dialctico de anlisis. Llegado a este punto, parece necesario hacer una breve referencia al controvertido tema de la participacin de los actores en el proceso de evaluacin y al uso concomitante de enfoques de investigacin participativa o investigacin-accin. Desde mi punto de vista, esta problemtica incorpora otro elemento en esta discusin, que no ha sido central en este trabajo pero que es bien importante, y que est muy ligado a la decisin sobre qu utilizacin se dar a los resultados de la evaluacin, o para qu se quiere evaluar. Creo que la investigacin participativa en s, aunque tradicionalmente ha mantenido una postura crtica frente a los esquemas clsicos de investigacin social, no necesariamente la implica. Hay no pocos ejemplos de investigaciones participativas que no manejan en sus interpretaciones, en la seleccin de sus variables, etc., categoras consistentes con un enfoque dialctico de la realidad social, aunque todas ellas tengan como condicin necesaria la participacin de los usuarios en las decisiones bsicas del proceso de investigacin. Esta participacin ayuda, sin duda, a que tomen conciencia de las caractersticas internas del fenmeno que se est investigando y, en el caso de que se trate de la evaluacin de un programa es probable que aumente el compromiso de los actores que participan en el cumplimiento de los objetivos del proyecto. Esto en modo alguno las invalida, ya que el valor fundamental de este tipo de tcnica es la construccin conjunta del proceso de evaluacin entre los evaluadores y los "beneficiarios" (o vctimas?) del proyecto. Por ello, estimo que la decisin sobre quien o quines evaluarn el proyecto (ya que de esto se trata fundamentalmente cuando se d ecide trabajar con un enfoque participativo) est ms ligada a para qu se evala (es decir que utilidad tendrn sus resultados) que a cmo se evala (es decir qu paradigma de investigacin social se decide utilizar). Los diferentes modelos de evaluacin Quizs el aporte ms significativo que pueda rescatarse de la discusin sobre el tema sea el reconocimiento de la inexistencia de mtodos absolutamente mejores y absolutamente peores para la evaluacin de proyectos educativos, toda vez que esta condicin est mediatizada por el objetivo concreto de la evaluacin (o sea por la decisin que se desea tomar). En este sentido, el nico criterio que los comprende sera el de su validez cientfica, es decir en qu medida se ajustan o no a los paradigmas y enfoques reconocidos en la investigacin educativa. La necesidad de contar con elementos para la toma de decisiones en una situacin que impone urgentes transformaciones ha determinado que las experiencias de evaluacin de proyectos educativos se multiplicasen y no es difcil encontrar informes de evaluacin con caractersticas bien distintas. Sin embargo, muchas veces estos informes presentan al modelo metodolgico utilizado para el caso concreto que han evaluado como si se tratara del nico modelo posible al enfrentar una evaluacin de proyectos en educacin (o en el sector social). Frente a esta posicin, me parece importante destacar la caracterstica de restringido o parcial de cada modelo metodolgico, que se recorta bsicamente en funcin de las dos cuestiones sealadas (qu evaluar y cmo evaluar) y que determina que ningn modelo pueda ser de aplicacin indiscutida. Con el cuadro siguiente se intenta graficar la necesaria parcialidad que suponen las tcnicas conocidas y tambin llamar la atencin sobre la n ecesidad de desarrollar modelos para cubrir las celdas vacas si ello fuera pertinente ya que puede ocurrir que en algunos casos no corresponda llenarla. De todas formas y dado el carcter inicial de este trabajo, tampoco se han incorporado al cuadro muchos de los modelos ya conocidos y slo se presentan algunos casos con el objeto de ejemplificar su uso. Tambin habra que considerar si es pertinente complejizarlo incluyendo la pregunta quin evala, de donde surgiran todos los modelos de evaluacin participativa.
CUADRO 2. CLASIFICACION DE LOS MODELOS DE EVALUACION

Campo de evaluacin de acuerdo al tipo de decisin por tomar Evaluacin de fines Evaluacin de proceso (Viabilidad)

METODOLOGIA Clsica-cuantitativa

Clsica-cualitativa

Dialctica cuanticualitativa Evaluacin cualitativa (DEMO, 1988)

Evaluacin de impacto

Poltico/Cultural Instituc./Administrat. Econmica Anlisis de costoefectividad Anlisis de rendimiento

Relevancia cultural Eficiencia de gestin

Logros de aprendizaje

La evaluacin como un proceso constructivo En el momento en que uno se enfrenta con la necesidad de evaluar se abren, como se ha visto, una serie de opciones por las cuales se debe decidir. Estas decisiones, sin embargo, no pueden ser tomadas desde el vamos. Conviene explicitar que el diseo de la evaluacin no puede hacerse desde el principio, a priori y de una vez, as como el diseo de una investigacin no puede realizarse a priori y de una vez. Uno puede determinar el objetivo a evaluar, y los niveles en que se evaluar, puede plantear el encuadre bsico en que se inscribir la evaluacin que normalmente sern las variables de ajuste para futuras modificaciones del curso de accin, pero la evaluacin como tal ser un PROCESO y, por ello, estar condicionada por un conjunto de elementos entre los cuales la urgencia y la opinin de los actores, por ejemplo, juegan papeles importantes. Por ello, ms que plantear cul es la metodologa para la evaluacin de proyectos en el marco de la planificacin educativa, quiz puede ser ms til entrar a discutir cmo se puede organizar el PROCESO a partir del cual se vaya encontrando el modelo ms adecuado para cada caso concreto. Para comprender esta propuesta quisiera que se tuvieran en cuenta las definiciones personales que he explicitado en las primeras pginas. A partir de ellas se puede entender por qu defino a la evaluacin de un proyecto educativo como la comprensin de un proceso real que se construye a travs de una sntesis dialctica entre dos vertientes de anlisis: por un lado la visin de la realidad de los diferentes actores, y por el otro la informacin fctica que se puede obtener para objetivarla. La evaluacin se constituye as en un proceso de construccin dialctica, o de re-construccin de un proceso concreto. La propuesta se resume en tres grandes etapas: la delimitacin del objeto a evaluar; la construccin del objeto evaluado; la comunicacin de la evaluacin. Primera etapa: La delimitacin del objeto a evaluar. La primera tarea a emprender consiste en acotar los lmites concretos del trabajo a realizar. Del amplio espectro de posibilidades, se trata de optar para acordar un objeto posible. Estos lmites concretos debern surgir por un lado de las necesidades de quien requiere la evaluacin, tal como se ha planteado ya, y por el otro de la disponibilidad de los recursos materiales, entre los cuales los temporales son absolutamente prioritarios. Para esto se deben realizar procedimientos a dos niveles. En primer lugar, se discutir con la/las instancias interesadas en la evaluacin acerca de la utilizacin que se dar a los resultados. Esto fijar los objetivos especficos de la evaluacin a realizar, el tiempo disponible para terminarla, etctera. En segundo lugar, el equipo o el responsable de la evaluacin determinar en funcin de esto el nivel de anlisis prioritario en que se centrar la atencin en el proceso de evaluar, especificando si interesa evaluar fines/proceso/resultados, y dentro de ellos, que aspectos concretos. El grupo evaluador debe decidir tambin qu aspectos del proceso educativo son pertinentes a evaluar, lo que condicionar los actores a investigar, los instrumentos de recoleccin a utilizar, etctera. Segunda etapa: La construccin del objeto evaluado: Esta es propiamente la etapa de realizacin de la evaluacin y consiste en un proceso complejo de sucesivos pasos de acercamiento y distanciamiento de la realidad en el cual cada uno de estos movimientos ir arrojando ms organizacin a la visin evaluativa que se est construyendo. La primera entrada a la realidad (o el primer acercamiento) consiste en que cl grupo de evaluacin se deje impresionar ms o menos desordenadamente por dos tipos de elementos: por un lado las opiniones de los 10

diferentes actores, que marcarn los aciertos y los fracasos de lo que se est evaluando; por el otro, algunos datos objetivos que surgen a partir de las preguntas originales que se quieren responder con la evaluacin. Esta primera entrada debe ser bien abierta, y su xito depende de la flexibilidad inicial que se plantee para recoger la informacin. Por esto, es pertinente iniciarla con charlas informales, entrevistas muy abiertas, conversaciones de todo tipo, con personas que se encuentren en las posiciones ms divergentes posibles frente al hecho o proceso a evaluar. Es bastante comn que el grupo evaluador tenga ya antes de iniciar el trabajo alguna informacin y hasta alguna opinin sobre el tema a evaluar, que automticamente debera ponerse como insumo de esta etapa. Con respecto a la informacin fctica en esta primera etapa corresponde recoger la informacin ms general y bsica, que estar orientada por las grandes preguntas que interesan al decisor. De este primer acercamiento a la realidad se obtiene entonces un primer conjunto de visiones de la realidad (o de opiniones) de los diferentes actores, y por el otro, una serie datos sobre los resultados. Estos dos elementos permiten al grupo evaluador construir un primer conjunto de hiptesis evaluativas, o de visiones de organizacin de la realidad, que orientarn la prxima entrada. La prxima (o las sucesivas) entradas o acercamientos a la realidad funcionarn a partir de este mismo mecanismo bsico. Es decir, cada una de ellas implicar para el grupo evaluador entrar en contacto con informacin surgida de los actores, y analizarla a partir de informacin surgida de otras fuentes para objetivarla. De la oposicin de estos dos elementos (datos y opiniones) surgen: a. Las hiptesis evaluativas: que consisten en organizaciones parciales de la realidad (es decir que organizan la informacin existente en un momento dado de la reconstruccin), que van requiriendo ms material de diverso tipo para validarlas. En ltima instancia, estas hiptesis evaluativas marcan los momentos de reflexin organizadora sobre el material y permiten caminar a lo largo de la re-construccin. b. La re-construccin del proceso: que consiste en la comprensin de los aspectos fundamentales del objeto evaluado, entendiendo sus aspectos estructurales y las interrelaciones principales. Esto da como resultado la evaluacin de las viabilidades: cmo acaeci, qu fall, qu incidi en la falla, abriendo el campo a la consideracin de las determinaciones histricas, lo que permite construir nuevas hiptesis evaluativas. Como se puede apreciar, esta segunda etapa es absolutamente dinmica y no puede establecerse de antemano qu cantidad de acercamientos y distanciamientos de la realidad corresponde realizar. Esto depender de una serie de elementos como por ejemplo la complejidad y amplitud del fenmeno que se est evaluando; el tiempo y los recursos materiales con que se cuenta, etc. De todas maneras, creo que se abre aqu un interesante dilema ya que por un lado, cualquiera de las instancias de organizacin o de comprensin es mejor que su no realizacin, pero por otro lado, cualquiera sea la cantidad de instancias de acercamiento que se planteen, siempre ser posible seguir mejorando la comprensin del proceso. Por esto, el lmite estar dado por el encuadre del planeamiento: la oportunidad de la entrega de la informacin para el decisor. En esta etapa se presentan algunos problemas metodolgicos generales que pueden ser explorados. El primero se refiere a las fuentes de informacin. Me interesa dejar sentado que en esta propuesta todo tipo de informacin es valida, lo cual no quiere decir que de por s cualquier informacin que se recoge se considere verdadera. Es vlida para ayudar a conformar las hiptesis evaluativas que dinamizan el proceso de evaluacin. Por esto, el comentario informal odo por casualidad al pasar por un pasillo, donde puede aparecer una opinin diferente de la versin "oficial" que se nos ha dado hasta el presente, adquiere importancia para construir el marco general de la interpretacin, aunque slo se la considerar finalmente una vez que pase las pruebas de consistencia con otra serie de informaciones obtenidas a travs de medios diversos. Lo mismo puede decirse a propsito de aquellos datos que no se ajusten a las explicaciones generales que se van construyendo. Ms que considerarlos meras "excepciones" pueden constituirse en puntos de prueba de la consistencia de las visiones y de la re-construccin que se est elaborando y pueden, a veces, permitir la revisin total de una secuencia que pareca muy ajustada pero que a partir de estas excepciones puede revisarse. Otro problema al que me quiero referir porque creo que tiene importancia es el de los criterios de validez de la informacin. Quiz todava por accin de la vigencia de los paradigmas clsicos de investigacin, subyacen en la mayora de los trabajos de evaluacin de experiencias, los criterios de validez de la informacin propios de los modelos hipottic os-deductivos de la ciencia positiva. As parece que el principal (si no el nico) criterio de certeza de la informacin fuera la validacin por el gran nmero, es decir la representatividad estadstica que determina recoger una cantidad equis de opiniones, trabajar con una 11

cantidad determinada de casos, etc., condiciones muchas veces imposibles de aplicar por la escasez de dinero y, sobre todo, de tiempo. Me parece interesante introducir entonces otros criterios de validacin de la informacin, entendiendo que existen formas de realizar informes "cientficos" aun cuando no se cumplan con las prescripciones estadsticas. El supuesto de la consistencia entre el gran nmero puede ser reemplazado, por ejemplo, por la idea de la consistencia entre las fuentes, por lo que la validacin de la informacin no depender ya slo de la cantidad de respuestas sino de en qu medida las respuestas de pequeos nmeros de actores son congruentes con la informacin recogida a travs de otras fuentes. Este procedimiento se denomina "triangulacin" de la informacin (Jick, 1979), metfora tomada de la navegacin y de la estrategia militar que utilizan mltiples puntos de referencia para localizar la exacta posicin de un objeto. El supuesto es que los mltiples puntos de vista, o fuentes de informacin utilizadas, aumentan la precisin de la informacin. La efectividad de la triangulacin se basa en la premisa de que las debilidades de cada procedimiento o de cada fuente van a ser compensadas por la fortaleza contra-balanceadora de las otras. En este sentido, la triangulacin puede ser usada no slo para examinar el mismo fenmeno desde mltiples perspectivas, sino tambin para enriquecer nuestra comprensin al permitir la emergencia de nuevas concepciones. El tercer comentario nos remite a uno de los puntos anteriores cuando se plantea que, cualquiera sea el paradigma de investigacin que se adopte, hay elementos en comn que se pueden rescatar. En ese sentido, me interesa sealar que algunas de las fuentes de informacin pueden ser encuestas tradicionales que se hubieran realizado en el marco de una investigacin clsica, o anlisis de costo-efectividad o de costobeneficio. Ninguna de ellas es desechable ni debe ser desaprovechada. Ms bien es seguro que aportarn, con una nueva lectura ms compleja, interesante informacin sobre algunos de los aspectos que se estn evaluando. Tercera etapa: La comunicacin de la evaluacin. Dentro del marco de la evaluacin como funcin del planeamiento, esta etapa resulta decisiva a los efectos de la oportunidad y relevancia de esta actividad para la toma de decisiones. No importa lo adecuadamente que se haya hecho la evaluacin, la forma y la oportunidad de su presentacin a los decisores determina en gran medida la posibilidad de su uso. Una primera aclaracin parece pertinente: los criterios de bondad para comunicar la evaluacin a los decisores, no son los mismos criterios de bondad que rigen para comunicar resultados de investigacin en el mundo acadmico. La confusin (o sea la poca discriminacin) entre el objetivo de la investigacin y el objetivo de la evaluacin, ha provocado que los informes de evaluacin se realicen conforme a los criterios usuales para los informes de investigacin. Por esto, son profusos y d etallados, presentan un exceso de informacin bsica en forma de cuadros o series, se organizan con la lgica de la explicacin, dedican mucha atencin a la descripcin de los aspectos metodolgicos, etctera El resultado es un excelente libro de 250 pginas, imposible de ser procesado por el decisor poltico, o por los cuadros intermedios de funcionarios de gestin administrativa o tcnico-pedaggica. Creo que el criterio organizador del informe de evaluacin debe ser, nuevamente, las preguntas iniciales a partir de las cuales se present la necesidad de la evaluacin, que resumen las preocupaciones del poltico frente al problema. Los puntos en que se vaya ofreciendo la informacin organizada resumirn las razones y explicaciones a partir de las cuales el evaluador sustenta las respuestas que ofrece al tomador de decisiones. Debe tambin tener algn lugar el conjunto de sugerencias de accin que surjan de la tarea evaluadora. As, el que tiene la responsabilidad de tomar una decisin contar con un instrumento idneo para apoyarlo en la orientacin que desee darle a la accin. No se descarta por ello la redaccin de un informe ms completo, donde se pueda describir en mayor detalle una serie de aspectos que se hayan encontrado interesantes. Pero aun en ste se deberan revisar los modelos de organizacin y la forma de presentacin en relacin a los informes clsicos. Buenos Aires, noviembre de 1989

12

13

Bibliografa
Aguerrondo, Ins. Evaluacin de la introduccin de innovaciones en el sistema educativo: el caso de la Reforma Educativa en la Argentina. Un intento de desarrollo de un enfoque metodolgico, trabajo realizado durante stage en II-PE/UNESCO, Pars 1973. __:"Perfil del proyecto: Evaluacin del mtodo socioafectivo en Argentina" en La Comprensin Internacional en la Escuela, N 34, UNESCO, Pars, 1977. __:Evaluacin de innovaciones educativas: el caso de la EFA de Colonia Caroya. ILAR/CONACYT , Buenos Aires, 1981. __:El Rgimen de Profesores designados por Cargo Docente (Proyecto 13). Antecedentes y Resultados. Ministerio de Educacin, Serie Situacin Educativa Argentina, N 24, Buenos Aires, 1985. __:Planificacin y Participacin: apuntes para el debate. IV Reunin de Jefes de Oficina de Planeamiento Educativo de Amrica Latina y El Caribe, OEA/CINTERPLAN, Ptzcuaro, Mxico, 1986. __: Evaluacin de Proyectos en Educacin, Buenos Aires, 1987, Mimeo. __:Abriendo Caminos, Buenos Aires, 1988. Arrien, Juan B. y Matus Lazo, Roger: La planificacin participativa de la educacin. UNESCO/CAP, San Jos, Costa Rica, 1988. Briones, Guillermo: Evaluacin de programas sociales. Teora y Metodologa de la Investigacin Evaluativa. PIIE, Sgo., Chile, 1985. __:La evaluacin interactiva. PIIE, Sgo., Chile, 1988. CIDES/OPS : Evaluacin de los impactos nutricionales y educacionales. Anlisis costo-efectividad del programa de Promocin Social y Nutricional. Buenos Aires, CIDES, 1987 (cinco tomos). Cohen, Ernesto y Franco, Rolando: Evaluacin de proyectos sociales. ILPES/ONU y CIDES/OEA , Grupo Editor Latinoamericano, Buenos Aires, 1988. Jick, Todd D.: Mezclando mtodos cualitativos y cuantitativos: Triangulacin en accin. Traduccin Floreal y Pablo Forni, 1979. Demo, Pedro: Evaluacin cualitativa. CINTERPLAN/OEA , Caracas, Venezuela, 1988. Fernndez Lamarra, Norberto y Aguerrondo, Ins: Las reformas de la educacin en Amrica Latina. Anlisis de algunos casos nacionales" en RAMA, C. (coord.): Mudanas Educacionais na Amrica Latina. Situaoes e condicoes, Ed. Univ. Nac. do Cear, Fortaleza,1983. Martinic, Sergio y Walker, Horacio: El umbral de lo legtimo. Evaluacin de la accin cultural CIDEC/CIPCA , Sgo., Chile, 1987. Stufflebeam, Daniel y otros: Educational evaluation and decision making. Itaska, Illinois, F. E. Peaeock, 1971. Woodhall, M.: Cost-benefit analysis in educational planning. UNESCO, IIPE, 1970.

14