Modernizacion Gestion Por Resultados Manual Base para La Evaluacion de Politicas Publicas 2016

Programa de Evaluacin de Polticas Pblicas
Manual de base
para la evaluacin
de polticas pblicas
Programa de Evaluacin de Polticas
ticas Pblicas
Manual de base
para la evaluacin
de polticas pblicas
Para citar este documento: Jefatura de Gabinete de Ministros (2016). Manual de base para la evaluacin de
polticas pblicas -Segunda Edicin-. Programa de Evaluacin de Polticas Pblicas, Jefatura de Gabinete
de Ministros de la Nacin y Ministerio de Modernizacin. Buenos Aires, Argentina. 54 pginas.
Publicacin de distribucin gratuita
Todos los derechos reservados. Esta publicacin no puede ser reproducida, registrada ni transmitida, en
todo ni en parte, por ninguna forma o medio, sea mecnico, electrnico, magntico, ptico o fotocopia, sin
previa autorizacin por escrito del editor.
evaluar@modernizacion.gob.ar
Segunda Edicin
Septiembre de 2016
NDICE
PRESENTACIN 6
CAPTULO 1. CONCEPTO DE EVALUACIN 10

1.2. La evaluacin en el ciclo de las polticas pblicas 15
CAPTULO 2. FUNDAMENTOS DE LA EVALUACIN. PARA QU EVALUAR? 18

2.1. La toma de decisiones, retroalimentacin y mejora continua de las intervenciones pblicas 18
CAPTULO 3. QU EVALUAR? 20
3.1. Polticas, programas, proyectos y procesos 20
3.2. Las preguntas de la evaluacin 21
CAPTULO 4. TIPOS DE EVALUACIN 26

4.1. Quines evalan 26
4.2. Perspectiva temporal o momento de la evaluacin 28
4.3. Contenido de la evaluacin 28
4.4. Propsito de la evaluacin 30
CAPTULO 5. METODOLOGAS 32
5.1. Tcnicas cualitativas 32
5.2. Tcnicas cuantitativas 33
5.3. Triangulacin 38
5.4. A modo de conclusin 38
CAPTULO 6. ETAPAS DE LA EVALUACIN 42

6.1. Planicacin de la evaluacin 42
6.2. Implementacin 46
6.3. Utilizacin de los resultados y difusin 47
6.4. Comunicacin 49
BIBLIOGRAFA 52
3
PRESENTACIN
Manual de base para la evaluacin de polticas pblicas
PRESENTACIN
Este manual tiene por nalidad establecer lineamientos comunes sobre evaluacin de programas
y polticas pblicas para las reas del Estado argentino (Nacional, Provincial y Municipal),
sin desconocer los grandes debates en la materia. Especialmente, este material se orienta a
fomentar la integracin de las reas de evaluacin de la Administracin Pblica Nacional con
el objetivo de: homogeneizar tcnicas, prcticas, lenguajes y lneas de accin en evaluacin de
polticas pblicas; posicionar la evaluacin en el mbito de la Administracin Pblica; potenciar
el aprendizaje mutuo, intercambiar prcticas y divulgar conocimientos; y fortalecer procesos de
evaluacin de polticas pblicas en el Estado.
La publicacin fue realizada en el mbito del Programa de Evaluacin de Polticas Pblicas,

creado mediante la Resolucin de la Jefatura de Gabinete de Ministros N 416/2013 cuyo objetivo
es promover la cultura evaluativa en el Estado.
Las polticas pblicas de un gobierno permiten transformar la realidad de una sociedad, y

la evaluacin es la actividad sistemtica, fundada y socialmente legitimada que permite que
dichas polticas alcancen sus objetivos a travs de la medicin de sus impactos.
La evaluacin permite conocer los resultados de las intervenciones realizadas y promover

procesos de aprendizaje para la mejora permanente de la gestin y de las polticas desarrolladas
desde los organismos pblicos. En este contexto, la institucionalizacin del proceso de evaluacin
de polticas pblicas en la Administracin Pblica Nacional (APN) cobra relevancia.
Sin embargo, la evaluacin no es slo un proceso tcnico porque tambin tiene una signicacin
poltica, institucional y de gestin de una extraordinaria relevancia permitiendo alentar el debate
pblico y mejorar la fundamentacin de las estrategias polticas de todos los sectores. Es una
apuesta a mejorar la poltica democrtica a partir de un dilogo ms informado que involucre
las herramientas, los aprendizajes y la evidencia de las ciencias sociales en un dilogo abierto.
Adems, la introduccin de nuevas tecnologas y formas de gestionar estn produciendo una

transformacin profunda en las estructuras del Estado a n de cumplir con las demandas
sociales de eciencia y transparencia.
Por ende, la evaluacin no solo es importante por la informacin que suministra a todos aquellos
interesados en conocer los resultados de una poltica, sino por su efecto de retroalimentacin
en el proceso de elaboracin de polticas y planes pblicos, dado que sus conclusiones
y recomendaciones sirven de base para planicaciones futuras en un intento de introducir
racionalidad en la toma de decisiones.
En este Manual se plasman deniciones bsicas para establecer consensos marco en la

Administracin Pblica del pas relacionados a Qu entendemos por evaluacin? Para qu
evaluar? Qu evaluar? Cules son los tipos de evaluacin y las metodologas alternativas?
Cules son las principales etapas para el desarrollo de un proceso evaluativo?
Los contenidos del mismo fueron validados por diversas reas de Evaluacin de Polticas
Pblicas de la Administracin Pblica Nacional.
6
Su estructuracin est compuesta por seis captulos. El primer captulo establece qu

entendemos por evaluacin. El segundo captulo reere a los propsitos y utilidad de la
evaluacin. El tercer captulo se concentra en qu evaluar y las preguntas de la evaluacin. El
cuarto captulo reere a los tipos de evaluacin. El quinto captulo atiende a las metodologas
cualitativas, cuantitativas y la importancia de su triangulacin, siempre que sea posible. El sexto
captulo aborda las etapas de la evaluacin considerando la planicacin, implementacin, el
uso de los resultados y difusin as como la fase transversal al proceso, de la comunicacin.
Esperamos que este manual contribuya a la formulacin de evaluaciones en el Estado argentino.

Consideramos muy importante fortalecer las capacidades del Estado para transformar la
realidad y mejorar la calidad de vida de los ciudadanos, y creemos que la evaluacin de polticas
pblicas tiene un papel central a desempear para lograrlo.
Agradecemos especialmente el compromiso y la disposicin de las reas de evaluacin del

Estado Nacional, que con sus valiosos aportes posibilitaron el desarrollo de esta iniciativa.
7
CAPTULO 1
CONCEPTO DE EVALUACIN
CAPTULO 1. CONCEPTO DE EVALUACIN

La evaluacin de polticas pblicas es un campo analtico y de estudio especco, de continuo
crecimiento no solo en el mbito acadmico, sino tambin entre los tomadores de decisiones
pblicas. Podemos encontrar diversas deniciones de evaluacin que siguen la trayectoria de
su evolucin en el tiempo. No hay una nica denicin, y como seala Marvin Alkin (2004), las
teoras de evaluacin pueden clasicarse segn el grado en que se centran en los mtodos, usos
o valoracin. Estos tres enfoques constituyen las principales ramas del rbol de tradiciones en
evaluacin y hay diversas deniciones de evaluacin en relacin con cada una de ellas.
Ilustracin N. 1. Tradiciones en evaluacin
USO MTODO VALOR
Cronbach
Chen
Weiss MacDonaldGuba &
Preskill Lincoln
Owen House
Rossi
Cousins
King Boruch Wolf/Owens
Cook Stake
Fetterman Suchman
Eisner
Alkin Patton Campbell Scriven
Provus
Wholey
Tyler
Stufflebeam
Desigualdad
Accountability Social
y Control
Fuente: Alkin, M. ed. (2004). Evaluation Roots: Tracing Theorists Views and Inuences. Thousand Oaks,
California: Sage.
Sin desconocer estos debates, consideramos relevante sentar ciertos marcos bsicos al momento
de evaluar polticas pblicas o programas en el Estado argentino. En trminos generales, evaluar
implica sealar el valor de algo o de alguien, como lo estipula la denicin en el Diccionario de
la Real Academia Espaola cuando dice que evaluar es sealar el valor de una cosa.
La OCDE (2002: 21), en el glosario de trminos, seala que la evaluacin es la apreciacin

sistemtica y objetiva de un programa o poltica en curso o concluido, de su diseo, su
puesta en prctica y sus resultados. El objetivo es determinar la pertinencia y el logro de los
objetivos, as como la eciencia, la ecacia, el impacto y la sostenibilidad para el desarrollo.
10
Una evaluacin deber proporcionar informacin creble y til, que permita incorporar las
enseanzas aprendidas en el proceso de toma de decisiones. La evaluacin tambin se reere
al proceso de determinar el valor o la signicacin de una poltica o programa. Se trata de una
apreciacin, tan sistemtica y objetiva como sea posible, de una intervencin para el desarrollo,
planeada, en curso o concluida.
A partir de ello y sobre la base de la bibliografa de referencia en la materia1, aqu se entiende que
la evaluacin es una actividad programada que emite juicios valorativos, fundamentados

y comunicables, sobre la planicacin, la implementacin y/o los resultados de las
intervenciones pblicas (polticas, programas y/o proyectos), sustentados en procedimientos
sistemticos de recoleccin, anlisis e interpretacin de informacin y en comparaciones
respecto de parmetros establecidos, para contribuir a la mejora de los procesos de gestin
y legitimar social y tcnicamente las polticas, con el n de impactar en la calidad de vida
de la poblacin a travs del fortalecimiento de las capacidades de intervencin del Estado.
En esta denicin se destacan algunos puntos que resulta pertinente precisar, sobre todo
atendiendo a una denicin de la evaluacin de polticas:
y Consideracin de la evaluacin como proceso institucional y actividad programada, no

espordica o eventual. La evaluacin constituye una intervencin, deben preverse con
anticipacin las metodologas y tcnicas a aplicar y las actividades a llevar a cabo con
nes evaluativos y se le deben atribuir recursos especcos: personas idneas, momentos
y lugares especcos, equipos adecuados, insumos, dinero.
y La evaluacin se propone mejorar las intervenciones pblicas, y no al control, ni la

auditora, ni tiene como n la investigacin.
y Aplicacin de la evaluacin a todas las fases del ciclo de la intervencin pblica.
y nfasis en el entendimiento integral de las intervenciones: resultados, impactos, sin

olvidar los procesos y la teora que sustenta la intervencin.
y De carcter pluralista y participativo de los actores implicados, siempre que sea posible.
y Indispensable no eludir el juicio de valor fundamentado. El carcter distintivo de la

evaluacin es construir sus juicios valorativos fundamentados sobre los efectos de
las intervenciones pblicas, apoyndose en una metodologa que ofrezca las mayores
garantas de credibilidad. Se debe garantizar la abilidad de los datos, la solidez de los
anlisis, la credibilidad de los hallazgos, la validez de sus conclusiones y la utilidad de sus
recomendaciones, as como cualquier otra cuestin de calidad tcnica y metodolgica
que reejaran sus informes.
1 OCDE (2002); AEVAL (2010); Nirenberg, Brawerman y Ruiz (2000); Tamayo Sez (1997).
11
y Consideracin metodolgica y procedimental como presente a lo largo de todo el ciclo de

la evaluacin, aplicando sistemticamente el mtodo cientco para la recogida y anlisis
de informacin.
y Combinar tcnicas cualitativas y cuantitativas, en lo posible, triangulando los resultados.

Hoy en da no se trata de contraponer mtodos cuantitativos y cualitativos, sino de
complementarlos, para enriquecer los hallazgos evaluativos.
y Incluir comparaciones respecto de parmetros denidos: Los juicios valorativos se

emiten a travs de la realizacin de comparaciones, con relacin a modelos o estndares
deseables, o respecto de s mismo en el transcurso del tiempo, o en comparacin con
otros casos; en suma, respecto de la direccionalidad o las metas que se habrn denido
previamente. Se apunta a saber qu y cunto cambi y a poder emitir un juicio acerca de
si la situacin est mejor, peor o igual.
y Debe contener siempre recomendaciones para acciones futuras para la mejora de la

intervencin pblica, ya sea fortalecer lneas de accin o introducir cambios, y estas
recomendaciones deben estar fundamentadas y apuntalar procesos de aprendizaje. Para
que dichas recomendaciones se conviertan en mejoras reales en el diseo, la operacin
y los resultados de un programa, los hallazgos deben ser pertinentes, es decir, deben
estar conectados con la lgica causal de la poltica pblica y no solo aludir a aspectos
secundarios. Las recomendaciones tienen que ser factibles y tienen que realizarse con
claridad y precisin, no ser genricas.
y Comunicables y entendibles para los actores signicativos y las audiencias identicadas,

pues, de otro modo, ser difcil que se apropien las recomendaciones emergentes que
permitan modicar la accin. Involucra tambin considerar un conjunto de dispositivos
diversos para comunicar los resultados: publicaciones, informes, folletos, infografas,
reuniones, talleres, medios de comunicacin, etc.
y Doble vertiente de utilidad: para la gestin y poltica para la mejora del diseo de acciones
futuras.
y Finalidad ltima: es la mejora de la calidad de vida de la poblacin a travs del

fortalecimiento de las capacidades de intervencin del Estado. La evaluacin busca
promover un mayor conocimiento de las intervenciones pblicas, y suscitar un cambio de
cultura para mejorar lo pblico. No persigue la recriminacin o sancin como n ltimo.
A estos aspectos se adicionan ciertos principios de evaluacin a considerar, los cuales sirven
para guiar los procesos de gestin de las evaluaciones:
12
La evaluacin no se entiende tan solo como la ltima etapa del proceso

Transversalidad de planicacin, es un proceso transversal que integra todas las etapas
de una poltica pblica.
El proceso y los resultados de la evaluacin deben ser tiles tanto para

Utilidad los agentes involucrados en la evaluacin como para los destinatarios de
la poltica pblica.
La evaluacin debe vincular los aspectos de las polticas pblicas con la

gestin, la realizacin y los resultados, estableciendo las relaciones
Causalidad
causales que existen entre estos aspectos, midiendo la ecacia y la
eciencia de la implementacin de la decisin.
Debe garantizarse la transparencia del proceso de evaluacin,

Transparencia favorecindose la rendicin de cuentas y proporcionando la informacin
necesaria para los actores implicados en la poltica pblica.
Tiene que ser factible, es decir, suponer un esfuerzo razonable, debe ser
Factibilidad polticamente viable, como tambin atender a los antecedentes sociales,
polticos, culturales, de gnero, etc., de la situacin estudiada.
La evaluacin de las polticas pblicas tiene la nalidad de proporcionar

Aprendizaje la informacin necesaria para lograr mejores logros a travs de un
aprendizaje continuo.
Debe procurarse establecer los mecanismos de participacin necesarios

Participacin para que los agentes involucrados puedan valorar los aspectos objeto de
la evaluacin de una poltica pblica.
Fuente: elaboracin propia en base a textos de referencia sealados en la bibliografa de este documento.
1.1. Objetivos de la evaluacin

La evaluacin es una herramienta que permite valorar lo que hace el Estado por medio de sus
proyectos, programas, polticas pblicas y mejorar las intervenciones pblicas. La evaluacin
permite identicar y explicar los factores operantes y las razones de los xitos o fracasos en
el logro de los propsitos de las intervenciones, as como tambin los efectos no buscados.
Asimismo, las evaluaciones generan resultados, recomendaciones y lecciones aprendidas que
contribuyen a aumentar la efectividad, la eciencia y la sostenibilidad del accionar pblico,
tanto en la toma de decisiones polticas como en el contexto de la gestin de un proyecto o
programa especco.
En trminos generales, se pueden distinguir dos objetivos de las evaluaciones:
1. Aprendizaje y mejora continua: Existen numerosos factores por los cuales el diseo y
la ejecucin de una intervencin no logran contribuir de manera ptima a la solucin
del problema que dio lugar a su implementacin. Se trate de deciencias en el diseo,
debilidades en cuanto a la estructura y los procesos de ejecucin, hiptesis de impacto
imprecisas o cambios sociopolticos en el contexto de la intervencin, los desafos son
numerosos y en parte imprevisibles. Por eso, una institucin del Estado que implemente
cualquier tipo de intervencin pblica debe disponer de instrumentos evaluativos que
permitan analizar los aspectos mencionados, identicar las fortalezas y las debilidades
y mejorar las intervenciones en trminos de efectividad, eciencia y sostenibilidad.
13
2. Rendicin de cuentas: Las evaluaciones permiten estimar la medida en que una

intervencin est logrando los efectos e impactos deseados sobre una poblacin meta.
La informacin vlida y conable posibilita a las reas estatales contar con evidencia
relacionada a la aplicacin de los recursos pblicos, as como sobre el diseo, el
desarrollo y los resultados de sus intervenciones.
1.1.a. Evaluacin como concepto distinto de la auditora, el control y la investigacin

No debe confundirse la evaluacin con algunas prcticas complementarias pero diferentes
como la auditora, el control de gestin o contable, o la inspeccin. La extensin del uso del
trmino de evaluacin suele estar asociada a confusiones, ya que se le atribuye a todo tipo de
recoleccin de informacin o investigacin en el sector pblico.
Control Auditora Inspeccin Evaluacin
El control consiste en La auditora La inspeccin La evaluacin busca

vericar el respeto a comprende una engloba varias promover un mayor
las normas. En el parte del control de actividades, conocimiento de las
control se miden las regularidad y de ejercidas separada o intervenciones
desviaciones respecto conformidad y una conjuntamente, que pblicas, suscitando
a las normas y se parte del control de van desde el control un cambio de cultura
rinde cuenta. ecacia bajo y la supervisin de para mejorar lo
presupuestos de actividades pblico. No persigue
mejora. reglamentarias hasta la recriminacin o
el anlisis y sancin como n
cualicacin de ltimo. Emite un
prcticas juicio de valor
individuales o de fundamentado sobre
funcionamiento de las intervenciones
sistemas. pblicas.
Fuente: elaboracin propia
A menudo, tambin suele existir una confusin entre evaluacin e investigacin.
Aspectos distintivos entre evaluacin e investigacin:
y Sus propsitos: la mayor distincin se produce en el punto de las recomendaciones

para la accin. La investigacin social pone el acento en incrementar el cuerpo del
conocimiento. Si bien la evaluacin tambin contribuye a este ltimo aspecto, su
propsito central busca transformar la accin.
y Los plazos de tiempo, la devolucin de informacin y la utilizacin de los resultados

adquieren una importancia mayor en evaluacin que en la investigacin acadmica.
Aspectos comunes entre evaluacin e investigacin:
y Comparten mtodos y la preocupacin por el rigor y la conabilidad de sus

procedimientos y resultados.
14
1.2. La evaluacin en el ciclo de las polticas pblicas

El ciclo de las polticas pblicas es un tipo ideal integrado por las fases de instalacin en
agenda del problema, diseo, implementacin y evaluacin. Estas fases estn estrechamente
relacionadas, existiendo una alta dependencia entre ellas. El ciclo, como en cualquier sistema,
se cierra con un proceso de retroalimentacin. La evaluacin es un proceso que constituye una
parte fundamental del ciclo integrado de la poltica pblica donde, junto con el seguimiento,
retroalimenta el proceso de planicacin, al permitir el incremento progresivo y continuo de la
ecacia de las actuaciones pblicas.
Como seala Manuel Tamayo Sez (1997), la evaluacin es la ltima fase del proceso de la
poltica pblica y, como este es cclico, es tambin la primera, porque conduce a una revisin
del estado del problema. El n es producir informacin para orientar los nuevos procesos de
decisin, introducir modicaciones a la poltica o su sucesin por una ms adecuada.
Grco N. 1. Ciclo de las polticas pblicas. Principales fases
Instalacin
en agenda Diseo
del problema
Evaluacin Implementacin
Como se observa, en la ltima fase est la evaluacin. Asimismo, como veremos ms adelante,
en cada fase se desarrollan diversos tipos de evaluacin. Este es un tipo ideal. No siempre
tiene lugar en la implementacin concreta de polticas pblicas, pero adquieren relavancia para
esquematizar su anlisis.
1.2.a. Planicacin, monitoreo y evaluacin
Existe una relacin directa entre planicacin, monitoreo y evaluacin de las polticas pblicas.
La evaluacin no puede concebirse como un hecho aislado y nal, sino como una prctica
continua que acompaa a todo el proceso, desde el momento de la planicacin (evaluacin
ex ante) hasta la fase de implementacin (evaluacin de procesos) y a la vericacin de sus
resultados y efectos nales (evaluacin ex post o evaluacin de impacto). Esto se fundamenta
en el hecho de que la evaluacin, adems de otras consideraciones de inters, entraa un tipo
15
de cultura poltico-administrativa que pretende potenciar el saber en las organizaciones para

cambiar, mejorar y resolver de la mejor manera los problemas del futuro.
Si en la planicacin/programacin no se formularon con precisin los objetivos y las metas

a las cuales se desea arribar (estas ltimas cuanticadas para un universo determinado en un
perodo de tiempo dado y en un territorio delimitado), se hace ms difcil evaluar; esta es una
de las razones por las cuales se arma que los procesos de la planicacin/programacin estn
tan estrechamente ligados a los de la evaluacin.
El sistema de monitoreo es un instrumento que acompaa a la gestin para la toma de decisiones

informadas mediante un conjunto de indicadores que permiten vericar el cumplimiento de los
objetivos y de sus expresiones cuantitativas: las metas.
Un esquema de monitoreo de desempeo permite dar cuenta de la medida en que una entidad
acta conforme a criterios, normas y directrices que guan la intervencin de las entidades y/u
obtiene resultados de conformidad con las metas o los planes establecidos en la planicacin
(los productos, los resultados y los impactos)/(Garca Lpez y Garca Moreno, 2010: 74)
La diferencia fundamental entre el monitoreo y la evaluacin radica en que el monitoreo

ofrece informacin sobre la situacin relativa al cumplimiento de los objetivos y los efectos
de una poltica o programa. En cambio, la evaluacin explica por qu esos objetivos o efectos
se estn logrando (o se han logrado) o no, y expone los cambios que se han producido en los
beneciarios y en la sociedad. La evaluacin, mediante un proceso sistemtico de recoleccin y
anlisis de informacin relevante, emite juicios sobre las causas y las razones de los resultados,
examina resultados no buscados, estudia el proceso seguido para obtenerlos y proporciona
recomendaciones para acciones futuras.
Los procesos de monitoreo y evaluacin son complementarios entre s, ya que el monitoreo

permite describir y calicar el cumplimiento del plan de trabajo y la evaluacin permite ver si
dicho cumplimiento, a su vez, ha conducido al cumplimiento de los objetivos que motivaron el
diseo e inicio de la iniciativa. O, visto al revs, en la medida en que la evaluacin revela un
cumplimiento (o incumplimiento) de los objetivos, el monitoreo genera valiosa informacin
para analizar las relaciones causales entre las actividades de la iniciativa que se evala y dicho
cumplimiento (o incumplimiento).
El monitoreo es un elemento necesario del quehacer diario de las reas del Estado. No obstante,
el monitoreo sin la evaluacin solamente nos permitira juzgar la ejecucin de una iniciativa, sin
poder concluir nada al respecto, por ejemplo, de los resultados/impactos de la iniciativa y de la
sensatez de continuarla o suspenderla.
16
CAPTULO 2
FUNDAMENTOS DE LA EVALUACIN.
PARA QU EVALUAR?
CAPTULO 2. FUNDAMENTOS DE LA EVALUACIN. PARA QU EVALUAR?
2.1. La toma de decisiones, retroalimentacin y mejora continua de las

intervenciones pblicas
Los propsitos de la evaluacin se orientan a:
y Ayudar a tomar una decisin: por ejemplo, decisiones claves y/o otras correctivas de la
implementacin de un programa. Tambin pueden contribuir a la eleccin de la mejor
versin de un programa o a la seleccin del mejor diseo de un programa nuevo.
y Contribuir al aprendizaje de la organizacin: por ejemplo, introducir alternativas y

conceptos nuevos o comprobar la veracidad de determinadas intuiciones.
y Generar conocimiento sobre las polticas pblicas: facilitar a las instituciones acadmicas,
estatales, etc., el conocimiento de las intervenciones pblicas.
y Cumplir un requisito normativo: cumplir con la normativa que regula la intervencin

pblica (ejemplo, intervenciones pblicas en materia de subvenciones).
y Rendir cuentas a la ciudadana: proporcionar una gestin ms ecaz y eciente para una
ciudadana que exige cada vez ms transparencia en la gestin de los recursos pblicos.
Se seala que las funciones de la evaluacin son:
y Funcin de aprendizaje continuo para la mejora del ejercicio del poder y la gestin pblica.
y Funcin de responsabilizacin de los agentes involucrados en el planteamiento de

polticas pblicas.
y Funcin de rendicin de cuentas.
y Funcin comunicativa al crear transparencia e infundir conanza respecto la gestin de

las polticas pblicas.
Tambin se remarca que la utilidad de la evaluacin reere a que:
y Proporciona informacin sobre actividades pasadas o en curso que pueden ser tiles
para el desarrollo futuro de la planicacin y la formulacin de polticas pblicas.
y Facilita la toma de decisiones de inters pblico y sirve para centrar la atencin sobre los
objetivos perseguidos.
y Provee mecanismos de control administrativo, de legalidad y nanciero.
y Contribuye en la deteccin y correccin de errores en polticas, programas o proyectos.

Sirve como herramienta para valorar la conveniencia de las actividades emprendidas y
descubrir formas de mejora de la ecacia en la ejecucin.
18
CAPTULO 3
QU EVALUAR?
CAPTULO 3. QU EVALUAR?
3.1. Polticas, programas, proyectos y procesos2

El mtodo y la forma en que se realiza una evaluacin dependern, en primera instancia, de la
naturaleza del objeto de la evaluacin. Por lo tanto, es fundamental reconocer las caractersticas
del objeto a evaluar y basarse en ellas en el momento del diseo del proceso de evaluacin.
Esta instancia asegura un diseo ajustado a las necesidades bsicas que plantea el mismo
objeto a evaluar.
Las polticas pblicas, los programas y los proyectos son algunos de los principales objetos
que componen el universo de la evaluacin. Si bien son conceptos que estn relacionados y se
articulan entre s, es importante reconocerlos e identicarlos como objetos diferenciados.
El proyecto es la mnima unidad posible de asignacin de recursos que, a travs de un conjunto

articulado de procesos y actividades, se propone uno o varios objetivos especcos orientados a
transformar una situacin de la realidad, disminuyendo o eliminando un dcit, o solucionando
un problema (CEPAL: 2004).
Un proyecto debe cumplir las siguientes condiciones:
y Denir el o los problemas a resolver (identicar cuantitativamente el problema).
y Tener objetivos de impacto claramente denidos para poder ser evaluados.
y Identicar poblacin objetivo.
y Determinar localizacin de los beneciarios.
y Fijar fechas de comienzo y de nalizacin.
Los proyectos sociales tienen como nalidad la produccin y/o distribucin de bienes o
servicios que satisfacen necesidades de grupos que no poseen recursos para satisfacerlas en
forma autnoma.
El programa es un conjunto de proyectos que siguen objetivos comunes y que se distinguen por
estar destinados a diferentes poblaciones y/o utilizar distintas estrategias de intervencin. Un
programa es responsable por la denicin de prioridades de la intervencin, ya que organiza
los proyectos, les da sentido y dene el marco institucional y, nalmente, asigna los recursos
necesarios para la intervencin.
La poltica es el conjunto de programas y proyectos que se proponen los mismos objetivos. La

poltica pblica se encarna y efectiviza en los programas y proyectos a partir de la asignacin
de recursos. Es responsable de dar la orientacin sobre los problemas a priorizar y, a la vez,
denir las vas y/o lmites para la intervencin que la poltica plantea. La poltica pblica es
2 Las deniciones expresadas en el presente captulo para los conceptos de proyecto y programa dieren de las que
se utilizan tcnicamente en materia presupuestaria (Ver: http://www.mecon.gov.ar/onp/html/manuales/el_sistema_
presupuestario_publico.pdf).
20
el conjunto de objetivos, decisiones y acciones concretas que realiza el Estado con el n de

resolver problemas identicados como prioridades. Dado que involucra un universo amplio de
niveles, agentes, intereses de gobierno, la poltica pblica es el resultado de un proceso poltico
de discusin y formulacin.
Las polticas pblicas son herramientas para transformar la realidad y su mayor sentido se
relaciona con las consecuencias que estas polticas tienen para la sociedad. La evaluacin es
una actividad sistemtica, informada, fundada, socialmente legitimada, que es muy til para
que las polticas alcancen los objetivos que se proponen, para poder medir y comprender los
impactos que tienen y para permitir la mejora constante.
3.2. Las preguntas de la evaluacin

Las preguntas de la evaluacin permiten concentrar el trabajo en una cantidad limitada de
puntos clave con el n de lograr una mejor reexin sobre los criterios de juicio, una recoleccin
de datos acotada, un anlisis profundo y un informe til.
Delimitar la evaluacin a partir de algunas preguntas es necesario cuando el objeto a evaluar

tiene mltiples dimensiones. Si se intenta abordar en forma conjunta todas las dimensiones de
la poltica o el programa, se pone en riesgo la evaluacin misma, porque el trabajo sera muy
costoso o, de otra forma, resultara supercial al no profundizar en ningn aspecto.
Por su parte, la formulacin de estas preguntas permite controlar y delimitar los aspectos a
comunicar en los informes de evaluacin, ya que, de otra manera, se corre el riesgo de comunicar
en forma sesgada a partir de la informacin ms fcil de mostrar o de los intereses y prejuicios
de los actores involucrados.
Es conveniente que las preguntas a responder por la evaluacin sean formuladas tomando
en cuenta las expectativas de los destinatarios del informe, dado que as se incrementan las
posibilidades de apropiacin y utilizacin del trabajo realizado.
Preguntas deducidas de la lgica de intervencin

La lgica de intervencin es el conjunto de supuestos para explicar de qu manera la intervencin
alcanzar sus objetivos y producir los efectos esperados. Los supuestos vinculan las actividades
con los productos y los resultados, y luego con varios niveles sucesivos de impactos esperados
hasta llegar al ms global (por ejemplo, la reduccin de la pobreza).
La lgica de la intervencin se reconstruye sobre la base de los objetivos que guran en los
documentos ociales (decretos, leyes, etc.) que han establecido la intervencin.
Cada vez que se enuncian los objetivos en trminos polticos poco precisos, se los traduce en
forma de efectos esperados de la manera ms concreta posible. Tambin se pueden tener en
cuenta los efectos esperados implcitamente.
21
Segn el grado de heterogeneidad de la intervencin, la cantidad de efectos esperados puede

variar desde unos pocos hasta ms de cien. La lgica de intervencin presenta los efectos
esperados bajo una de las siguientes formas:
y Diagrama de efectos esperados (intervencin de dimensiones mltiples con una docena

de efectos esperados o ms).
y Diagrama global y subdiagramas (intervencin con ms dimensiones).
Una vez que el equipo de evaluacin identic los efectos esperados y los supuestos de
causalidad que los vinculan, se puede entonces plantear todo tipo de preguntas del tipo:
y En qu medida [la actividad A] ha contribuido a [generar el efecto X]?
y En qu medida [las actividades A, B, C...] han contribuido a [generar el efecto X]?
y En qu medida [las actividades A, B, C...] han contribuido a [generar los efectos X, Y, Z, ...]?
Estas preguntas derivan directamente de la lgica de intervencin en un formato estandarizado

y pertenecen a la familia de la ecacia (obtencin de uno o varios efectos esperados).
Otras preguntas
La evaluacin podra centrarse en otras preguntas que no requieren un examen previo de

la lgica de intervencin, porque se reeren a efectos no relacionados directamente con la
intervencin. Por ejemplo, las preguntas sobre los impactos inesperados:
y En qu medida [la actividad A, el instrumento B, el procedimiento C] ha generado efectos

inesperados? Y si es as, en benecio o detrimento de quin?
Otro ejemplo son las preguntas sobre aspectos transversales, como el gnero, el ambiente, la
buena gobernanza o los derechos humanos:
y En qu medida el Estado ha integrado [el aspecto transversal A] en el diseo y la puesta

en marcha de sus intervenciones?
22
Seleccionar las preguntas clave

Existen lmites tcnicos que impiden tratar preguntas mltiples o, ms precisamente,
aportar respuestas de buena calidad si las preguntas son numerosas. Generalmente, se
recomienda seleccionar un mximo de diez preguntas clave.
Se deben seleccionar las preguntas en funcin de la utilidad probable de las respuestas a

la evaluacin, por ejemplo:
y La respuesta permite realizar ajustes en el diseo del programa y/o le interesa a las
personas que deben disear una nueva intervencin para el prximo ciclo.
y La respuesta probablemente permite aprender lecciones interesantes para otros

sectores u otros pases.
y La respuesta sirve para alimentar un informe destinado a rendir cuentas.
y La respuesta no se conoce de antemano.
y La respuesta llega a tiempo.
Adems, se deben seleccionar las preguntas en funcin de su factibilidad (o evaluabilidad).

Una pregunta merece ser abandonada si se acumulan demasiadas dicultades, por ejemplo:
y Los trminos esenciales de la pregunta no tienen estabilidad y no todos los

comprenden de la misma manera.
y Las relaciones de causa-efecto no son claras y los expertos no las conocen bien.
y La informacin disponible es muy pobre.
y El acceso al terreno y la recoleccin de la nueva informacin plantearn dicultades

mayores.
Si se debe abandonar una pregunta aunque corresponda a un pedido poltico, entonces

conviene argumentar con precisin las razones por las que es difcil o imposible tratar esta
pregunta, lo que puede formar parte de la utilidad de la evaluacin.
23
Redactar una pregunta

En el momento de redactar una pregunta, primero hay que comprobar que guarde relacin
con la evaluacin y no con la auditora o el seguimiento.
Conviene luego precisar:
y El campo, es decir, lo que se juzga, por ejemplo: la intervencin en su conjunto, una

actividad, un instrumento, un procedimiento.
y El o los efectos correspondientes.
y La familia de criterios de evaluacin a la que pertenece la pregunta: pertinencia,

ecacia, eciencia, sostenibilidad, impacto, valor agregado comunitario o
coherencia/complementariedad.
En esta etapa, hay que garantizar que la pregunta est redactada de manera clara y concisa.
El redactor puede aadir comentarios a ttulo indicativo sobre todos o algunos de los
siguientes puntos:
y Precisiones sobre el campo de la pregunta.
y Denicin de los principales trminos utilizados.
y Precisiones sobre el tipo de criterio.
y Subpreguntas a tratar para responder a la pregunta.
y Naturaleza de la utilizacin prevista.
y Estudios y evaluaciones existentes que no deben ser duplicados.
Quin elige las preguntas?
El responsable de la evaluacin dene las principales reas que la evaluacin habr de

cubrir, precisa las preguntas y delimita su cantidad mxima. Cuando son evaluaciones
mixtas o externas, estos parmetros pueden gurar en el proyecto de la evaluacin y/o
trminos de referencia provisorios. Las preguntas son validadas en el proceso de debate
inicial y diseo de la evaluacin. Cuando se trata de evaluaciones externas, adquieren un
estatuto contractual y se las anexa a los trminos de referencia jados para la realizacin
de la evaluacin, ya sea por parte de consultores y/o de instituciones.
24
CAPTULO 4
TIPOS DE EVALUACIN
CAPTULO 4. TIPOS DE EVALUACIN

Existen diferentes tipos de evaluacin que, en todos los casos, reeren a distinciones entre
formas, modalidades, tipos, enfoques, perspectivas y expectativas de evaluacin. Generalmente,
estos distintos tipos de evaluacin surgen de la incorporacin en la prctica misma de evaluar,
de nuevos ncleos de inters y de los diferentes nfasis que los mismos agentes evaluadores
fueron agregando durante el trabajo propiamente dicho. Algunos tipos de evaluacin surgen
para superar restricciones existentes, otras simplemente por las distintas necesidades que
aparecen. En todo caso, se trata de tipologas no excluyentes.
Los tipos ms difundidos y aplicados pueden representarse segn el siguiente criterio de

diferenciacin:
y Segn quin/es evalan: interna o externa.
y Segn la perspectiva temporal o momento de la evaluacin: ex-ante, intermedia, ex-post.
y Segn el contenido de la evaluacin: conceptual o de diseo, de procesos, de resultados

e impacto.
y Segn los propsitos: formativa, sumativa o de resumen, descriptiva o explicativa.
4.1. Quines evalan

En funcin de quin es el agente que evala, pueden distinguirse dos grandes categoras: la
evaluacin interna y la evaluacin externa. Sin embargo, respondiendo a nuevas necesidades,
se distinguen tambin la evaluacin mixta, la autoevaluacin y la evaluacin participativa.
La evaluacin interna es la que es realizada por agentes o grupos pertenecientes a la misma

institucin gestora de la poltica, programa o proyecto. No se trata de personas involucradas
directamente en la ejecucin, ya que en ese caso se tratara de una autoevaluacin realizada
por los propios agentes gestores y ejecutores del proyecto. Este tipo de distincin es relevante
en el marco de organizaciones de tamao y complejidad considerables. En este tipo de
organizaciones, es factible que existan agentes o grupos de agentes especcamente dedicados
a la evaluacin en forma casi externa, es decir, por fuera del rea especca ejecutora del
proyecto, programa o poltica. En cambio, en organizaciones pequeas o simples, en las que las
estructuras y funciones no son tan claramente diferenciables, la evaluacin interna equivale a
una autoevaluacin.
La evaluacin externa es la que realizan evaluadores que no pertenecen a la organizacin

ejecutora o gestora de la intervencin evaluada. Generalmente, para este tipo de evaluacin,
las organizaciones recurren a consultores o investigadores independientes, universidades o
expertos internacionales en la materia. En algunos casos, la decisin de realizar una evaluacin
externa es tomada por el mismo grupo responsable de la medida, pero en otros, la decisin es
tomada por la agencia que nancia o por el organismo del cual depende jerrquicamente el
ejecutor. Segn cul sea la variante, es decir, desde dnde provenga la decisin de realizar una
evaluacin externa, sern la orientacin y la modalidad de sta.
26
Asimismo, e independientemente de que sea interna o externa, la evaluacin tambin puede

ser participativa. Esta es una tipologa que apunta a designar un tipo de evaluacin que incluye
tanto a los destinatarios como a otros actores de los proyectos en los distintos momentos del
proceso de evaluacin, no solo como fuente de informacin, sino tambin como partcipes del
diseo, ejecucin, conclusiones y recomendaciones.
Por supuesto, existen diversas opiniones acerca de las ventajas y desventajas de cada tipo de
evaluacin segn el criterio de quin evala. Por un lado, una visin acuerda con el tipo de
evaluacin interna bajo el argumento de que no existe nadie mejor que el propio personal para
conocer y comprender los objetivos, metodologa, destinatarios y dinmica de la intervencin. Al
ser los mismos ejecutores los que realicen la evaluacin, se hace ms fcil el aprovechamiento
de las conclusiones y la adopcin de medidas de mejora. La principal dicultad reside en
el riesgo de poca objetividad o sesgo contenido en el proceso. Los intereses contrapuestos
y los compromisos afectan directamente la posibilidad de cierta imparcialidad requerida al
momento de presentarse y evaluar el objeto en cuestin. Por otro lado, un argumento en favor
de la presencia de una institucin, agente o grupo evaluador externo es que permite contar con
mayor distancia del proceso de evaluacin, adems de traer a la organizacin experiencias y
conocimientos nuevos que de algn modo ayudan a crear objetividad. Pero esta condicin no
es suciente para que la evaluacin externa no presente dicultades. Pueden aparecer ciertas
tensiones entre el evaluador y el evaluado que den lugar a interferencias, por ejemplo, en el
acceso a la informacin acerca del objeto de la evaluacin o en la resistencia del evaluado
a aceptar los resultados de una evaluacin que pudieran cuestionar sus objetivos, metas,
procesos, etc. Finalmente, una institucin, agente o grupo evaluador externo contratado por
la organizacin puede incorporar una orientacin propia, ideologa, teoras, etc.; sin embargo,
tambin trae consigo compromisos reales con quienes lo ha contratado, algo que puede incidir
en la objetividad de la evaluacin.
Una solucin posible es coordinar una evaluacin mixta, armando equipos formados por
evaluadores externos e internos, con tareas independientes y en conjunto.
El problema de la resistencia a la propia prctica de la evaluacin y a las dicultades de

aceptacin y uso de los resultados es un tema central. Es usual que se realicen evaluaciones
cuya implementacin y proceso han sido aceptados por las organizaciones evaluadas, pero que,
al momento de analizar los resultados e implementar las recomendaciones, surjan resistencias
y no se tengan en cuenta por parte de los responsables y ejecutores. Los compromisos que
estos tienen con las metas, objetivos o la poblacin destinataria se presentan como barreras
para la aceptacin de recomendaciones o cambios.
La evaluacin, durante del proceso de deniciones, debe incorporar todos los acuerdos y
negociaciones necesarios entre todos los involucrados en el proceso, con relacin a los alcances,
propsitos, validez, acceso a la informacin y difusin de la evaluacin. De la misma manera,
durante las diferentes etapas de la evaluacin, se debe prever la incorporacin de mecanismos
de discusin y distribucin de la informacin que surja del proceso. As puede lograrse un cierto
consenso previo que permita llevar adelante una evaluacin participativa.
27
4.2. Perspectiva temporal o momento de la evaluacin

Esta distincin surge de la teora econmica y es adoptada por las ciencias sociales. La evaluacin
ex ante se emprende durante el diseo, antes de iniciar una poltica, programa o proyecto, con
el propsito de tomar decisiones acerca de si debe o no implementarse. La evaluacin ex ante
intenta dar informacin sobre la ecacia de la poltica a implementar. Se trata de analizar y
establecer si las soluciones propuestas son adecuadas a la realidad que se pretende transformar,
es decir, su coherencia interna, tanto en trminos de recursos, objetivos, metas y actividades,
como de factibilidad respecto de la disponibilidad de recursos y condiciones para desarrollar
las acciones. Este tipo de evaluaciones suelen realizarlas los organismos nanciadores para
decidir la aprobacin de un proyecto. Es til tanto para mejorar las condiciones y el diseo de
una poltica existente, como para descartar y elegir posibles intervenciones.
La evaluacin ex post se concentra en los resultados obtenidos para evaluar en qu medida

se alcanzaron los objetivos planteados y los efectos atribuibles a la poltica respecto de la
situacin que se pretenda modicar. Tambin atiende a la identicacin de los factores
concretos ajenos o propios que contribuyeron a producir los resultados. Uno de los conceptos
clave en este tipo de evaluacin es el de lnea de base, que sirve para contrastar los resultados
con la situacin inicial. Si bien toda metodologa de planicacin de proyectos, programas o
polticas incluyen la fase de diagnstico, no es habitual que este se piense y realice teniendo en
cuenta la instrumentacin posterior de una evaluacin.
La evaluacin ex post busca argumentos slidos que indiquen la adecuacin o no de la poltica

en cuestin, una base slida sobre la cual tomar decisiones acerca de si conviene o no continuar
o profundizar esa lnea de poltica.
De acuerdo a la importancia que se le da a la evaluacin como herramienta fundamental del

ciclo de poltica pblica y de gestin, se incorpora un tercer tipo de evaluacin respecto de una
perspectiva temporal: la evaluacin intermedia. Su objetivo radica en medir el cumplimiento
del proyecto en marcha, contrastando con las condiciones y propuestas iniciales. Produce
datos sobre la direccionalidad del proyecto y los compara con las metas formuladas al inicio
y las modicaciones que vayan surgiendo. Puede efectuarse para detectar rpidamente las
deciencias y desvos, las fortalezas y las oportunidades. As, este tipo de evaluacin suma una
instancia adicional e informacin relevante para tomar decisiones en medio de un proyecto en
marcha, ya que permite corregir y minimizar los desvos.
4.3. Contenido de la evaluacin

Existen, en general, tres grandes criterios de clasicacin respecto de los temas o aspectos de
una intervencin a evaluar:
El primero se basa en las etapas del ciclo de un proyecto, programa o poltica:
y Diseo y conceptualizacin (evaluacin de necesidades, evaluacin de contexto,

evaluacin del diseo y programacin).
y Desarrollo o implementacin (estructura, organizacin, recursos humanos, materiales y

econmicos, procedimientos, actividades, etc.).
28
y Resultados (efectos, impacto, rendimiento, etc.).
Este criterio prcticamente coincide con la clasicacin en funcin de los momentos de la

evaluacin, solo diere en que pone el acento en los contenidos y no en el momento en que
se evala.
El segundo alude a los componentes relevantes de la medida:
y Evaluacin de insumos: tiene por objeto describir y analizar los recursos humanos,
materiales y nancieros con que cuenta la intervencin y la forma en que dichos recursos
son procesados de acuerdo con criterios de relevancia, factibilidad y economa en su uso.
y Evaluacin de procesos: estudia los medios procesales (actividades, procedimientos,

prestaciones) que se utilizan para llevar a cabo la medida, tanto en su diseo como en el
modo en el que este se implementa. Se trata de emitir un juicio acerca de la capacidad y
las estrategias de procesamiento de insumos del sistema.
y Evaluacin de productos: analiza el logro de metas propuestas que se expresan en trminos

de productos esperados. Emite un juicio sobre los resultados obtenidos en trminos de
productividad, concepto que vincula los productos alcanzados con los insumos utilizados
para el desarrollo de las actividades.
El tercero pone el nfasis en los atributos de los programas o de sus componentes:
y Pertinencia: se reere a la adecuacin de una poltica, programa o proyecto para satisfacer

necesidades y demandas o para resolver una situacin.
y Idoneidad o suciencia: se reere a la capacidad de una intervencin para contribuir a los

objetivos y metas programados.
y Ecacia y efectividad: se reeren a la capacidad de una poltica, programa o proyecto

para alcanzar los objetivos programados que, como se ha mencionado, no son sino la
expresin de los resultados buscados.
Estas clasicaciones y tipos de evaluacin enfocan aspectos similares que interesan al

evaluador, pero desde perspectivas diversas ya que, en realidad, estn iluminando aspectos
diferentes y utilizan el andamiaje metodolgico de la evaluacin para responder preguntas
distintas.
Como se ha dicho, las dicultades que plantearon en la prctica de la evaluacin fueron,

en denitiva, los insumos que contribuyeron a la diversicacin de las prcticas y al
enriquecimiento mismo de la evaluacin. Asimismo, la incorporacin de distintas perspectivas
y actores, como funcionarios, legisladores, nanciadores, comunidad, ampli el campo de
estudio de la evaluacin y de los aspectos a considerar. Se considera a la evaluacin no como
algo dado, sino como algo perfectible, sujeto a la mejora continua, como un proceso ms y
con posibilidad de incorporar actores diversos vinculados al proceso. Si bien la evaluacin
se dispara por ciertas condiciones o exigencias, lo conceptual y lo metodolgico se van
modicando a n de otorgarle una visin integral.
29
4.4. Propsito de la evaluacin

Dependiendo de la ndole de las decisiones que se espera tomar en el futuro en funcin de los
resultados de la evaluacin, podemos clasicar las evaluaciones en formativas, sumativas o de
resumen, descriptivas o explicativas.
La evaluacin formativa hace referencia a los enfoques cuyo objetivo principal es retroalimentar
al proyecto, programa y/o poltica evaluado para generar los ajustes necesarios. Busca mejorar
una intervencin en un momento determinado y para un grupo especco de personas,
particularmente aquellas involucradas en su ejecucin, y brinda informacin til para ayudar
a su mejora. En este sentido, contribuye a la toma de decisiones acerca del desarrollo e
implementacin de las intervenciones pblicas.
La evaluacin sumativa o de resumen se centra en el examen de los efectos de la poltica,

programa y/o proyecto sobre los resultados e intenta determinar, desde algn enfoque, la
relacin de causalidad entre ambos. Se emprende con el propsito de tener un juicio global
sobre el valor de alguna intervencin o accin humana (proyecto, programa, poltica o servicio).
Debe producir informacin acerca de su efectividad y de las condiciones en las que puede ser
ecaz en otras situaciones, momentos o lugares.
La evaluacin descriptiva se reere a los estudios que tienen por objetivo pronunciarse respecto
del xito o fracaso de la intervencin a partir de la descripcin cuantitativa o cualitativa de sus
actividades, procesos o resultados y de su comparacin con algn objetivo, meta o estndar
preestablecido.
La evaluacin explicativa se propone identicar los factores que explican situaciones de

xito o fracaso de los objetivos de una intervencin. Construye esquemas interpretativos de
la multiplicidad de causas e interdependencia de efectos a partir de marcos conceptuales y
tericos preexistentes o de la formulacin de hiptesis a vericar.
30
CAPTULO 5
METODOLOGAS
CAPTULO 5. METODOLOGAS
Uno de los puntos de discusin del abordaje metodolgico se da en torno a la utilizacin de
mtodos cuantitativos o cualitativos. Esta distincin atraviesa el campo de las ciencias sociales
y llega al campo de la evaluacin, tanto en lo conceptual como en la prctica. Es as que los
abordajes metodolgicos utilizados se adjetivan directamente con el mtodo de investigacin
aplicado, llamando evaluacin cualitativa o evaluacin cuantitativa, respectivamente y segn
corresponda.
5.1. Tcnicas cualitativas

Una evaluacin cualitativa intenta recuperar contextos y dimensiones humanas del objeto o
fenmeno evaluado. Se realiza generalmente en lugares reales o naturales, como escuelas
o vecindarios. El evaluador es el elemento principal de recoleccin de datos. Analiza, enfatiza,
describe, muestra patrones de conducta y signicados de la poblacin evaluada. Se orienta en
procesos sociales y no se concentra solamente en los resultados. Utiliza mltiples tcnicas de
recoleccin de datos ms o menos estandarizadas, lenguaje cotidiano y un enfoque inductivo.
Algunas de las tcnicas ms utilizadas por el mtodo cualitativo son las entrevistas, la
observacin en terreno y los grupos focales.
5.1.a. Entrevistas
Es una conversacin profesional y orientada a obtener informacin sobre el tema a investigar.

Incluye entrevistas estructuradas, en las que el entrevistador se ajusta a un cuestionario, y a
entrevistas semiestructuradas, en las que se sigue una gua de temas y el entrevistador puede
ampliar preguntas de la forma que crea conveniente para obtener informacin que considere
necesaria. La entrevista es una tcnica que permite obtener informacin diversa y tambin
permite profundizar, corroborar e interpretar datos obtenidos por otras tcnicas (observacin,
estadstica, encuestas, etc.). Puede existir un solo entrevistador y uno o varios entrevistados.
Es recomendable el formato semiestructurado, porque posibilita ir incorporando preguntas
durante la entrevista, y tambin la grabacin para registrar exactamente todas las respuestas y
realizar posteriormente un informe sin perder tiempo en anotaciones.
En general, hay dos tipos de entrevistas:
y Entrevistas a informantes clave: un informante clave es el que puede hablar por un conjunto
de personas acerca del tema en cuestin. Es el caso de los tomadores de decisiones a
nivel poltico, responsables de programas, lderes, etc. Esta entrevista se realiza cuando
se necesita la opinin de una o pocas personas y no es conveniente su inclusin en
una entrevista grupal. Adems, se utiliza como complemento de la tcnica de encuestas
a la poblacin y de datos obtenidos por otras tcnicas secundarias de recoleccin. Es
conveniente, de todas maneras, seguir una gua para realizar una entrevista estructurada.
y Entrevista grupal: esta tcnica se utiliza para recolectar distintos puntos de vista de
diferentes actores a partir de una sola entrevista. Los entrevistados dan sus opiniones y
juicios valorativos acerca de los temas propuestos y son orientados por el entrevistador
que modera el grupo. Permite profundizar temas en forma rpida y con bajo costo.
32
Adems permite la expresin de individuos que no se pronunciaran en forma individual.

Tambin puede ser complemento de informacin obtenida por encuestas a la poblacin
o de datos estadsticos de la intervencin evaluada.
5.1.b. Observacin en terreno
Es la observacin directa del fenmeno y de los diversos aspectos, que permite conocer, por
ejemplo, comportamientos, ejecucin de obras, existencia y adecuacin de equipamiento
adquirido, de procedimientos institucionales e interacciones de los distintos actores. Se utilizan
guas orientadoras y se capacita a los observadores, debido a que los puntos de vista y los
intereses modican las percepciones y conclusiones conceptuales sobre lo observado. Esta
tcnica se utiliza complementariamente de las encuestas y entrevistas. La informacin relevada
a partir de una observacin directa debe ser muy exhaustiva, detallada y descriptiva, de modo
que pueda permitir a cualquier individuo entender lo que el observador vio, tal como se le
presentaron las cosas al observar.
5.1.c. Grupos focales
Estudia las opiniones de un pblico reducido. Se trata de un grupo de entre 6 y 15 personas

moderadas por un evaluador encargado de realizar las preguntas y estructurar la discusin. La
funcin del moderador se basa en procurar que la discusin no se aleje del tema de estudio, es
decir, del foco. La actitud de los participantes debe ser relajada y amena para poder responder
y expresar sus opiniones. La duracin de la reunin de los grupos focales es de alrededor de
dos horas.
5.2. Tcnicas cuantitativas

Una evaluacin cuantitativa es afn a cierto paradigma positivista de las ciencias y se identica
con el mtodo hipottico deductivo. Se basa en la vericacin de hiptesis concretas a travs de
una prueba emprica y busca explicaciones de los fenmenos desde un punto de vista objetivo
del evaluador. Se utilizan diseos experimentales o cuasiexperimentales y se pone especial
importancia en la cuestin de la estandarizacin de datos, precisin, objetividad y conabilidad
del mtodo de medicin, as como la generalizacin de los resultados obtenidos o vericados.
Obviamente, utiliza mtodos de anlisis estadstico, y usa y produce datos numricos adecuados
a pruebas estadsticas.
5.2.a. Evaluacin de impacto
Las evaluaciones de impacto forman parte de un programa ms amplio de formulacin de polticas

basadas en evidencias (PBE). El enfoque de las PBE ayuda a las personas a tomar decisiones
informadas sobre polticas, programas y proyectos, al colocar la mejor evidencia posible de las
investigaciones en el centro del desarrollo e implementacin de las polticas (Davies, 2004: 3). Este
enfoque seala que las decisiones de poltica pblica deben estar basadas en la mejor evidencia
disponible. Es un cambio de perspectiva, de los insumos a los resultados, fundamentado en y
orientado a brindar informacin a los administradores de programas, que cada vez necesitan
conocer los resultados obtenidos para rendir cuentas, corregir u orientar las decisiones.
33
Usualmente, la evaluacin de polticas pblicas se ha focalizado en los insumos y productos, o

sea, en los recursos y en lo que el programa produce. Sin embargo, y a modo de ejemplo, el
incremento en la cantidad de policas en las calles no brinda demasiada informacin sobre el
cambio en la tasa de delito.
Asimismo, la evaluacin de impacto puede presentar evidencias slidas sobre el desempeo

del programa y, lo que es fundamental, explicitar si el programa ha alcanzado los objetivos
planteados esperados. Es una evaluacin que se realiza ex post, es decir, a posteriori de la
ejecucin del programa, proyecto o poltica, debido a que se necesita un plazo de tiempo
determinado para que los impactos sean visibles. Adems, tiene un alcance ms profundo que
la evaluacin de resultados, ya que examina en qu medida la intervencin gener efectos ms
all de los resultados esperados. Busca determinar la capacidad de las medidas instrumentadas
en solucionar los problemas de la sociedad. Por ejemplo, un aumento del impuesto al consumo
de tabaco realmente promueve la disminucin del consumo de cigarrillos? La capacitacin de
posgrado aumenta el salario en el mediano plazo? En otras palabras, la evaluacin de impacto
responder si es un programa efectivo comparado con la ausencia de este.
En trminos ms precisos, y como dene la Gua Metodolgica SINERGIA (2012), la evaluacin de

impacto permite:
y Atribuir impactos a un programa y examinar si est generando los efectos deseados.
y Tener evidencia concluyente para la toma de decisiones de poltica, as como en la

priorizacin y justicacin en el uso de los recursos.
y Estudiar aspectos de una intervencin para cambiar su diseo y mejorar su efectividad.
y Comparar el impacto de un mismo proyecto, programa o poltica para diferentes tipos de

poblacin o diferentes contextos.
y Identicar efectos no previstos en los beneciarios, ya sean positivos o negativos.
Para lo cual responde, entre otras, a las siguientes preguntas:
y Qu le habra pasado a los beneciarios de la intervencin si la poltica, programa y/o

proyecto no hubiese existido?
y Cunto de los efectos sobre los beneciarios se le pueden atribuir a la medida y cunto
a otros factores?
y Qu tan efectiva fue la intervencin en lograr sus objetivos? Hubo cambios, y de qu

magnitud, en los problemas atacados por la poltica, programa y/o proyecto?
y Se justican los costos?
y Se podra modicar el diseo de la poltica para mejorar sus efectos?
y Hubo efectos inesperados?
34
Inferencia causal y la utilizacin de contrafactuales
La evaluacin de impacto busca responder una pregunta eminentemente de inferencia

causal. Es decir, el impacto de una intervencin (o tratamiento) sobre una serie de resultados,
comparndola con la situacin sin intervencin. Para intentar obtener este impacto, se tiene
que comparar la situacin de un individuo beneciario del programa respecto la situacin del
mismo individuo sin haber recibido el programa o tratamiento. Entonces, para obtener el impacto
de una intervencin, es necesario observar al individuo con y sin tratamiento. Sin embargo, es
imposible observar a una persona en dos estados diferentes. Este es el principal problema de la
construccin del contrafactual: cmo medir lo que hubiera prevalecido en otra circunstancia?
En esta situacin se recurre al grupo de control. A travs de esta herramienta, la evaluacin de

impacto busca denir dos grupos de forma clara, de manera de poder comparar el grupo de
tratamiento (beneciarios) con un grupo sin tratamiento (de control).
El grupo de tratamiento o beneciarios de la intervencin son aquellas personas, hogares,

instituciones o algn tipo de colectivo que forman parte de la poblacin objetivo de la
poltica pblica, programa o proyecto a evaluar. En este grupo se espera que el programa
genere un impacto.
El grupo sin tratamiento o de control son las personas, hogares, instituciones u otro colectivo
que no participan del programa, pero que, sin embargo, tienen todas las caractersticas como
para poder recibir el tratamiento. Por lo tanto, la nica diferencia con el primer grupo es el
mismo tratamiento. De alguna manera, indican qu habra ocurrido si el participante no hubiese
formado parte del programa.
En trminos prcticos, puede resultar relativamente sencillo obtener el resultado del tratamiento
sobre los participantes del programa. Sin embargo, medir qu habra ocurrido si el participante
no formaba parte del programa es sustancialmente ms complicado. Para completar esta
informacin, debe estimarse el grupo contrafactual.
Estimacin del contrafactual
La evaluacin produce resultados ables si el grupo de control es igual al grupo de

tratamiento en todas las caractersticas, tanto observables como no observables, salvo en
una: su exposicin a la poltica, programa o proyecto. De esta manera, cualquier diferencia
entre los grupos luego de la intervencin se le puede atribuir a esta, ya que en su ausencia
los dos grupos seran iguales.
Si suponemos que la poltica, programa o proyecto debe tener un resultado sobre la variable Y,
el impacto de la intervencin puede expresarse en trminos de la diferencia entre dos nmeros:
I = Y1-Y0
donde Y1 es el resultado que se ha logrado con la intervencin e Y0 es el resultado que se habra

dado sin la intervencin.
35
En trminos generales, Y1 es un valor relativamente fcil de estimar. Utilizando registros

administrativos, mediante una encuesta o con alguna otra tcnica de observacin, es posible
estimar qu pas con el resultado de la aplicacin de la poltica estudiada. Por ejemplo, en un
programa de capacitacin de jvenes, es sencillo conocer cuntos consiguieron empleo luego
de participar en l.
Estimar Y0, en cambio, es ms complejo. Encontrar un contrafactual vlido no es una tarea fcil,
sencillamente porque el mundo no puede encontrarse en dos estados al mismo tiempo. Si el
programa comienza a ejecutarse, nunca se podr saber qu habra pasado si no se ejecutaba.
Por lo tanto, si la estimacin de Y1 surge de una medida basada en una observacin de la
realidad, Y0 siempre es una declaracin hipottica de lo que suponemos hubiese ocurrido sin
la implementacin de la poltica.
Ejemplo de un programa de capacitacin para jvenes
Grupo de Control
Y0
Impacto Y1-Y0
Tasa de desempleo
Y1
Grupo de Tratamiento
2012 2013 2014

Ao
El grco anterior, muestra el ejemplo de un programa de capacitacin laboral para facilitar la

insercin laboral de los jvenes. Se basa en que en ausencia del programa, la tasa de desempleo
del grupo objetivo hubiese continuado con su crecimiento natural. La lnea punteada indica la
evolucin de la tasa de desempleo del grupo de control luego de iniciarse las actividades del
programa en 2013 que, en este caso y a efectos prcticos, es creciente en el tiempo. Luego de
2013, la tasa de desempleo del grupo de jvenes que formaron parte del programa, indicada
con la lnea de trazo grueso, disminuy sustancialmente respecto a la presente en 2013 y, lo
central en este ejemplo, es menor que la que presenta el grupo de control. Como se indic
anteriormente, el impacto del programa, medido como Y1-Y0, en este ejemplo es positivo.
36
Diseo del modelo de evaluacin
La evaluacin de impacto tiene que estar vinculada al contexto en el cual se desarrolla el

programa a evaluar, la forma de intervencin y los actores involucrados.
Los mtodos que se emplean en la evaluacin de impacto dieren entre s en funcin del
procedimiento utilizado para denir el grupo de individuos, que se denomina contrafactual.
Entre los mtodos cuantitativos, se encuentran los diseos experimentales, que se consideran
la solucin ptima, y los diseos cuasiexperimentales, que brindan resultados conables
dependiendo de la metodologa aplicada.
Diseos experimentales
Este mtodo asigna aleatoriamente a la poblacin elegible al tratamiento. La asignacin

aleatoria del tratamiento se puede llevar a cabo, por ejemplo, mediante un sorteo en el que
se elige quien participa del programa entre una poblacin de individuos con igual derecho a
participar. De esta forma, se logra obtener una estimacin robusta del contrafactual.
Por medio de la asignacin aleatoria, se generan grupos de tratamiento y grupos de control en

los que no existen diferencias sistemticas en las caractersticas de ambos grupos previamente
al inicio del programa (Walkup, 1979). Por lo tanto, si luego de comenzar a ejecutar el programa
se observa algn tipo de resultado en el grupo de tratamiento, se deduce que solo se puede
deber a la exposicin al tratamiento, ya que los grupos eran idnticos y estaban expuestos a los
mismos factores externos. De esta forma, se puede conar en que la diferencia en el resultado
en ambos grupos se debe a la participacin del grupo de tratamiento en el programa.
Diseos cuasiexperimentales
Este tipo de diseos de evaluacin de impacto se utiliza cuando no es posible generar un grupo
de control de manera aleatoria. La utilizacin de tcnicas estadsticas permite generar un grupo
de control lo ms similar posible al grupo de tratamiento en trminos de las caractersticas
observables.
Por este motivo, los diseos cuasiexperimentales son menos robustos (la seleccin no es
aleatoria), generan sesgos (los grupos podran diferir por caractersticas no observadas),
pero son ms exibles (con un adecuado diseo y buena informacin se obtienen resultados
conables).
Estos diseos son los generalmente usados en las evaluaciones de impacto realizadas en el
sector pblico.
Para el anlisis de datos, en los diseos cuasiexperimentales, se utilizan, principalmente, cuatro

aproximaciones:
y mtodo de emparejamiento o correspondencia (matching).
37
y mtodo de regresin discontinua.
y mtodo de la doble diferencia (difference in difference).
y mtodo de variables instrumentales.
5.3. Triangulacin
Una estrategia distinta que asegura el rigor y modera la cuestin de la subjetividad es la
triangulacin. Esta metodologa pretende utilizar distintas tcnicas y fuentes para evaluar los
mismos fenmenos a travs de operaciones convergentes y complementarias metodolgicamente.
Una evaluacin por triangulacin es, por ejemplo, la que pueda realizar un grupo en el que se
cruzan los criterios y puntos de vista de cada uno de los evaluadores. Con esto se adquiere una
mayor conabilidad en los datos obtenidos, mejor comprensin de los fenmenos evaluados,
se mitigan los sesgos y desvos de cada tcnica independiente y se validan las conclusiones y
apreciaciones de la evaluacin.
5.4. A modo de conclusin

El xito y rigurosidad de una evaluacin no se limita a la eleccin de tcnicas o a determinar la
preponderancia de uno u otro mtodo (cualitativo o cuantitativo), sino que es el resultado de la
calidad de las decisiones y conductas que los evaluadores adoptan a lo largo de las diferentes
etapas del proceso de evaluacin:
y Denicin del problema a evaluar.
y Eleccin del marco conceptual.
y Hiptesis.
y Tcnicas a utilizar.
y Trabajo de campo.
y Procesamiento, anlisis e interpretacin de datos y resultados.
Todas estas decisiones tienen peso e inuyen en la rigurosidad de los juicios realizados,
de las aceptaciones o rechazos de las hiptesis de trabajo, de la comprensin del objeto
evaluado y, nalmente, de las posibilidades reales de intervencin que permita modicar la
situacin evaluada.
38
Evaluacin Cuantitativa Evaluacin Cualitativa
Paradigma positivista/emprico Paradigma fenomenolgico/constructivista
Predominio de la deduccin Predominio de la induccin, comprensin e

interpretacin
Diseos experimentales o cuasiexperimentales Investigacin naturalista
Perspectiva desde afuera Perspectiva desde adentro

(Punto de vista del observador) (Punto de vista de los actores)
Lenguaje numrico Lenguaje verbal
nfasis en aspectos objetivos, observables, nfasis en aspectos subjetivos: comprensin de

cuanticables actitudes, conductas, valores y motivaciones
internas
Anlisis estadstico Anlisis de contenido, estudio de casos
Resultados generalizables Resultados limitados en su generalizacin
39
CAPTULO 6
ETAPAS DE LA EVALUACIN
CAPTULO 6. ETAPAS DE LA EVALUACIN

Es importante que el proceso de una evaluacin se planique de una manera integral. Como se
observa en la ilustracin, dicho proceso consiste bsicamente en cuatros etapas: 1) planicacin
de la evaluacin, 2) implementacin del estudio evaluativo, 3) utilizacin y difusin de los
resultados de la evaluacin y 4) comunicacin de la evaluacin (transversal).
Grco N. 2. Etapas de la evaluacin
Etapa 1: Planicacin de la Etapa 3: Utilizacin de

Etapa 2: Implementacin
evaluacin resultados y difusin
Identicacin de la Seleccionar los evaluadores Plantear la comunicacin:

intervencin a evaluar y (caso evaluacin externa o Qu voy a comunicar? A
actores a involucrar. Anlisis mixta) quin y cmo voy a
de viabilidad de la evaluacin comunicar los resultados?
Revisin del Plan de Trabajo
Diseo de la evaluacin y de y entregables Difusin de resultados
las estrategias de
implementacin Desarrollo del estudio de Compartir la experiencia
evaluacin: recogida de los adquirida
datos/informacin. Trabajo
Presupuesto y cronograma de campo, etc. Acordar cambios a realizar a
partir de los resultados de la
Anlisis de resultados evaluacin
Formulacin de Trminos de
Referencia -TdR- (caso de Redaccin de Informes de Informe de seguimiento de
evaluacin externa o mixta) avance y nales recomendaciones
Etapa 4 (transversal): Comunicacin
A continuacin se profundiza el anlisis de cada etapa3.
6.1. Planicacin de la evaluacin

Diversas actividades estn involucradas en el proceso de planicacin de la evaluacin (ver
Grco N. 3).
3 Esta seccin se realiza sobre la base de los siguientes Manuales: Sistema Nacional de Evaluacin-SINE (2012). Manual
Gerencial para el Diseo y Ejecucin de Evaluaciones Estratgicas de Gobierno.Costa Rica; [Gobierno Vasco (2013).
Gua de Evaluacin de Polticas Pblicas del Gobierno Vasco. Direccin de Coordinacin y Direccin de Innovacin y
Administracin Electrnica de la Presidencia del Gobierno Vasco.]
42
Grco N. 3. Actividades de la planicacin de la evaluacin
1 Identicar la 6
intervencin a evaluar.
Involucrar a los actores. Denir la logstica,
Discutir escenarios de costos, cronograma y
utilidad de la evaluacin canales de comunicacin
y el papel del evaluador
2 Denir procedimientos
5
Describir la intervencin ticos y otros que
y los propsitos de la garanticen la calidad de
evaluacin la evaluacin
3 Denir y disear las

4
Preguntas evaluativas,
abordaje de la dimensiones, los
evaluacin y denir instrumentos e
patrones de juzgamiento indicadores
Bsicamente, el inicio de todo proceso evaluativo tiene lugar en el momento del diseo de la
poltica, programa o proyecto. No obstante, sabemos bien que no siempre es esta la pauta en
las administraciones pblicas de inicios del siglo XXI. Esto no quita que los procesos evaluativos
sean susceptibles de ser llevados a cabo en cualquier momento del desarrollo de la poltica. Por
el contrario, debe promoverse continuamente su desarrollo, ms all de lo considerado ideal.
En este sentido, el desarrollo de una evaluacin puede iniciarse cuando se avanza en la

identicacin de la intervencin a evaluar en un rea y/o ministerio, sea del mbito nacional,
provincial o municipal. En dicho momento es fundamental considerar la viabilidad de evaluacin
de la poltica, programa y/o proyecto en sus diversos sentidos poltica, presupuestaria,
etc., familiarizarse con la intervencin a evaluar, promover diversas acciones para que sea
susceptible de realizarse, identicar los actores a involucrar, as como denir qu se espera de
la evaluacin, entre otras acciones. A partir de all o tambin en el caso que se est diseando
la poltica, programa y/o proyecto, se inicia el proceso de planicacin de la evaluacin.
El diseo de la evaluacin conlleva dar respuesta a una serie de preguntas clave.
43
Al momento de diseo de la poltica, las principales preguntas son:
Por qu evaluar? Qu va a ser evaluado y qu informacin queremos obtener? Cmo

se va a evaluar? Quin va a evaluar? Qu tcnicas se adaptan a nuestro modelo de
evaluacin? Para quin se evala? Qu recursos econmicos, humanos y logsticos
requiere la evaluacin? Cundo se evala?
A continuacin se desarrollan estos aspectos.
Por qu evaluar? Denir la motivacin en el diseo implica identicar los propsitos, funciones
y utilidad relacionados con la evaluacin. En este momento, deben atenderse las motivaciones
de todos los destinatarios de la evaluacin, considerando que un proceso evaluativo puede dar
respuesta a mltiples y complejas nalidades. Los motivos que pueden promover la evaluacin
de una poltica pblica son diversos, como la necesidad de disponer de informacin sobre los
resultados alcanzados, el cumplimiento de la obligacin de evaluar, la voluntad de mejora de los
procesos de planicacin, el planteamiento de continuidad de una poltica pblica, entre otros.
Es necesario comprender claramente qu justica la evaluacin, dado que este aspecto es

fundamental para delimitar el alcance de los trabajos de evaluacin. Dar respuesta a esta
cuestin de partida conlleva identicar el punto de partida de la evaluacin, conocer los
propsitos generales de la evaluacin y denir los usos y usuarios de la evaluacin.
Qu va a ser evaluado? Qu informacin queremos obtener? Quines son los destinatarios de

la evaluacin? Esta fase del diseo comprende los siguientes pasos:
y Denir el objeto de evaluacin. Se va evaluar una poltica, programa o proyecto? En qu

nivel de actuacin? En qu contexto organizacional? En los procesos de trabajo? En los
efectos? Cules efectos? Cules son las teoras que sustentan la intervencin?
y Identicar los actores clave, aclarar cules son los intereses puestos en la evaluacin y
para quin se evala. Una evaluacin puede tener diversos destinatarios. Este aspecto
debe tenerse en cuenta en el diseo de la evaluacin, conocer las expectativas de los
distintos actores implicados respecto a los futuros resultados de la evaluacin, sus
necesidades, as como las diferentes consideraciones sobre la didctica a emplear para
transmitir la informacin generada. Es importante delimitar formalmente quines son los
destinatarios de la evaluacin, establecer en qu forma es ms adecuada presentar la
informacin obtenida y plantear como se va a hacer entrega de la informacin obtenida.
y Denir los objetivos de evaluacin a travs de las motivaciones de los actores clave.
y Establecer la cobertura de la evaluacin, el perodo y las preguntas de evaluacin.
y Acotar las preguntas de evaluacin y priorizar las preguntas de evaluacin clave.
44
Todos estos aspectos debern denirse entre los distintos actores involucrados. Quienes
solicitan la evaluacin podrn hacer sugerencias para tratar cuestiones o temas de evaluacin
de especial inters o relevancia para ellos.
Cmo se va a evaluar y qu necesitamos? En esta etapa se debe escoger el tipo de

evaluacin entre las posibilidades existentes. La eleccin viene determinada por el
contexto, el momento, la disponibilidad presupuestaria, etc. Tambin es importante tener
en cuenta el objeto, los objetivos, los destinatarios y las preguntas de evaluacin que se
hayan establecido.
Esta fase conlleva:
1. Determinar el tipo de evaluacin que se va a ejecutar.
2. Denir quin va a evaluar.
3. Especicar tcnicas, herramientas, etc.
4. Establecer los criterios de evaluacin.
5. Realizar un presupuesto del costo estimado de la evaluacin, de los recursos humanos

y logsticos necesarios.
6. Fijar los plazos en los que se va a desarrollar la evaluacin.
Es importante considerar la viabilidad de la evaluacin. Atender a que las limitaciones de

informacin, tiempo y presupuesto pueden inuir en la delimitacin del alcance de la evaluacin.
En estos casos, es oportuno centrar la evaluacin en los aspectos de las polticas pblicas
donde existe mayor necesidad de obtencin de informacin o hacia las intervenciones en las
que se prev una necesidad prxima de toma de decisiones polticas.
Estos aspectos involucran dar respuesta a los siguientes interrogantes:
Quin va a evaluar?
A menudo, se plantea la necesidad de decidir si la evaluacin la realizar una

unidad de evaluacin interna o un evaluador externo. Hay ventajas y desventajas
asociadas a ambos enfoques. En el caso de que sea externa es recomendable
nombrar un comit de seleccin para analizar y valorar las diferentes propuestas
recibidas. Para su determinacin es conveniente establecer un catlogo de los
recursos propios disponibles, valorar la necesidad de contar con personal externo,
decidir la composicin del equipo de evaluacin, entre otros aspectos.
45
Qu tcnicas se adaptan a nuestro modelo

de evaluacin?
En funcin del tipo de evaluacin, se denen las tcnicas y herramientas que van a
utilizarse para recoger y analizar la informacin. Para decidir el tipo de tcnicas y
herramientas, es necesario plantear las posibles tcnicas a utilizar segn la
disposicin de informacin previa, determinar las tcnicas y herramientas
necesarias para conseguir la informacin esperada, delimitar las tcnicas y
herramientas que se van a utilizar, denir la matriz evaluativa: dimensiones,
indicadores, etc.
Qu recursos econmicos, humanos y

logsticos se requieren?
La planicacin es incompleta si no se detalla y dimensiona el presupuesto

requerido, los perles de los recursos humanos necesarios para efectuar la
evaluacin, as como otras necesidades de carcter logstico.
Cundo se evala?
El diseo de la evaluacin debe contemplar una previsin de cundo se van a

realizar las distintas tareas implcitas en la evaluacin. Aunque el cronograma
denitivo se establece en la elaboracin del plan de trabajo junto con el equipo de
evaluacin, en esta fase inicial, se tendrn en cuenta los plazos ms relevantes. Hay
que establecer un cronograma inicial en el cual se detecten los principales hitos y
el responsable de cada proceso.
6.2. Implementacin
Una vez diseada la evaluacin, la siguiente etapa corresponde al desarrollo del estudio de
evaluacin. El rol y tareas a realizar por la institucin pblica promotora de la evaluacin
diferirn segn se trate de una evaluacin interna, externa o mixta. Ms all de ello, las tareas
que debe realizar como gestor de la evaluacin se pueden dividir en dos etapas: 1) establecer el
plan de trabajo denitivo; 2) supervisar su puesta en prctica y/o ejecutarla.
En este momento, podr acotarse en mayor grado la planicacin que se va a llevar a cabo para
el desarrollo del estudio de evaluacin.
En caso de ser una evaluacin externa y/o mixta, en esta instancia se incorpora el equipo de
evaluacin seleccionado. Se revisa, de forma conjunta entre los evaluadores seleccionados y
funcionarios, el diseo de la evaluacin, actualizando los aspectos que puedan sufrir alguna
variacin o que no tenan el grado de desarrollo oportuno. Tambin, se revisa el plan de trabajo.
Bsicamente, se volvern a considerar los siguientes aspectos: alcance de la evaluacin, eleccin
de tcnicas y herramientas segn el modelo metodolgico del equipo evaluador, modicacin
de la planicacin temporal inicialmente prevista, determinacin de los entregables y
establecimiento de fechas de entrega.
46
A continuacin, se presenta una propuesta de estructura de un modelo de plan de trabajo, en

el que se incluyen ejemplos de los entregables a elaborar:
y Introduccin: Presentacin del proyecto de evaluacin. Organizacin y lanzamiento.
y Texto principal: Anlisis: objetivos principales, herramientas principales a utilizar, actores

implicados, etc. Diseo y elaboracin del plan. Modelo de ejecucin. Control y seguimiento.
Asesoramiento y apoyo.
y Documentacin a desarrollar | entregables: Informe de diagnstico. Informe de seleccin

del equipo de evaluacin. Plan de Comunicacin. Informes intermedios de evaluacin.
Informe nal de evaluacin. Material de difusin. Programa de mejora.
y Anexos: Documentos utilizados. Trminos de referencia.
Una vez concretado el plan de trabajo, se desarrollar el estudio de evaluacin segn el

cronograma previsto y las tareas asignadas a los agentes involucrados en esta etapa. Aqu
lo central es gestionar la evaluacin, lo que implica garantizar que esta se realice bajo los
principios de la ecacia y la eciencia.
Hay funciones de gestin bsicas atribuidas al personal evaluador y al personal gestor de la

evaluacin:
y Personal evaluador: Realizar el anlisis documental anterior al trabajo de campo: anlisis

de fuentes primarias y de fuentes secundarias. Realizacin del sistema de indicadores.
Diseo de herramientas y tcnicas para la recogida de datos. Recogida de datos. Anlisis
y tratamiento de la informacin relevada. Retorno de la informacin recopilada.
y Personal gestor: Garantizar la funcionalidad de la evaluacin. Acordar con el equipo de

evaluacin la actualizacin del diseo de la evaluacin para concretarla en el plan de
trabajo y supervisar su ejecucin. Recoger y revisar la calidad de los resultados parciales
y nales de la evaluacin. Asesorar al equipo de evaluacin. Representar los intereses de
los distintos agentes implicados en el proceso de evaluacin. Comunicar los resultados
y conclusiones.
6.3. Utilizacin de los resultados y difusin

El proceso de la evaluacin no termina con la entrega de un informe de evaluacin. La mera
existencia de recomendaciones puntuales derivadas de una evaluacin no signica que sern
utilizadas por la poltica, programa y/o proyecto. Existe una larga serie de obstculos para
convertir los resultados de una evaluacin en acciones de mejora en los programas de gobierno.
En este sentido, es importante considerar cules sern las estrategias para garantizar el uso y
difusin de los resultados de la evaluacin.
47
Existen distintas herramientas y es necesario establecer:
y Programa de mejora/Acuerdo de compromisos de mejora: al nalizar la evaluacin, es

recomendable incluir compromisos de mejora derivados de informes y evaluaciones.
y Mecanismo para el seguimiento de los aspectos susceptibles de mejora.
y Premios: algunas instituciones estatales convocan a premios para los programas

comprometidos con el proceso de evaluacin y apuntan a valorar el compromiso de las
reas del Estado en el uso de la evaluacin.
y Comunicacin de resultados a los distintos destinatarios y a travs de diversos

soportes/medios:
Intereses segn tipo de destinatario:
- Cargos polticos: depositan su inters en la informacin sobre los resultados de

la intervencin que puedan ayudarlos a tomar futuras decisiones y orientar sus
decisiones estratgicas.
- Planicadores: necesitan informacin general sobre las fortalezas y debilidades del

diseo.
- Gestores: la evaluacin les permite establecer nuevos mecanismos de mejora de la

gestin del proyecto, programa o poltica pblica.
- Destinatarios de las intervenciones: la evaluacin incrementa la transparencia

de la gestin y reciben la devolucin de su posible participacin en el proceso
evaluativo.
Soportes y canales de comunicacin:
- Publicaciones: folletos, cartas, boletines de noticias, revistas, libros, informes, etc.
- Seminarios o jornadas: la comunicacin oral es especialmente til para presentar

los resultados a determinados receptores. Este medio se puede utilizar en cualquier
momento de la evaluacin y puede servir para transmitir los resultados a los actores
que disponen de tiempo limitado para leer un informe extenso.
- Reuniones de trabajo o talleres: la presentacin de resultados puede ofrecer una

perspectiva metodolgica participativa, este tipo de presentacin de resultados es
ecaz cuando se requiere una dimensin altamente pedaggica.
48
- Informacin a travs de las TIC: las nuevas tecnologas son canales de gran
capacidad de difusin y de costo reducido que pueden servir para informar y
comunicar resultados.
6.4. Comunicacin
La comunicacin es transversal a todo el proceso evaluativo. El planteamiento de la comunicacin
en una evaluacin es especialmente importante. En este sentido se recomienda incluir un plan
de comunicacin que considere todas las demandas de informacin surgidas durante el proceso
de evaluacin.
Consideraciones que deben tenerse en cuenta para la elaboracin de un plan de

comunicacin:
Cul es el objetivo principal del plan de comunicacin? Qu alcance va a tener? Qu

informacin se va a transmitir y quines son los receptores de la informacin? Qu
soportes y canales se pueden utilizar? Qu vamos a comunicar en cada momento?
El plan de comunicacin estar orientado a difundir, de forma clara y ordenada, la informacin

ms relevante referente a la evaluacin. El mismo no solo incluye la comunicacin de resultados,
sino que enfatiza las informaciones que deban trasladarse durante las distintas etapas de la
evaluacin.
Es necesario delimitar el alcance del plan de comunicacin. Para ello debe atenderse a tres
tipos de comunicaciones diferenciales segn los destinatarios:
1. Comunicacin interna: se dan a conocer los objetivos y la motivacin de la evaluacin a

los participantes para promover su participacin.
2. Comunicacin externa: se dan a conocer los objetivos y la motivacin para la realizacin

de la evaluacin a los principales usuarios y beneciarios de la intervencin.
3. Relaciones institucionales: se dan a conocer los objetivos y la motivacin para la

realizacin de la evaluacin a otros sectores de la Administracin Pblica y a la opinin
pblica en general, a n de crear el reconocimiento y valoracin del trabajo realizado.
Es necesario denir claramente qu se quiere comunicar a los diversos pblicos objetivos del
proyecto, programa o poltica. Aunque algunos de los mensajes no se podrn establecer hasta
la obtencin de los resultados de la evaluacin, puede ser conveniente saber en qu momento
y cmo se van a comunicar los resultados. Sin duda, la comunicacin de estos mensajes estar
en relacin con quines sern los receptores de dicha informacin. En este sentido, hay que
identicar quines sern los receptores. En la evaluacin de polticas pblicas, se identicarn
los siguientes receptores de informacin claves: cargos polticos, planicadores, gestores,
destinatarios de la poltica, en el mbito nacional, provincial y/o municipal.
49
Seguidamente, segn quines sean los receptores claves de la informacin generada, se

denen y eligen cules sern los soportes y canales a utilizar. La planicacin de este aspecto
conlleva identicar los canales y mensajes necesarios con relacin al pblico objetivo de la
evaluacin. A continuacin, se incluye una breve referencia de posibles soportes y canales
para la informacin:
y Publicaciones: folletos, cartas, boletines de noticias, revistas, informes, etc.
y Seminarios o jornadas.
y Reuniones de trabajo o talleres.
y Informacin a travs de las TIC.
Otro aspecto central es planicar qu vamos a comunicar en cada momento. Basado en la

informacin analizada, debe establecerse un plan detallado para cada uno de los mensajes,
destinatarios y canales que se utilizarn en el plan de comunicacin. De forma general, se
deber elaborar un calendario con las actividades comunicativas a transmitir en cada una de
estas tres fases:
y Fase 1: Difusin inicial del propsito de evaluacin. Corresponde a la difusin inicial de la

evaluacin. Se da a conocer a los actores implicados el inicio del proceso de evaluacin
por medio de los procedimientos de comunicacin interna establecidos.
y Fase 2: Ejecucin y seguimiento de la evaluacin. Dirigida a la comunicacin de los

resultados intermedios y del estado de ejecucin de los trabajos. Se trata de un proceso
de comunicacin interna.
y Fase 3: Comunicacin de resultados y de las conclusiones de la evaluacin. Se trata de un

proceso de comunicacin interna y externa.
50
BIBLIOGRAFA
BIBLIOGRAFA
AEVAL (2010). Fundamentos de evaluacin de polticas pblicas. Madrid: AEVAL. En lnea.
Alkin, M. (ed.) (2004). Evaluation Roots: Tracing Theorists Views and Inuences. Thousand Oaks,
California: Sage.
Catalunia, Espaa, Institut Catala dAvaluaci de Poltiques Pbliques. (2009). Gua Prctica 5 Evaluacin
de Impacto, Coleccin Ivalua de guas prcticas sobre evaluacin de polticas pblicas. Recuperado
de www.observatorio.pt/download.php?id=567.
CEPAL (2004). Formulacin, Evaluacin y Monitoreo de Proyectos Sociales. Cohen, Ernesto y Martnez,
Rodrigo. Divisin de Desarrollo Social.
Colombia, Departamento Nacional de Planeamiento (2012). Gua Metodolgica SINERGIA. Gua para la
evaluacin de polticas pblicas. Recuperado de https://sinergia.dnp.gov.co/Sinergia/Archivos/
c40a73d3-baf9-4a26-8aad-81e3baa23bf5/Gu%C3%ADas%20Tipos%20de%20Evaluaci%C3%B3n.pdf
Davies P. (2004) Is Evidence-based Government Possible? (Es posible un gobierno basado en la

evidencia?) Presentacin de Jerry Lee, en el 4to. Coloquio Anual de Campbell Co-operation,
Washington DC.
Duo, E., Glennerster, R., and Kremer, M. (2007). Using Randomization in Development Economics
Research: A Toolkit. Handbook of Development Economics.
Garca Lpez, R. y Garca Moreno M. (2010). La gestin para resultados en el desarrollo: avances y
desafos en Amrica Latina y el Caribe. BID.
Gertler, P., Martinez, S., Premand, P., Rawlings, L. y Vermeersch, C. (2011). La evaluacin de impacto en la
prctica. World Bank
Imbens, G.and Lemieux, T. (2008). Regression Discontinuity Designs: A Guide to Practice. Journal of
Econometrics.
Imbens, G., and Wooldridge, J. (2009). Recent Developments in the Econometrics of Program
Evaluation. Journal of Economic Literature.
Nirenberg, O.; Brawerman, J. y Ruiz, V. (2000). Evaluar para la Transformacin: innovaciones en la

evaluacin de programas y proyectos sociales. Vol. 8. Buenos Aires: Editorial Paids.
OCDE (Organizacin para la Cooperacin y el Desarrollo Econmicos) (2002). Glosario de trminos sobre
evaluacin y gestin de la Organizacin para la Cooperacin y el Desarrollo Econmicos. Pars: OCDE.
Real Academia de la Lengua (1992). Diccionario de la Lengua Espaola, 21a. edicin, Madrid: Espasa
Calpe, S.A.
Sistema Nacional de Evaluacin -SINE- Costa Rica (2012). Manual Gerencial para el Diseo y Ejecucin de
Evaluaciones Estratgicas de Gobierno. Sistema Nacional de Evaluacin- SINE - Costa Rica Ministerio
de Planicacin Nacional y Poltica Econmica- rea de Evaluacin y Seguimiento: Costa Rica.
Tamayo Saez, M. (1997). El Anlisis de las Polticas Pblicas. En Ban R. y Carrillo E. (comps). La Nueva
Administracin Pblica. Madrid: Alianza Universidad Textos.
Walkup, D. W. (1979). On the expected value of a random assignment problem. SIAM Journal on Computing.
52
Equipo de elaboracin del Manual
Unidad Ejecutora: Programa de Evaluacin de Polticas Pblicas
Subsecretara de Gestin y Empleo Pblico
Subsecretara de Evaluacin del Presupuesto Nacional
Subsecretara de Evaluacin de Proyectos con Financiamiento Externo
Equipo tcnico por Comunicacin INAP

Correccin: Patricia Iacovone
Diseo de tapa: Roxana Pierri
Diseo y diagramacin: Roxana Pierri, Andrs Bermejo Fernndez
Jefatura de Ministerio
Gabinete de Ministros de Modernizacin

Modernizacion Gestion Por Resultados Manual Base para La Evaluacion de Politicas Publicas 2016

Caricato da

Informazioni sul documento

Titolo originale

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

Modernizacion Gestion Por Resultados Manual Base para La Evaluacion de Politicas Publicas 2016

Caricato da

Copyright:

Formati disponibili

Programa de Evaluacin de Polticas Pblicas

Publicacin de distribucin gratuita

CAPTULO 1. CONCEPTO DE EVALUACIN 10

CAPTULO 2. FUNDAMENTOS DE LA EVALUACIN. PARA QU EVALUAR? 18

CAPTULO 4. TIPOS DE EVALUACIN 26

CAPTULO 6. ETAPAS DE LA EVALUACIN 42

La publicacin fue realizada en el mbito del Programa de Evaluacin de Polticas Pblicas,

Las polticas pblicas de un gobierno permiten transformar la realidad de una sociedad, y

La evaluacin permite conocer los resultados de las intervenciones realizadas y promover

Adems, la introduccin de nuevas tecnologas y formas de gestionar estn produciendo una

En este Manual se plasman deniciones bsicas para establecer consensos marco en la

Su estructuracin est compuesta por seis captulos. El primer captulo establece qu

Esperamos que este manual contribuya a la formulacin de evaluaciones en el Estado argentino.

Agradecemos especialmente el compromiso y la disposicin de las reas de evaluacin del

CAPTULO 1. CONCEPTO DE EVALUACIN

Ilustracin N. 1. Tradiciones en evaluacin

USO MTODO VALOR

La OCDE (2002: 21), en el glosario de trminos, seala que la evaluacin es la apreciacin

la evaluacin es una actividad programada que emite juicios valorativos, fundamentados

y Consideracin de la evaluacin como proceso institucional y actividad programada, no

y La evaluacin se propone mejorar las intervenciones pblicas, y no al control, ni la

y Aplicacin de la evaluacin a todas las fases del ciclo de la intervencin pblica.

y nfasis en el entendimiento integral de las intervenciones: resultados, impactos, sin

y Indispensable no eludir el juicio de valor fundamentado. El carcter distintivo de la

y Consideracin metodolgica y procedimental como presente a lo largo de todo el ciclo de

y Combinar tcnicas cualitativas y cuantitativas, en lo posible, triangulando los resultados.

y Incluir comparaciones respecto de parmetros denidos: Los juicios valorativos se

y Debe contener siempre recomendaciones para acciones futuras para la mejora de la

y Comunicables y entendibles para los actores signicativos y las audiencias identicadas,

y Finalidad ltima: es la mejora de la calidad de vida de la poblacin a travs del

La evaluacin no se entiende tan solo como la ltima etapa del proceso

El proceso y los resultados de la evaluacin deben ser tiles tanto para

La evaluacin debe vincular los aspectos de las polticas pblicas con la

Debe garantizarse la transparencia del proceso de evaluacin,

La evaluacin de las polticas pblicas tiene la nalidad de proporcionar

Debe procurarse establecer los mecanismos de participacin necesarios

1.1. Objetivos de la evaluacin

En trminos generales, se pueden distinguir dos objetivos de las evaluaciones:

2. Rendicin de cuentas: Las evaluaciones permiten estimar la medida en que una

1.1.a. Evaluacin como concepto distinto de la auditora, el control y la investigacin

Control Auditora Inspeccin Evaluacin

El control consiste en La auditora La inspeccin La evaluacin busca

Fuente: elaboracin propia

A menudo, tambin suele existir una confusin entre evaluacin e investigacin.

Aspectos distintivos entre evaluacin e investigacin:

y Sus propsitos: la mayor distincin se produce en el punto de las recomendaciones

y Los plazos de tiempo, la devolucin de informacin y la utilizacin de los resultados

Aspectos comunes entre evaluacin e investigacin:

y Comparten mtodos y la preocupacin por el rigor y la conabilidad de sus

1.2. La evaluacin en el ciclo de las polticas pblicas

Grco N. 1. Ciclo de las polticas pblicas. Principales fases

Fuente: elaboracin propia

1.2.a. Planicacin, monitoreo y evaluacin

de cultura poltico-administrativa que pretende potenciar el saber en las organizaciones para

Si en la planicacin/programacin no se formularon con precisin los objetivos y las metas

El sistema de monitoreo es un instrumento que acompaa a la gestin para la toma de decisiones

La diferencia fundamental entre el monitoreo y la evaluacin radica en que el monitoreo

Los procesos de monitoreo y evaluacin son complementarios entre s, ya que el monitoreo

CAPTULO 2. FUNDAMENTOS DE LA EVALUACIN. PARA QU EVALUAR?

2.1. La toma de decisiones, retroalimentacin y mejora continua de las

y Contribuir al aprendizaje de la organizacin: por ejemplo, introducir alternativas y

y Cumplir un requisito normativo: cumplir con la normativa que regula la intervencin

Se seala que las funciones de la evaluacin son: