Diseo conceptual y metodolgico, capacitacin y transferencia Coordinacin general Irene Novacovsky (Coordinadora del SIEMPRO) Patricio Chaves (Consultor internacional de UNESCO) Investigadores participantes Claudia Sobrn Pablo Pucciarelli Andrea MOl"agues Mirta Botzman Santiago H ynes Colaboracin Mariano Martnez de Ibarreta Carlos Lpez Iglesias Mara Saguier Correccin y edicin de originales Silvina Hirschborn Nlida Ugrin Mara L. Bannon Diseo y procesamiento didctico Diseo didctico Nora Blaiste in Frida Goldenstein Procesamiento didctico Frida Golde nstein Graciela Bohoslavsky Discusin y transferencia terico-metodolgica Brian Tbompson Francisco Guzmn (Oficina de Evaluacin BID [EVO] Washington) Coordinacin de edicin Claudia A. Hartfiel Correccin final Lucila Gala y .. ( ~ t n d SI El Soc Gestin Integral de Programas Sociales Orientada a Resultados Manual Metodolgico para la Planificacin y Evaluacin de Programas Sociales SIEMPRO Sistema de Informacin, Monitoreo y Evaluacin de Programas Sociales, Banco Mundial, Secretara de Desarrollo Social , UNESCO Organizacin de las Naciones Unidas para la Educacin, la Ciencia y la Cultura '309 ,
Primera edicin: abril de 1999 Gestin Integral de Programas Sociales Orientada a Resultados es una coedicin del Fondo de Cultura Econmica y de la Secretara de Desarrollo Social de la Nacin SIEMPRO Av. 9 de Julio 1925 13 0 . 1332 Buenos Aires Te: (54 11) 4383-2079 E-mail: siempro@datamarkets.com.ar http://www.siempro.org.ar UNESCO Callao 1134 10 . 1023 Buenos Aires Te: (54 11) 4813-4622 7. Place de Fontenoy . 75352 Paris 07 SP Te: (33) (1) 45 68 1000 E-mail: cfd@unesco.org http://www.unesco.org 1999 Fondo de Cultura Econmica de Argentina S.A. El Salvador 5665 . 1414 Buenos Aires Av. Pi cacho Ajusco 227 . 14200 Mxico DF ISBN: 950-557-3 19-7 "', Impreso en Brasil ' Hecho el depsito que marca 1; Ley -11. 72j ndil Prese Acere Orien Mdu I ntroc
en el ! El ide
Ml Mo M ei M MM Intro
Aspe de la Intro La Or La de: aJ ndice q x. Presentacin Acerca de la Metodologa de Gestin Integral de Programas Sociales Orientada a Resultados Mdulo 1: Planificacin de Programas Sociales Introduccin Unidad 1 La metodologa de la plan ificacin de programas sociales en el marco de la Gestin Integral Orientada a Resultados El punto de partida para la planificacin de los programas sociales: identificacin y delimitacin del problema sOCIal que da origen al programa Gua para la identificacin y seleccin del problema social Unidad 2 7 9 17 19 19 20 Los momentos metodolgicos de la planifi cacin de programas sociales 23 Momento metodolgico 1: Descripcin del problema social 23 Procedimiento metodolgico para la descripcin del problema 24 Momento metodolgico 2: La explicacin del problema 29 Procedimiento metodolgico para la explicacin del problema social 29 Momento metodolgico 3: Construccin de la visin del programa social 35 Procedimiento metodolgico para la construccin de la visin del programa 36 Momento metodolgico 4: Identificacin de los componentes del programa social 38 Procedimiento metodolgico para la identificacin de componentes del programa social 38 Momento metodolgico 5: Diseo de las actividades del programa social e identificacin de las instancias responsables de su ejecucin . 41 Procedimiento metodolgico para el diseo de las actividades del programa social e identificacin de las instancias responsables de su ejecucin 41 Momento metodolgico 6 Formulacin del programa social 45 Procedimiento metodolgico para la formulacin del programa social 45 Mdulo 2: Evaluacin de Programas Sociales Introduccin 51 Unidad 3 Aspectos conceptuales y metodolgicos de la evaluacin en el marco de la Gestin Integral Orientada a Resultados Introduccin a la evaluacin de programas sociales La evaluacin en el marco de la Gestin Integral de Programas Sociales Orientada a Resultados Qu es la evaluacin de programas sociales? En qu consiste la evaluacin de un programa social? Para qu se evala un programa social? Cundo se realiza la evaluacin de un programa social? Quin realiza la evaluacin de los programas sociales? La evaluacin en las fases de planificacin, ejecucin y final izacin del desarrollo del programa social Evaluacin de la planificacin del programa Evaluacin de la ejecucin del programa Evaluacin de la finalizacin del programa 53 53 55 55 55 56 56 57 59 59 60 61 ndice I 5 I ral de Programas Sociales Los momentos metodolgicos para el desarrollo de las evaluaciones de programas sociales El diseo de la evaluacin Consideraciones genera les Pasos metodolgicos para el diseo de la evaluacin de programas sociales Unidad 4 Los i nstrumentos para la eval uacin de programas sociales La evaluacin ex-ante Caractersticas y finalidades Tipos de viabilidad para el trabajo con la evaluacin ex-ante Procedimiento sugerido para el trabajo con la evaluacin ex-ante El monitoreo Caractersticas y finalidades Procedimiento sugerido para el diseo del monitoreo La evaluacin diagnstica Caractersticas y finalidades Procedimiento sugerido para el trabajo con la evaluacin diagnstica La evaluacin desde la perspectiva de los beneficiarios Caractersticas y finalidades Procedimiento sugerido para el trabajo con la evaluacin desde la perspectiva de los beneficiarios Elementos metodolgicos a considerar en el diseo de una evaluacin desde la perspectiva de los beneficiarios La evaluacin de resultados Caractersticas y finalidades Procedimiento sugerido para el trabajo con la evaluacin de resultados La evaluacin de impacto Caractersticas y finalidades Modelos metodolgicos aplicables a la evaluacin de impacto Criterios metodolgicos Procedimiento sugerido para el trabajo con la evaluacin de impacto Anexo 1 Metodologas para la construccin de muestras Anexo 2 Tcnicas cualitativas de recoleccin de informacin Anexo 3 Trminos de referencia Anexo 4 Ejemplo de programa social para el trabajo de taller Bibliografa Glosario 63 64 64 65 73 74 74 74 75 87 87 87 93 93 95 97 97 99 100 101 101 102 106 106 108 llO III ll5 ll9 121 129 135 139 Pr lo nu da ope luc ne las la eql de soc" des rJr()g 63 64 64 65 73 74 74 74 75 87 87 87 93 93 95 97 97 99 100 101 101 102 106 106 108 110 111 115 119 121 129 135 139 Presentacin 7 I Presentacin Entre otras reformas, el Estado ti ene pendiente la construcci n de un nuevo mode- lo de poltica social , que acompae al modelo econmico. Su objetivo sera lograr una nueva institucionalidad pblica , donde lo social sea constituti vo de l Estado, lo que le da sentido, y cuyo objetivo central sea la equidad, la integracin social , la igualdad de oportunidades y la supe rac in de la pobreza y la vu lnerabilidad social. La nueva inst i- tucionalidad pblica remite al crecimiento de poder de la autoridad social , a la que po- ne en un pie de igualdad con la autoridad econmica para pode r conducir y generar las condiciones del fortalecimiento de los sectores m{ls fr{lgil es de la sociedad, facilitar la expresi n de sus demandas y producir los meca nismos para una di stribucin m{ls equ itativa de la riqueza. En este sentido, los procesos de democratizacin de la gestin del Estado requi eren de la const ruccin de capacidad institucional en lo social para fortalecer a la autoridad social. Las instituciones deben ser capaces de interpretar y dar respuesta a las necesida- des de la sociedad, con responsabilidad por las acciones que desa rrollan; ser efi cientes y eficaces en la asignacin y manejo de los recursos; y esta r di spuestas a rendir cuentas de los resu ltados de sus acciones. En este marco, la Gestin Pblica Orientada a Resultados signifi ca un ca mbi o sustan- tivo en la concepcin de l funcionamiento del Estado; los resultados se miden de acuer- do con las demandas satisfechas y los problemas resueltos. En el campo de las polticas sociales estos resultados remiten al logro ele equidad, la integracin social y la supera- cin de la pobreza y la vulnerabi lidad social. La Gesti n Pbli ca Orientada a Resultados significa un ca mbi o en la concepcin, es- trategias y metodologas de planificacin y evaluacin de polticas y programas socia- les: si los programas social es ti e nen como objetivo solucionar y transformar, con efici en- cia y calidad , los problemas especficos de la poblacin, e ntonces, la Gestin Orientada a Resultados debe ser e l proceso integral que permita planificar, viabilizar, concretar y evaluar los resultados que superen o ali vie n, efectivamente, di chos problemas. La Gestin Pbli ca Orientada a Resultados significa fortalecer la funcin de la eva- luacin en e l Estado, reconociendo la centralidad, la autonoma y la especificidad de la eva luacin de lo social: superando las concepciones tradi cional es de evaluacin origi- nadas en las metodologas de costo-beneficio y en la lgi ca de reducci n del gasto so- cial y del ajuste presupuestario, y asumiendo que las evaluaciones en el rea social, en cambio, parten de valorar en qu medida los programas sociales potencian a sus bene- fi ciarios mediante la generacin o formacin de Glpacidades que quedan incorporadas en el capital humano y social. La Gestin P(blica Orientada l Resultados significa instalar la evaluacin y el moni - toreo en la accin misma de los programas, para constituirse en un proceso de apren- dizaje que permita mejorar su gestin y resultados, y conve rtirse en un elemento de re- flexin y ca pacitacin, que fomente la cultura y rutinas de autoevaluacin y, por otro lado, que instale como e lemento constitutivo de la evaluacin la perspectiva de los be- nefi ciarios; es decir, desde donde e s t ~ l la gente y con la gente . En estos aos de refl exin y trabaj o constante hemos avanzado en el desa rrollo y aplicacin de metodologas y herrami entas de planificacin y evaluacin de polticas y programas social es, conscientes de la complejidad de adecuar instrumentos (ril es para una prctica tan especial como son los programas sociales insertos en la institucionali- dad pblica. Este manual es el producto de un largo proceso de diseo, prueba y retroalimenta- cin realizado por la Gerencia de Evaluacin del SlEMPHO. las Unidades Ejecutoras pro- vinciales, el Consultor de la Unidad de Ciencias Sociales de la UNESCO, y su produccim se ha realizado con el invalorable aporte de los tcnicos y funcionarios de los Programas Socia les nacionales y provinciales a travs de la capacitacin en doce talleres realizados en todas las regiones y para todas las provincias del pas. Constituye una herramienta abierta que se completa con las contribuciones de todos aquellos que desde la poltica, la planificacin y la gestin tratan de dar respuesta a los desafos de la construccin de una nueva instirucionalidad pblica en lo social. Es nuestra intencin que este material suscite en sus lectores comentarios y colaboraciones para futuras versiones. Este trabajo est enmarcado en el programa de cooperacin entre el Sector de Cien- cias Sociales y Humanas de la UNESCO y el programa Sistema de Tnformacim, Evalua- cin y Monitoreo de Programas Sociales -SIEMPRO- de la Secretara de Desarrollo So- cial de la Repblica Argentina, con financiamiento del Banco Mundial. El STEMPRO es el instrumento de la Secretara de Desarrollo Social para emprender un verdadero cambio en la gestin de las polticas sociales. Sus acciones estn dirigidas a favorecer la coordinacin de los programas sociales; asegurar la disponibilidad de la informacin necesaria sobre la poblacin en situacin de pobreza y vulnerahilidad so- cial, y la ejecucin de los programas sociales dirigidos a atenderla: fortalecer a la Secre- tara de Desarrollo Socia l y a las reas sociales nacionales y provinciales en el desarro- llo e instalacin de sistemas de monitoreo y en la realizacin de evaluaciones; difundir y transferir metodologas y sistemas de informacin a las agencias nacionales y provin- ciales; capacitar a los recursos humanos del Estado en Poltica y Gerencia Social fomen- tando la relacin entre niversidadcs, centros de estudios e investigacin y organismos del Estado para vincular el sector acadmico al desarrollo de polticas sociales; construir un {lmbito de an{t!isis de los nuevos prohlemas sociales, as como los programas y po- lticas para su abordaje. La UNESCO, en su mandato como agencia de cooperacin intelectual del sistema de Naciones Unidas, se ha fijado como prioridad proporcionar asistencia tcnica para la evaluacin de polticas que enfrenten los prohlemas del desarrollo social y de la pohre- za . Su objetivo es fomentar y reforzar las iniciativas nacionales, de manera que se con- soliden actividades y se obtengan resultados efectivos que den pertinencia a las decisio- nes polticas. El esfuerzo emprendido por la Secretara de Desarrollo Social de la Argentina y la UNESCO cumple en forma cabal con estos objetivos. Se trata no slo de una iniciativa nacional acertada, sino eJe un compromiso autntico eJe responsahilidad democrtica que, de manera rigurosa, permite progresar en el cumplimiento de las metas eJe equi- dad e integracin social. Esta experiencia constituye un ejemplo exitoso de cooperacin que la LJNESCO y la Secretara de Desarrollo Social eJe la Repbl ica Argentina pondrn en conocimiento de los Estados Miembros de esta agencia de las Naciones Un idas y promover{lI1 como un modelo participativo que refuerza las capacidades nacionales e incrementa el capital so- cial necesario para un desarrollo humano y sostenible. Francine Fourni er Asistente del Director General Sector Ciencias Humanas y Sociales UNESCO Irene Novacovsky Coordinadora del SIEMPRO Ac de Soci prog 1< ga ~ 1. les E delo c( lo vi c( el fa e\ C< la. gr c( la a l ac ga 2. Es a u el vi :3. Q En forma vida. ra orel<:nar, sistematizar y rrocesar los datos oht<:nielos en la inv<:stigacin y definiendo, asimismo. el nivel dl' agregacin ele la informacin. proceso de planificacin de un programa social: imrlica toelo el proceso <:n el cual el <:<.juipo de gestin identifica y delimita el rrobil'ma que da orig<:n al rrograma social, concr<:la los factores l'srecficos del rrohlema sohrl' los cuail's quiere illlervenir y operativi za una propuesta de intervencin que enfrellle dichos factores. pobl acin beneficiaria: es el conjunto ele personas que han sido seleccionadas. a travs ele los meca- nismos y los criterios ele focalizacin. para recihir dirl'ctam<:lll<: los hienl's y Sl'rvicios que prestar el socia 1. prestacin: es d hien o sen' icio (producto) que una actilidad en el marco de la ejecuci{)n del programa y que <:s directamente elllregado a LI poblacin hendiciaria. presupuesto total del programa social: es la previsi6n final. despus ele realizada la <:val uacin ex-allle, dd costo que tiene la ejl'cucim de la totalidael dd mislllo. Se calcula mediante la suma de los costos de cada uno de los componentes del programa. problema social: es una hrecha entre d ser y el debl'r ser dl' la realidad. qu<: un actor soci al idelllifica con la intenci{m de transformarla. Es un enunciado que <:xpresa la insatisfaccin de un actor con res- pecto a su realidad social y la intenciCm d<: camhiar esa realidad con la que se encuelllra insatisfecho. productos: son los hienes o servicios que gen<:ra una ac1iviclacl <:Il el marco ele la CJecucim de un pro-
programa social: es el conjunto coh<:n.:nte eil' acciones destinadas a transformar una situacin inicial )' mejorar las condiciones sociail's de I ' ida d<: una pohlaci{)n clet<:rminada. recursos: son lo,,, insulllos que se requier<:n para gl'nerar una Ixcstaci {m o producto. Los r<:cllrsos hu- manos s<: calculan por unidad ele y los recur;,o;, matuialcs se calculan por unidael de lllatL'rial. relevamiento de la informacin: es d mOIlll'1ll0 metodolgico en el cual. a partir elel disuio ele la ela- IU;lcin, se proced<: la rl'coll'l'cilll de la infoI'llLlci(lIl. l':,,, dccir que el evaluaelor. elirectam<:nte o a tra- l'l'S de tcnica,s prl'par:ldas IXlr;1 el efecto, acude a la fu<:nte de informaci{lIl en donde los da- tos ml'dianle vi ml'lOclo () instrumento retroalimentar la gestin del programa social: l'S propmcionar inforJllacin para Jlloclilkar o rl,climensio- nar lo I lo trabajo de campo: c." 1:1 recok'cci(m cI<:' informacim en l'l terreno. Sl' dehe pr<:I 'er quin<:s r<:cogcr{ln la infomlaci(m en el t<:'ITl'no. cCJnlO sern capaciladas <:sas 1)L'IVlIlaS y c(mo ser:1 ti distrihuci(lIl )' la su- pLTli,,,i()n del trahajo. universo de estudio: es d conjunto total cle una poblacin a :-'<:1' anali/ada y pu<:'cl <: estar referielo al hito institucional en sus dikrent<:'s nil<:'les jurisdiccionale,s. a los ek'ctor<:s del programa. ;1 los :lClore" sociales im olucrado,,, l ' a pohlaci(lI1 hendiciaria. <:n la totalidad de las :Ireas de int<:I'\'UlCin o s(Jlo en algunas ele elLls. valoracin y toma de decisiones: l'S el !llomento m<:'loclo]()gico central qu<: permit<:' que la in\'estigaci)ll el',]uatil'a alimente la g<:stin del prog-aJlla El eCJuipo de el 'aluacilll construy<: juicios de valor putinent<::-, \' nl'c<:sarios para alilll<:'ntar toma ele elecisiolll'S que se dirijan ;1 lllejorar la planilkaci())l y/ o la <:jecuci(ll1 cid programa social en cuestiClll. visin: <:s la imag<:ll o el esc<:'nario futuro d<: la social que el <:CJuipo ek gl'stin o la institucin ejecutora qui<:re construir con d programa una vez que el social que lo origina :-,e transfor- me. La I'isin se construye clefiniendo ell qu' forma l' en qu medida camhiar{1ll lo,,, indicaelor<:s y los 1:IClores crticos dd prohlellla una Iel. cu<: se Ila\'a <:jecutado el programa. > 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 ~ 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 ~ - 3 9 O 5 O 7 12 2 8 9 E - , Este lIbro se teolllll de llllpnmir y ellcllddemar en el mes de abril de 1999 en los talleres grficos de Companhia Melhoramentos de Sao Palllo, Rua Tito 479, Sao Paulo, Brasil Se tiraron 5.000 ejemplares.