Documentos de Discusin en Ciencias Sociales CEACS - DD.005.

1 Septiembre de 2005

NUEVAS METODOLOGAS DE FORMULACIN DE INDICADORES DE SEGUIMIENTO Y EVALUACIN: ELCASO DEL PROGRAMA DE MEJORAMIENTO INTEGRAL DE BARRIOS EN BOGOT Rodrguez N, Oscar

Documento
CEACS-DD.005.1

Ttulo
NUEVAS METODOLOGAS DE FORMULACIN DE INDICADORES DE SEGUIMIENTO Y EVALUACIN. EL CASO DEL PROGRAMA DE MEJORAMIENTO INTEGRAL DE BARRIOS EN BOGOT.

Autor(es)
Oscar Rodrguez Nieto

Fecha
Septiembre 30 de 2005

Temas Relacionados
Metodologas de Investigacin, Evaluacin de programas y proyectos, Sistemas de Seguimiento.

CEACS
CENTRO DE ESTUDIOS Y ASESORAS EN CIENCIAS SOCIALES
Septiembre de 2005

Resumen
El Sistema de Informacin del Programa de Mejoramiento Integral de Barrios (SIPMIB) desarrollado por Econometra S.A. con la participacin de CEACS incorpora un conjunto articulado de indicadores que permite hacer el seguimiento a la operacin del programa, mejorar la coordinacin interinstitucional e identificar los cambios en las condiciones de vida en los barrios en los cuales acta. Este documento presenta la metodologa utilizada para la formulacin de los indicadores, la cual combina dos tcnicas novedosas de formulacin de indicadores: El mtodo de Balanced Score Card o Cuadro de Mando Integral, que permite formular indicadores de acuerdo a un enfoque de gestin estratgica, y La tcnica de consulta llamada Talleres Delphos que permite tener en cuenta de una manera sistemtica y cuantitativa, la opinin de los agentes involucrados en el programa para incorporar un componente participativo en el seguimiento del Programa

INFORMACIN DE CONTACTO: Avenida 22 # 41-28 (402), La Soledad, Bogot DC Telfono: 2323253 Fax: 5701854 Sitio Web: www.ceacs.org Correo electrnico: info@ceacs.org

Documentos de Discusin en Ciencias Sociales CEACS - DD.005.1 Septiembre de 2005

NUEVAS METODOLOGAS DE FORMULACIN DE INDICADORES DE SEGUIMIENTO Y EVALUACIN: ELCASO DEL PROGRAMA DE MEJORAMIENTO INTEGRAL DE BARRIOS EN BOGOT Rodrguez N, Oscar

NUEVAS METODOLOGAS DE FORMULACIN DE INDICADORES DE SEGUIMIENTO Y EVALUACIN.

El caso del Programa de Mejoramiento Integral de Barrios en Bogot Por Oscar Rodrguez Nieto

Antecedentes

El desarrollo de programas sociales, que implementan polticas pblicas, fue evolucionando a finales del siglo XX desde un esquema tradicional en el cual el formulador/ejecutor intercambia informacin con la comunidad para desarrollar el programa, hacia un esquema en el cual la comunidad participa en la mayora de las etapas del ciclo del programa. En el enfoque tradicional, el formulador o ejecutor de polticas observa las necesidades de la comunidad objeto del programa, disea las estrategias que considera ms adecuadas, las pone en prctica, les hace seguimiento y finalmente las evala para determinar las causas de las fallas y de los aciertos de manera que las buenas prcticas puedan ser incorporadas en otros programas posteriores. En los programas sociales con participacin comunitaria, la interaccin entre la comunidad y el formulador/ejecutor pueden darse en todas las etapas del ciclo del programa, se inicia con un diagnstico participativo de las necesidades del cual se deriva una formulacin conjunta de los objetivos y estrategias. La financiacin de los recursos necesarios para llevar a cabo el programa y la operacin misma pueden incorporar una contraparte aportada por la comunidad, representada frecuentemente en mano de obra, materiales y activos comunes. El seguimiento y la evaluacin tambin puede hacerse en conjunto con la poblacin beneficiaria y por lo tanto las lecciones aprendidas no quedan slo en manos del ejecutor sino

que se convierte en un valioso activo de las comunidades, para el desarrollo posterior de nuevos programas.

En el caso del Programa de Mejoramiento Integral de Barrios (PMIB) de Bogot se ha presentado una transformacin de la forma de operar que parte de un enfoque tradicional y busca llegar a un enfoque ms participativo y autogestionado. En cualquiera de los dos casos, es importante tener en cuenta que la informacin requerida para el seguimiento debe ser consistente con las estrategias

Documentos de Discusin en Ciencias Sociales CEACS - DD.005.1 Septiembre de 2005

NUEVAS METODOLOGAS DE FORMULACIN DE INDICADORES DE SEGUIMIENTO Y EVALUACIN: ELCASO DEL PROGRAMA DE MEJORAMIENTO INTEGRAL DE BARRIOS EN BOGOT Rodrguez N, Oscar

formuladas dentro del diseo e implementacin del programa, as como la informacin requerida para realizar la evaluacin del impacto del programa debe ser consecuente con la identificacin de las necesidades y los aspectos sobre los cuales el programa pretende influir.

Programa, y alrededor de ella los temas u objetivos estratgicos generales asociados. Cada objetivo estratgico debe tener un conjunto de acciones previstas para lograr que dicho objetivo se cumpla. A estas acciones se les denomina estrategias. El segundo paso, es conformar el mapa estratgico que es un diagrama que organiza dichas estrategias o acciones estratgicas agrupndolas con respecto a los temas y objetivos escogidos, y con respecto a diferentes perspectivas o puntos de vista que resulten relevantes3. El mapa estratgico interpreta las estrategias como hiptesis estratgicas, es decir, como acciones que hipotticamente podran llevar al programa a una situacin deseable. Adicionalmente en el mapa estratgico se establecen relaciones de causaefecto entre las hiptesis estratgicas. Una vez conformado el mapa estratgico se puede conformar el Cuadro de Mando Integral el cual sirve para definir los indicadores que medirn el avance o desempeo en cada una de las acciones estratgicas definidas en el mapa.

Utilizacin del Cuadro de Mando Integral

Esta metodologa tuvo sus inicios a principios del siglo 20 como una forma de organizar e interrelacionar indicadores financieros, en un proceso liderado por la empresa Dupond. Fue desarrollada, en su versin contempornea, en los 90s por Robert Kaplan y el Nolan Norton Institute2, quienes la transformaron para ampliar su espectro a otros aspectos de la organizacin y la postularon como una herramienta gerencial de gestin orientada por objetivos estratgicos de largo plazo, para monitorear y controlar la gestin actual y para medir integralmente los resultados obtenidos. El primer paso, es llevar a cabo un conjunto de definiciones que permitan estructurar claramente la misin y la visin de la organizacin, en este caso el

Formular indicadores a partir de un enfoque de gestin estratgica permite: Traducir las estrategias a trminos operativos Alinear a todos los participantes con la estrategia. Hacer que la estrategia se incorpore en las actividades diarias. Hacer de la estrategia un proceso continuo. Facilitar la toma de decisiones a nivel directivo.

Aunque la metodologa de Cuadro de Mando Integral se cre como una herramienta orientada hacia los negocios privados, tambin se ha convertido en una herramienta obligatoria de gestin pblica en muchos

3 2

Kaplan, R & Norton D (2000) Cuadro de Mando Integral (The Balanced Scorecard) 2nd Ed. Gestin 2000. Espaa.

En las organizaciones privadas generalmente consideran en su BSC cuatro perspectivas: la del aprendizaje, la de los procesos internos, la del cliente y la financiera

Documentos de Discusin en Ciencias Sociales CEACS - DD.005.1 Septiembre de 2005

NUEVAS METODOLOGAS DE FORMULACIN DE INDICADORES DE SEGUIMIENTO Y EVALUACIN: ELCASO DEL PROGRAMA DE MEJORAMIENTO INTEGRAL DE BARRIOS EN BOGOT Rodrguez N, Oscar

pases4 y en Colombia varias entidades del sector pblico ya lo estn utilizando5. Para su aplicacin en entidades del Estado, Arveson6 recomienda que el diseo e implementacin del BSC en una organizacin pblica se enfoque hacia el mejoramiento de sus actividades misionales (clientes) y a la vez, a la optimizacin de sus procesos genricos, que se refieren a labores administrativas y rutinarias que aaden altos costos de personal y aparentemente no agregan valor a las misionales. Por lo general las actividades misionales son nicas y distintivas de cada organizacin, por tanto los indicadores de evaluacin y seguimiento no son estandarizados. Misin En el caso especfico del PMIB en Bogot, la misin del programa se origina en el Plan de Ordenamiento Territorial de la Cuidad, el cual indica que ste programa debe
Orientar las acciones de complementacin, reordenamiento o adecuacin requeridas tanto en el espacio urbano como en las unidades de vivienda que conforman los asentamientos de origen ilegal ubicados en la periferia de la ciudad. Lo anterior, para corregir las deficiencias fsicas, ambientales y legales generadas por su origen fuera de las normas urbanas y permitir que sus habitantes accedan a la calidad de vida urbana definida para el conjunto de la ciudad.

Este concepto se ampla con el Plan de Desarrollo de la ciudad, en donde se enfatiza en que la accin de la Administracin Distrital debe impulsar el uso y disfrute sostenible del territorio, cuando dice:
Favorecer el desarrollo humano, en el entorno ms inmediato de las personas, que le permita a la comunidad la construccin, el uso y el disfrute sostenible de su territorio. Promover acciones de prevencin y control de riesgos y de desarrollo ilegal, de mejoramiento integral de barrios, de renovacin urbana con especial atencin en el centro histrico y la proteccin del patrimonio cultural. Se mejorarn las condiciones de servicios pblicos, sociales y 7 recreativos, de accesibilidad, y de espacio pblico. .

Obviamente el planteamiento del Plan de desarrollo no es especfico para las UPZs de mejoramiento sino para toda la ciudad, pero el concepto debe ser aplicable al PMIB al menos en las partes subrayadas. Adicionalmente, una fuente de recursos muy importante para el Programa es el emprstito del Banco Mundial para el Programa de Servicios Urbanos (PSUB) el cual es descrito por el Manual de Operaciones del Prstamo de la siguiente forma:
Con su implantacin se lograr desarrollar la participacin comunitaria en el mejoramiento integral de barrios, la expansin del sistema Transmilenio y el mejoramiento de su sistema complementario, la consolidacin de la red de transporte no motorizado, el fortalecimiento de la gestin de trfico, de control y mejoramiento del medio ambiente, el diseo y aplicacin de una poltica de vivienda, de reasentamiento, de desarrollo regional, de optimizacin tributaria y el fortalecimiento de la funcin planeadora del sector servicios urbanos.

En Estados Unidos, una de las principales iniciativas del Gobierno Clinton fue la National Partnership for Reinventing Government que impulso la medicin del desempeo de las entidades pblicas centrndose en el cliente, lo cual llev a muchas instituciones a utilizar el BSC para sus sistemas de monitoreo y seguimiento. 5 Como ejemplo ver la Contralora General de la Repblica en http://www.contraloriagen.gov.co/html/informacion_instituci onal/con_institucional_plan_estrategico_seguimiento.htm 6 Arveson Paul, Improving Government Business Processes, The Balanced Scorecard Institution: http://www.balancedscorecard.org/appl/improving.html

El objetivo del PSUB relacionado con el Mejoramiento integral de barrios es

Elevar la calidad de vida de familias de estratos 1 y 2 por medio de mejoras en el acceso, la cobertura y la calidad de los servicios de agua y saneamiento,

Plan de Desarrollo, Bogot sin Indiferencia Eje Urbano Art 14 inciso 1. Hbitat desde los Barrios y las UPZ. El subrayado es nuestro

Documentos de Discusin en Ciencias Sociales CEACS - DD.005.1 Septiembre de 2005

NUEVAS METODOLOGAS DE FORMULACIN DE INDICADORES DE SEGUIMIENTO Y EVALUACIN: ELCASO DEL PROGRAMA DE MEJORAMIENTO INTEGRAL DE BARRIOS EN BOGOT Rodrguez N, Oscar

transporte, vivienda, espacio pblico, condiciones 8 ambientales y otros servicios complementarios

Finalmente, el Objetivo General del Programa se ha definido como

Desarrollar procesos de mejoramiento integral y consolidacin del territorio, mediante la articulacin e integracin de los beneficios que otorga la ciudad a la poblacin residente en asentamientos de origen ilegal ubicada en la periferia, mejorando las condiciones fsicas de su entorno, la interaccin social e institucional, para hacerlos ms habitables, sostenibles 9 y competitivos .

Desarrollo social y participacin: corresponde al componente social cuyo objetivo es contribuir a la generacin de capital social en las UPZ de intervencin; as como a fomentar la sostenibilidad de los procesos impulsados por el PMIB, mediante acciones relacionadas con la gestin social integradas al desarrollo del componente fsico

Por otra parte las perspectivas relevantes para el anlisis son: - Perspectiva de la coordinacin del programa - Perspectiva de la operacin del programa - Perspectiva de la ciudadana y la comunidad. As pues el mapa estratgico es el que se presenta en el siguiente diagrama.
Desarrollo Institucional Desarrollo, Habitacional Territorial y Urbano Desarrollo Social y Participacin

Ciudadana

As pues, la misin del programa incorpora tanto el objetivo de calidad de vida como el objetivo de generar capital social, convivencia ciudadana y corresponsabilidad, lo cual va en la direccin de hacer sostenible el mejoramiento de la calidad de vida que se logre con el programa. Mapa Estratgico Para construir el mapa estratgico, el primer paso es definir los temas estratgicos y las perspectivas desde las cuales se analizarn dichos temas. En el caso del PMIB, los temas estratgicos, se definieron en relacin a los componentes establecidos en el marco lgico de la siguiente forma: - Desarrollo institucional: corresponde al componente de fortalecimiento institucional, definido en el marco lgico del programa cuyo objetivo es contribuir a la generacin de la capacidad tcnica, administrativa y operativa al interior de la Caja de la Vivienda Popular para que las acciones de coordinacin interinstitucional a nivel central y local del PMIB se desarrollen de manera eficiente y eficaz. - Desarrollo habitacional, territorial y urbano: corresponde al componente fsico del marco lgico cuyo objetivo es mejorar las condiciones de habitabilidad fsica y ambiental de las UPZs tipo 1.

Calidad de Calidad de Vida Vida

Capital Capital Social Social y y Convivencia Convivencia

Operacin

Fortalecimiento Tcnico Operativo

Ejecucin de Proyectos

Facilitacin de Procesos de planeac/gestin

Coordinacin

Coordinacin

Formulacin de Proyectos Estructurantes Sistematizacin de Experiencias

Fortalecimiento del Recurso Humano

Uso del Sistema de Informacin

Caracterizacin de UPZs

Buscando un indicador de mejoramiento integral mediante talleres Delphos

El siguiente paso en la formulacin de indicadores usando Cuadro de Mando Integral es conformar el cuadro de mando, para lo cual se debe desagregar cada objetivo y cada estrategia en sus componentes ms importantes. Se busca el menor nmero de indicadores que pueda caracterizar la mayor parte del comportamiento de la estrategia u objetivo. En el caso del objetivo de calidad de vida sera deseable, adems de tener indicadores para cada uno de los aspectos que la componen, tener un indicador sinttico que permita medir integralmente el

Banco Mundial, Proyecto de Servicios Urbanos, Manual de Operacin. 9 CVP, Programa de Mejoramiento Integral de Barrios, http://www.cvp.gov.co, Decreto 124 de 2003,

Documentos de Discusin en Ciencias Sociales CEACS - DD.005.1 Septiembre de 2005

NUEVAS METODOLOGAS DE FORMULACIN DE INDICADORES DE SEGUIMIENTO Y EVALUACIN: ELCASO DEL PROGRAMA DE MEJORAMIENTO INTEGRAL DE BARRIOS EN BOGOT Rodrguez N, Oscar

mejoramiento de los barrios en trminos de calidad de vida. Surgen entonces dos preguntas clave: Qu aspectos incluir para evaluar el mejoramiento en la calidad de vida? y Cmo debera ponderarse cada aspecto para encontrar un indicador integral de calidad de vida? Para responder a esto se recurri a los talleres Delphos, que son una tcnica novedosa de consulta a grupos de expertos con la siguiente metodologa: Se formula un conjunto de interrogantes a un grupo seleccionado de personas. (mediante un formulario u otro instrumento estructurado) Se consolida la informacin haciendo explicitas las diferencias de opinin sobre cada tema preguntado Se presentan los resultados a los participantes. A medida que se revisan los resultados se comparan las opiniones extremas y se escuchan los argumentos de los participantes. No se busca alcanzar acuerdos en esta discusin sino dejar claramente definidos los argumentos de cada posicin Una vez revisados los resultados se vuelven a responder las mismas preguntas iniciales, teniendo en cuenta los argumentos de la discusin. Los participantes pueden mantener sus posiciones iniciales o cambiarlas.

Calidad de Calidad de Vida Vida

Capital Capital Social Social y y Convivencia Convivencia

Cobertura y Calidad en Servicios Pblicos Accesibilidad, Movilidad y Transporte pblico Equipamiento para actividades Cvicas, Culturales y Recreativas Condiciones Ambientales y mitigacin de Riesgos Equipamiento para Salud, Educacin y Bienestar Condiciones Fsicas y Legales de la vivienda Participacin en la Planeacin, Gestin y Control. Sensibilizacin sobre uso de recursos y riesgos ambientales Seguridad y convivencia ciudadana

Se espera que en la segunda consulta se presente menos dispersin en las respuestas, pues puede darse un mayor acuerdo o la polarizacin de las posiciones, pero ser menor la cantidad de indecisos. El proceso seguido fue el siguiente: 1. Partiendo del anlisis del mapa estratgico, se elabor un formulario con un conjunto de indicadores clasificados por los temas en que se dividieron los objetivos de calidad de vida y capital de trabajo en el mapa. 2. Se llev a cabo un primer taller, al cual asistieron los funcionarios de la Caja de Vivienda Popular relacionados con el Programa de Mejoramiento Integral de Barrios, el cual tena como objetivo hacer una primera calificacin de los diferentes aspectos y llevar a cabo una depuracin del formulario para el desarrollo de un segundo taller. 3. Al segundo taller asistieron delegados de las diferentes entidades que hacen parte del Programa y por la CVP asisti la Directora del PMIB quien haba participado en el anterior taller y se haba retroalimentado con la anterior discusin. En este taller se aplic el formulario depurado despus de los comentarios surgidos en el primer taller. Un ejemplo claro de la utilidad del primer taller es la incorporacin del tema de la corresponsabilidad dentro del BSC y dentro de la encuesta del segundo taller

Documentos de Discusin en Ciencias Sociales CEACS - DD.005.1 Septiembre de 2005

NUEVAS METODOLOGAS DE FORMULACIN DE INDICADORES DE SEGUIMIENTO Y EVALUACIN: ELCASO DEL PROGRAMA DE MEJORAMIENTO INTEGRAL DE BARRIOS EN BOGOT Rodrguez N, Oscar

Puntos

Puesto

Factor

A partir de los resultados de la segunda vuelta del segundo taller se construyeron ponderadores para los indicadores de mejoramiento barrial relacionados con cada tema 4. Para ponderar cada tema frente a los otros se llev a cabo un tercer taller con representantes de los Ncleos de Participacin en las diferentes UPZs. Los siguientes son los resultados el ltimo taller en donde se peda que se ordenaran a mayor a menor un conjunto de necesidades de la comunidad expresadas en forma de afirmaciones. A partir de los resultados de la segunda ronda del taller con lderes, se asigna un puntaje a cada aspecto, de acuerdo con la posicin que le dio cada asistente al taller y esos puntajes se traducen luego a ponderadores como lo muestra el cuadro 1. Aunque los ponderadores resultaron con muy poca variabilidad, lo cual indica que los diferentes aspectos fueron valorados equitativamente, los temas que ms importancia tienen es la salud, el transporte y la atencin a poblacin vulnerable, seguidas de recreacin, seguridad/convivencia, participacin comunitaria y educacin. En los ltimos lugares quedaron la legalidad de la tenencia, los servicios pblicos, la calidad constructiva de las viviendas y la no existencia de viviendas en zona de riesgo. Estos resultados, en trminos generales muestran una mayor valoracin por las necesidades de corto plazo sobre las necesidades de largo plazo.

Cuadro 1. Ponderaciones del Indicador

Ponderaci n

Descripcin

120

108

Que las personas en general tengan una buena salud y en caso de tener problemas de salud puedan ser atendidos D oportuna y adecuadamente Que las personas en general tengan facilidad para transportarse. Que haya rutas hacia el resto de la ciudad, que no se presenten congestiones y que las vas internas en los B barrios estn en buen estado Que las personas ms vulnerables (nios pequeos, ancianos, mujeres embarazadas, discapacitados) tengan el apoyo suficiente para solucionar sus principales necesidades y tener unas condiciones de vida similares a las del resto de la E comunidad Que las personas en general tengan la posibilidad de recrearse, hacer deporte y participar en actividades cvicas y F culturales Que la comunidad sea segura. Que no haya delincuencia ni se presenten actos violentos entre personas de la comunidad, que los problemas entre personas se solucionen pacficamente y J que haya pocos accidentes Que las personas participen activamente en las actividades de la comunidad. Que se conozcan entre los vecinos, que la gente participe de las decisiones que la puedan afectar y que la mayora colabore en las actividades que buscan el bienestar K comn. Que los nios y jvenes puedan asistir a la educacin primaria y secundaria en una institucin educativa de buena C calidad y cercana a sus hogares Que las viviendas cuenten con ttulos de propiedad legales. I Que los propietarios tengan escrituras. Que las viviendas tengan conexin a los servicios pblicos (agua, alcantarillado, electricidad, telfono) y que la prestacin A de esos servicios pblicos no presente interrupciones Que las viviendas se encuentren bien construidas desde sus bases, de manera que no estn en peligro de hundimiento, derrumbamiento o agrieteamiento, y que puedan resistir G temblores leves.

11.50%

10.30%

108

10.30%

96

9.20%

95

9.10%

95

9.10%

7 8

94 92

9.00% 8.80%

80

7.70%

79

7.60%

Que las viviendas no se encuentren en zonas donde tengan alto riesgo de ser vctimas de derrumbes, inundaciones y otros 77 H desastres naturales. Total 1044

7.40% 100.00%