Suscríbete a DeepL Pro para poder editar este document

Entra en www.DeepL.com/pro para más información.

Capítulo 1

Estado del arte y práctica

de la evaluación del
desarrollo
Respuestas a preguntas comunes y recurrentes

Michael Quinn Patton

M llevar al mundo a un lugar mejor a través de la innovación y el cambio de los

sistemas. Esa es la visión y el compromiso de los innovadores sociales y sus
financiadores. Son apasionados por hacer grandes diferencias en temas
importantes. Son estratégicos para cambiar los sistemas. Como evaluadores del
desarrollo, también queremos hacer del mundo un lugar mejor. Nos apasiona el uso
de la evaluación para informar a las personas.
vación. Esto significa adaptar la evaluación a las necesidades y desafíos particulares
de
la innovación social y el cambio de los sistemas. Este libro proporciona ejemplos de
casos de evaluadores que hacen precisamente eso. Obtendrá una visión interna de
las variaciones en la evaluación del desarrollo, así como la iluminación de los
principios rectores que la distinguen como un enfoque de evaluación.
El Prefacio describe los fundamentos de lo que es la evaluación del desarrollo,
cómo ha evolucionado y su nicho como evaluación de innovaciones en entornos
dinámicos complejos. No repetiré esa explicación aquí. En vez de eso,"iré al grano" e
iré directamente a la propuesta de valor de la evaluación del desarrollo.

La Propuesta de Valor de la Evaluación del Desarrollo

A medida que la evaluación del desarrollo se ha ido extendiendo (como lo

demuestran los ejemplos de casos en este libro), ha surgido una propuesta de valor.
El colega James Radner de la Universidad de Toronto, uno de los colaboradores de
este libro, tiene una amplia experiencia trabajando con muchas organizaciones
diferentes en muchas capacidades diferentes en una variedad de iniciativas,
incluyendo la evaluación del desarrollo. Por lo tanto, está especialmente bien
posicionado para identificar la propuesta de valor de la evaluación del desarrollo,

Patton_DvlpmntlEvaluatnExmplrs.indb 1 7/10/2015 5:44:10 PM

 que articula de la siguiente manera:

Patton_DvlpmntlEvaluatnExmplrs.indb 2 7/10/2015 5:44:10 PM

 2DE DESARROLLO Y VALORACIÓN E XEMPLOS DE ARS

"La disciplina de la evaluación tiene algo que ofrecer a los innovadores sociales
que realmente puede ayudarles a tener éxito. La evaluación del desarrollo se
basa en la idea de que el pensamiento, las técnicas, la práctica y la disciplina de
la evaluación pueden ser de gran ayuda para la innovación social: que los datos
recopilados sistemáticamente y vinculados adecuadamente a los objetivos y
estrategias de los usuarios pueden marcar la diferencia, incluso en entornos
abiertos y altamente complejos en los que los objetivos y las estrategias están
en sí mismos en evolución. La evaluación del desarrollo tiene algo distintivo
que ofrecer a través de la forma en que combina la investigación empírica
centrada en la innovación con el compromiso directo con el innovador. Lo que
hacen los evaluadores del desarrollo ayuda a los innovadores a avanzar en el
cambio social, pero sólo funciona cuando se adapta al contexto muy especial de
cada innovación social".

Preguntas y respuestas sobre la evaluación del desarrollo:

10 Preguntas, 10 Respuestas
La evaluación del desarrollo ha sido ampliamente reconocida y establecida como un
enfoque de evaluación útil y efectivo (Dickson & Saunders, 2014; FSG, 2014; Lam &
Shulha, 2014; Preskill & Beer, 2012). A medida que los nuevos profesionales
escuchan y tratan de implementar este enfoque, surgen preguntas de manera
natural. Este capítulo responde la s 10 preguntas más comunes que recibo sobre la
evaluación del desarrollo. El surgimiento de estas preguntas proporciona una
ventana al estado del arte y a la práctica de la evaluación del desarrollo, ya que estas
preguntas, incluso sin respuestas, revelan lo que los profesionales están
encontrando, lidiando y desarrollando respuestas en sus propios contextos. A
continuación, pues, se presentan las preguntas a las que respondo como una
contribución a la evolución continua de la evaluación del desarrollo. Las respuestas
también preparan el terreno para los estudios de caso en los capítulos siguientes.

1. ¿Cuáles son los elementos esenciales de la evaluación del desarrollo?

2. ¿En qué se diferencia la evaluación del desarrollo de otros enfoques:
evaluación formativa continua, investigación de acción, monitoreo y
desarrollo organizacional?
3. ¿Cuál es la relación entre la evaluación del desarrollo y la evaluación del
desarrollo?
4. ¿Cómo el pensamiento sistémico y la teoría de la complejidad informan la
práctica de la evaluación del desarrollo?
5. ¿Qué métodos se utilizan en la evaluación del desarrollo?
6. ¿Qué condiciones son necesarias para que la evaluación del desarrollo tenga
éxito?
7. ¿Qué se necesita para convertirse en un profesional de la evaluación del
desarrollo eficaz? Es decir, ¿qué habilidades y competencias particulares
de los evaluadores del desarrollo son esenciales?
8. ¿Cómo puede la evaluación del desarrollo servir a las necesidades y
demandas de rendición de cuentas?

Patton_DvlpmntlEvaluatnExmplrs.indb 3 7/10/2015 5:44:10 PM

 Estado del arte y práctica3

9. ¿Por qué la evaluación del desarrollo está atrayendo tanta atención y se

está extendiendo tan rápidamente?
10. ¿Cuál ha sido el desarrollo más significativo en la evaluación del desarrollo
desde la publicación del libro de Patton (2011)?

Ahora, pasemos a las respuestas.

1. ¿Cuáles son los elementos esenciales de la evaluación del desarrollo?

La primera pregunta representa el desafío de la fidelidad. Un practicante
experimentado me dijo recientemente: "La mayoría de las veces, me parece que la
gente dice que está haciendo una evaluación mental de desarrollo, pero no lo está
haciendo".
El desafío de la fidelidad se refiere a la medida en que una evaluación específica
incorpora de manera suficiente las características básicas del enfoque general para
justificar el etiquetado de esa evaluación por su nombre designado. Así como la
fidelidad es un tema central en los esfuerzos para replicar programas efectivos en
nuevos lugares (¿son las replicaciones fieles al modelo original en el que se basan?),
la fidelidad de la evaluación se refiere a si un evaluador que sigue un modelo en
particular es fiel en la implementación de todos los pasos, elementos y procesos
básicos de ese modelo. ¿Qué debe incluirse en una evaluación teórica para justificar
su designación como teórica (Coryn, Noakes, Westine y Schröter, 2011)? ¿Qué debe
ocurrir en una evaluación participativa para que sea considerada genuinamente
participativa (Cousins, Whitmore y Shulha, 2014; Daigneault y Jacob, 2009)? ¿Qué
debe incluirse en una evaluación de empoderamiento para justificar el
empoderamiento de la etiqueta (Fetterman, Kaftarian y Wandersman, 2014)?
Miller y Campbell (2006) examinaron sistemáticamente 47 evaluaciones
etiquetadas como evaluación de empoderamiento. Encontraron una amplia variación
entre los profesionales en la adhesión a los principios de evaluación del
empoderamiento, así como un débil énfasis en el logro de resultados empoderados
para los beneficiarios del programa. Cousins y Choui-nard (2012) revisaron 121
piezas de investigación empírica sobre evaluación participativa y también
encontraron grandes variaciones en los enfoques realizados bajo el paraguas
participativo. He visto muchas evaluaciones etiquetadas como centradas en la
utilización que no proporcionaban evidencia de que los usuarios primarios habían
sido identificados y se habían comprometido a enfocar la evaluación en las
prioridades de esos usuarios. ¿Cuáles son, entonces, los elementos esenciales de la
evaluación del desarrollo?
La respuesta es que hay ocho principios esenciales:

1. Propósito de desarrollo
2. Rigor de evaluación
3. Enfoque de utilización
4. Nicho de innovación
5. Perspectiva de complejidad
6. Pensamiento sistémico
7. Co-creación
8. Retroalimentación oportuna

Patton_DvlpmntlEvaluatnExmplrs.indb 4 7/10/2015 5:44:10 PM

 4DE DESARROLLO Y VALORACIÓN Y EJEMPLO DE ARS

Cada uno de ellos se define, describe y discute en el Capítulo 15. Desde mi punto de
vista, estos principios deben ser abordados explícitamente en cualquier evaluación
del desarrollo, pero la forma y el grado en que se abordan dependen de la situación
y el contexto. Los principios sirven para sensibilizar los conceptos. Se trata de una
desviación significativa del enfoque habitual de la fidelidad, que tradicionalmente ha
significado implementar un enfoque operativo exactamente de la misma manera
cada vez. La fidelidad ha significado la adhesión a una receta o a un conjunto de
pasos y procedimientos altamente prescriptivos. Los principios de la evaluación del
desarrollo, por el contrario, implican la sensibilización de elementos que deben ser
interpretados y aplicados contextualmente, pero que deben ser aplicados de alguna
manera y hasta cierto punto si se quiere que la evaluación sea considerada genuina y
plenamente desarrollista. Esto significa que cuando leo un informe de evaluación del
desarrollo, o hablo con las personas involucradas en una evaluación del desarrollo,
o escucho una presentación de evaluación del desarrollo en una conferencia, debería
ser capaz de ver/detectar/entender cómo estos ocho principios esenciales
informaron lo que se hizo y lo que resultó.
Los autores de los capítulos de los casos en este libro no tenían los principios
ante sí cuando escribieron sobre sus experiencias de evaluación del desarrollo. Más
bien, desarrollé la lista de principios después de leer los casos e interactuar con
los colegas evaluadores del desarrollo. Así que, al leer los casos, vea si puede
detectar los principios en la práctica. Los coeditores Nan Wehipeihana y Kate
McKegg proporcionan una síntesis de los casos en el Capítulo 14, identificando los
principales temas transversales e incorporando los principios en su síntesis. Luego,
en el capítulo 15, el libro termina con una elaboración en profundidad de cada
principio.

2. ¿En qué se diferencia la evaluación del desarrollo de otros enfoques?

Debido a que la evaluación del desarrollo reivindica un propósito y un nicho
específico, son comunes las preguntas acerca de cómo difiere de otros enfoques. Los
ejemplos incluyen cómo (o incluso si) la evaluación del desarrollo es diferente de
la evaluación formativa en curso, el desarrollo organizacional, el monitoreo y la
investigación de acción. Así que déjame intentar aclararlo.

Evaluación del desarrollo en contraste con la evaluación formativa

La evaluación del desarrollo ofrece una alternativa a la evaluación formativa y
sumativa, las distinciones clásicas que han dominado la evaluación durante cuatro
décadas. En la conceptualización original, una evaluación formativa sirvió para
preparar un programa para la evaluación sumativa identificando y corrigiendo los
problemas de implementación, haciendo ajustes basados en la retroalimentación,
proporcionando una evaluación temprana de si se estaban logrando (o era probable
que se lograran) los resultados deseados, y estabilizando y estandarizando el
programa para la evaluación sumativa. No es raro que un nuevo programa pase por
2-3 años de evaluación formativa, resolviendo dificultades de inicio y estabilizando
el modelo del programa, antes de que se lleve a cabo una evaluación sumativa. Con
el tiempo, la evaluación formativa ha llegado a designar cualquier esfuerzo de
evaluación para mejorar un programa. Mejorar significa mejorarlo. En contraste, la
evaluación del desarrollo se centra en el desarrollo adaptativo, lo que significa hacer
que el programa sea diferente porque, por ejemplo, (1) el contexto ha cambiado.

Patton_DvlpmntlEvaluatnExmplrs.indb 5 7/10/2015 5:44:10 PM

 Estado del arte y práctica5

(que viene con el territorio en un entorno dinámico complejo); (2) los clientes han
cambiado significativamente; (3) el aprendizaje conduce a un cambio significativo; o
(4) ha surgido una alternativa creativa e innovadora a un problema o desafío
persistente. Aquí hay tres ejemplos de estos desarrollos adaptativos.

• Un programa que atiende a una población (blancos, desertores escolares de

bajos ingresos) se adapta a las demandas de servir a una población diferente
(por ejemplo, inmigrantes, personas que salen de la cárcel o personas con
discapacidades particulares). Este tipo de adaptación va más allá de la
mejora. Requiere una adaptación del desarrollo.
• Un taller o curso se mueve en línea desde el aula. La enseñanza eficaz en línea
requiere una adaptación importante tanto de los contenidos como de los
procesos, así como de la crítica para interpretar el éxito.
• Las autoridades de salud pública deben adaptarse a una nueva enfermedad
como el Ébola. La innovación y la adaptación están a la orden del día, no sólo
mejorando los procedimientos existentes.

Tenga en cuenta aquí que el apoyo al desarrollo adaptativo continuo de los

programas es sólo uno de los cinco propósitos de la evaluación del desarrollo. La
evaluación del desarrollo también apoya el desarrollo de innovaciones
completamente nuevas. Kate McKegg ha ofrecido estos ejemplos innovadores de
Nueva Zelanda:

• Desarrollo de viviendas de bajo coste y respetuosas con el medio ambiente

para personas marginadas de las zonas rurales.
• Desarrollo de opciones de cuidado infantil para padres de bajos ingresos que
puedan acomodar a los niños desde el nacimiento hasta los 16 años.
• Desarrollo de un servicio local de alimentos que utiliza fuentes locales de
alimentos como respuesta al fracaso de la distribución multinacional de
alimentos para resolver el hambre y la nutrición.

Evaluación del desarrollo en contraste con la investigación para la acción

La investigación de acción adopta muchas formas. Los métodos de investigación de
acción y de evaluación del desarrollo mental (por ejemplo, el uso de la práctica
reflexiva) pueden ser los mismos. La diferencia es el propósito. La investigación de
acción se usa típicamente para entender y resolver problemas: ¿Por qué los
pacientes no asisten a las citas de seguimiento? ¿Por qué no se mantienen
actualizadas las bases de datos? ¿Por qué hay tanta negatividad en las reuniones de
personal? La investigación de acción se lleva a cabo típicamente para resolver
problemas. Por el contrario, la evaluación del desarrollo se centra en la innovación y
el cambio de los sistemas.

Evaluación del desarrollo en contraste con el monitoreo

El monitoreo continuo (el M&E, donde E es la evaluación) típicamente involucra
el seguimiento del progreso en indicadores predeterminados. El monitoreo se
utiliza para cumplir con los requisitos de rendición de cuentas y para observar
los cambios importantes en los indicadores clave de los productos. Porque los

Patton_DvlpmntlEvaluatnExmplrs.indb 6 7/10/2015 5:44:10 PM

 indicadores están predeterminados y estandarizados, y se centran en

Patton_DvlpmntlEvaluatnExmplrs.indb 7 7/10/2015 5:44:10 PM

 6DE DESARROLLO Y VALORACIÓN E XEMPLOS DE ARS

En las comparaciones trimestre a trimestre y año a año para informar sobre los
progresos realizados en relación con los objetivos anteriores, son bastante inútiles
para detectar las consecuencias no deseadas y los acontecimientos imprevistos. Los
datos de un sistema de monitoreo pueden proporcionar información útil para la
evaluación del desarrollo para documentar los cambios en los indicadores clave,
pero se necesitará más trabajo de campo e investigación para entender por qué los
indicadores de monitoreo se están moviendo tal como están. Además, los datos de
seguimiento se recopilan normalmente a nivel de producto y no a nivel de sistema,
estratégico o de resultados, que es el escenario de los principales avances
innovadores. El monitoreo sirve mejor para comparar los programas con los
planes de implementación cuando se ha financiado un plan de implementación
detallado para un proyecto basado en modelos. Las innovaciones carecen de planes
de implementación detallados y de indicadores de monitoreo predeterminados
precisamente porque están ocurriendo en sistemas dinámicos complejos, donde
tanto el trabajo como los indicadores son emergentes, evolutivos y cambiantes.

Evaluación del desarrollo en contraste con el desarrollo organizacional

El desarrollo organizacional apoya una mayor eficacia organizacional, generalmente
mediante el análisis de los procesos de comunicación, las interacciones del personal,
el flujo de trabajo, la dinámica del poder, las competencias del personal, las
necesidades de capacidad y las funciones relacionadas para ayudar a que las cosas
funcionen mejor. El desarrollo organizacional, como la evaluación formativa de los
programas, ayuda a mejorar las organizaciones, a menudo identificando problemas
y llevando a las personas a través de un proceso de resolución de problemas. La
evaluación del desarrollo, en cambio, cuando se trabaja con una organización como
unidad de análisis, se centra en la innovación para apoyar a la organización a ser
más adaptable a las dinámicas inciertas e impredecibles de la complejidad.

La evaluación del desarrollo como reencuadre dinámico

Al elaborar las distinciones anteriores, me he basado en las experiencias y
percepciones de muchos profesionales de la evaluación del desarrollo. Nathaniel
Foote, director gerente del TruePoint Center for Higher Ambition Leadership
(Centro TruePoint para el Liderazgo de Ambiciones Superiores), así como un
erudito disfrazado en efectividad organizacional y liderazgo, un experimentado
consultor de gestión humana y coautor del Capítulo 6, ha identificado de manera
perspicaz el papel de la evaluación del desarrollo como un replanteamiento
dinámico y la ha posicionado a lo largo de un espectro que va desde la evaluación
tradicional en un extremo y la consultoría organizacional en el otro extremo. La
Figura 1.1 presenta este papel y posicionamiento, que creo que es particularmente
útil para delinear el nicho de la evaluación del desarrollo. Él lo explica:

Veo que la evaluación del desarrollo ocupa un punto medio enLaura un espectro. En un
2015-07-22
extremo está la evaluación para servir a los intereses de un tercero 10:12:59
(normalmente
un financiador o formulador de políticas) que busca evaluar una --------------------------------------------
intervención bien
definida, y entender si funcionará, independientemente del actorAU:específico
Por favor,que indique
la la fecha exacta.
ha implementado. En el otro extremo se encuentra una intervención de consultoría
que se centra exclusivamente en los intereses del cliente para lograr una acción más
eficaz. El enfoque se centra enteramente en el actor y en lo que debe hacer a

Patton_DvlpmntlEvaluatnExmplrs.indb 8 7/10/2015 5:44:10 PM

 continuación, independientemente de cualquier evaluación más amplia de la
intervención y de su validez en otros contextos o tal como la llevan a cabo otros
actores. (comunicación personal, fecha TK)

Patton_DvlpmntlEvaluatnExmplrs.indb 9 7/10/2015 5:44:10 PM

 Estado del arte y práctica7

ExHIBICIÓN 10.1
La evaluación del desarrollo se centra especialmente en el reencuadre
dinámico

Evaluación del
Marco
dinámico desarrollo

Evaluación
Formativa

Marco definido

Sumativo
Intervención-Evaluación Actor-
Enfocado Enfocad
Evaluación o
Consultoría

Fuente: Nathaniel Foote.

La evaluación del desarrollo es necesaria cuando los "actores" están

incrustados y buscan cambiar un sistema complejo. Los actores y la intervención
están entrelazados y no pueden separarse. La intervención está inevitablemente
determinada por las características de los actores, y las observaciones y
percepciones sobre la intervención sólo pueden ser plenamente apreciadas y
llevadas a cabo por los actores del sistema. Debido a que se trata de un sistema
complejo, las acciones siempre conducen a consecuencias no deseadas (ya sean
buenas o malas), que a su vez ofrecen la posibilidad de aprender más sobre la
dinámica del sistema y cómo los "actores" pueden lograr mejor su propósito. En su
esencia, la evaluación del desarrollo consiste en un replanteamiento dinámico, que
busca articular, probar, informar y replantear los modelos mentales de los "actores"
para el sistema en el que están operando y las formas en que han estado y podrían
estar influyendo en él, con el fin de hacer realidad su intención. Este enfoque
explícito en el marco general como dinámico, en lugar de definido, es, para mí, el
aspecto más significativo que diferencia la evaluación del desarrollo de las
evaluaciones más convencionales (sumativas y formativas), por un lado, y de las
intervenciones de consultoría más convencionales, por otro.

3. ¿Cuál es la relación entre la evaluación del desarrollo y la

evaluación del desarrollo?
Ah, añadiendo ese pequeño y molesto -al final de la palabra desarrollo- transforma
un significado en otro. La evaluación del desarrollo se confunde fácil y
frecuentemente con la evaluación del desarrollo. No son lo mismo, aunque la
evaluación del desarrollo puede utilizarse en las evaluaciones del desarrollo. La
evaluación del desarrollo es un término genérico para las evaluaciones realizadas en
los países en desarrollo, generalmente centradas en la

Patton_DvlpmntlEvaluatnExmplrs.indb 10 7/10/2015 5:44:10 PM

 8DE DESARROLLO Y VALORACIÓN E XEMPLOS DE ARS

eficacia de los programas e iniciativas de ayuda internacional. Una evaluación

centrada en la asistencia para el desarrollo en los países en desarrollo podría utilizar
un enfoque de evaluación del desarrollo, especialmente si se considera que esa
asistencia para el desarrollo se presta en condiciones de complejidad y se centra
en la adaptación al contexto local. Pero la evaluación del desarrollo no se limita en
absoluto a los proyectos en los países en desarrollo. El -al en el desarrollo es fácil de
pasar por alto, pero es fundamental para distinguir la evaluación del desarrollo de
la evaluación del desarrollo. Además, los idiomas distintos del inglés no tienen una
manera gramatical de distinguir el desarrollo del desarrollo. Por lo tanto, la
traducción es un problema, como he encontrado en la formación internacional e
intercultural. Por ejemplo, el evaluador de desarrollo internacional Ricardo
Wilson-Grau, colaborador del Capítulo 10, dice: "Traduzco al español y al
portugués'evaluación del desarrollo' como'evaluación para el desarrollo de la
capacidad'.
una innovación". ”
Otra forma de mitigar la confusión es utilizar etiquetas distintas a la evaluación
del desarrollo, como algunos están haciendo, prefiriendo llamarla una de las
siguientes:

• Evaluación en tiempo real

• Evaluación emergente
• Evaluación de acciones
• Evaluación adaptativa

4. ¿Cómo el Pensamiento de Sistemas y la Teoría de la

Complejidad Informan la Práctica de la Evaluación del
Desarrollo?
El pensamiento sistémico es fundamental para la evaluación del desarrollo. Esto
significa, como mínimo, comprender las interrelaciones, comprometerse con
múltiples perspectivas y reflexionar profundamente sobre las consecuencias
prácticas y éticas de las elecciones de límites. El cambio en el pensamiento
requerido es de enfocarse en los componentes discretos de un programa a pensar
en términos de relaciones. Al delinear las dimensiones de "ser sistémico", Bob
Williams, ganador en 2014 del Premio Teórico Lazarsfeld de la Asociación
Americana de Evaluación (AEA) por su contribución a los enfoques de sistemas en la
evaluación, explicó: "Todos los esfuerzos están limitados. No podemos hacer o ver
todo. Cada punto de vista es parcial. Por lo tanto, el holismo no se trata de tratar con
todo, sino de ser metódico, informado, pragmático y ético sobre lo que hay que
omitir. Y se trata de asumir la responsabilidad de esas decisiones" (2014, p. 1).
La innovación implica cambiar un sistema existente a algún nivel y de alguna
manera. Si se examinan los hallazgos de los últimos 50 años de evaluación de
programas, se verá que los proyectos y programas rara vez conducen a cambios
importantes. Los proyectos y programas efectivos suelen estar aislados de los
sistemas más grandes, lo que les permite la autonomía para operar con eficacia,
pero limita su mayor impacto. Por otro lado, los proyectos y programas a menudo
fracasan porque funcionan en sistemas disfuncionales. Por lo tanto, los innovadores
sociales están interesados y motivados por los sistemas cambiantes -sistemas de
atención de salud, sistemas educativos, sistemas alimentarios, sistemas de justicia

Patton_DvlpmntlEvaluatnExmplrs.indb 11 7/10/2015 5:44:10 PM

 penal-. Al hacerlo, ellos

Patton_DvlpmntlEvaluatnExmplrs.indb 12 7/10/2015 5:44:10 PM

 Estado del arte y práctica9

se comprometen en esfuerzos y pensamientos que reemplazan a los modelos

lógicos tradicionales de proyectos y programas. Para evaluar el cambio de los
sistemas, los evaluadores del desarrollo deben ser capaces de participar en el
pensamiento sistémico y tratar el sistema o los sistemas objeto del cambio como el
evaluador (lo que se está evaluando). Esto significa indagar, rastrear, documentar e
informar sobre el desarrollo de las interrelaciones, el cambio de fronteras y las
perspectivas emergentes que proporcionan ventanas a los procesos, efectos e
implicaciones del cambio de sistemas (Williams, 2005, 2008; Williams & van `t Hof,
2014).
El pensamiento sistémico entra en juego incluso en pequeños proyectos piloto.
Los conceptos de sistemas y complejidad son útiles para entender lo que hace que
un proyecto sea innovador. Además, incluso las innovaciones pequeñas se enfrentan
finalmente a la cuestión de lo que significará ampliar la innovación si tiene éxito, lo
que directa e inevitablemente implicará un cambio en los sistemas. Todos los casos
en este libro involucran el pensamiento sistémico y el cambio de sistemas. Aquí hay
cinco ejemplos diversos:

• Cambiar el sistema de jóvenes sin hogar (Capítulo 4)

• Cambiar el sistema de la primera infancia (Capítulo 6)
• Cambiar los sistemas alimentarios indígenas en África y en los Andes (Capítulo 8)
• Cambiar los sistemas comunitarios en los que la gente está sumida en la pobreza
(Capítulo 9)
• Cambiar el sistema escolar de Ontario (Capítulo 13)

Estos casos ilustran e iluminan cómo la evaluación del desarrollo está en sintonía
con las relaciones tanto lineales como no lineales, con interacciones y resultados
intencionales e involuntarios, y con resultados tanto hipotéticos como
impredecibles. Entre las cuestiones fundamentales de la evaluación del desarrollo
orientadas a los sistemas se incluyen las siguientes: ¿De qué manera y con qué
eficacia funciona el sistema para los intereses de quién? ¿Por qué es así? ¿Cómo se
perciben los límites del sistema? ¿Con qué implicaciones? ¿Hasta qué punto y de qué
manera afectan los límites, las interrelaciones y las perspectivas a la forma en que se
ha conceptualizado e implementado el proceso de cambio innovador? ¿Cómo ha
cambiado la innovación social el sistema, a través de qué procesos, con qué
resultados e implicaciones?

La perspectiva de la complejidad
Ver la innovación a través de la lente de la complejidad agrega otra forma de
enmarcar, estudiar y evaluar las innovaciones sociales. Las innovaciones implican
una salida incierta -viene y se desarrolla en situaciones en las que las partes
interesadas suelen estar en desacuerdo sobre la naturaleza del problema y sobre lo
que se debe hacer para resolverlo. Estas dos dimensiones, el grado de
incertidumbre y el grado de desacuerdo, definen la zona de complejidad (Patton,
2011, Cap. 5). En esencia, la teoría de la complejidad dirige nuestra atención a las
características y dimensiones del cambio dinámico de los sistemas, que es
precisamente donde se desarrolla la innovación. Las preguntas básicas de la
evaluación del desarrollo impulsadas por la teoría de la com-plexidad incluyen
estas: ¿De qué manera y cómo puede capturarse, iluminarse y entenderse la

Patton_DvlpmntlEvaluatnExmplrs.indb 13 7/10/2015 5:44:10 PM

 dinámica de los sistemas complejos a medida que emerge la innovación social?

Patton_DvlpmntlEvaluatnExmplrs.indb 14 7/10/2015 5:44:10 PM

 10DE DESARROLLO Y VALORACIÓN Y EJEMPLO DE ARS

Cómo la evaluación del desarrollo puede mejorar la

innovación en condiciones de complejidad
Chi Yan Lam y Lyn M. Shulha (2014) realizaron un estudio de caso sobre "la cocreación de
un programa innovador". El estudio de caso describe el desarrollo pre-formativo de un
programa educativo (desde la conceptualización hasta la implementación piloto) y analiza
los procesos de innovación dentro de un marco de evaluación del desarrollo. Lam y
Shulha concluyeron:

La evaluación del desarrollo mejoró la innovación al (a) identificar e infundir datos de

manera prioritaria dentro de un proceso de información para resolver la incertidumbre
asociada con la innovación y (b) facilitar la cocreación de programas entre los clientes y el
evaluador del desarrollo. El análisis de las demandas de innovación reveló la
omnipresencia de la incertidumbre a lo largo del desarrollo y la forma en que la
presentación de los datos de evaluación ayudó a resolver la incertidumbre e impulsó el
desarrollo hacia adelante. La evaluación del desarrollo permitió un proceso no lineal y
coevolutivo de desarrollo de programas que se centró en seis enfoques: definición,
delineación, colaboración, creación de prototipos, iluminación y pruebas de realidad. (p.
1)

¿Hasta qué punto la dinámica de la incertidumbre y el desacuerdo cambia y cambia

durante el desarrollo de la innovación? ¿Cómo se capta y comprende el desarrollo
de la innovación, revelando nuevos aprendizajes y conocimientos que pueden ser
extrapolados o aplicados en otros lugares?
La teoría de la complejidad se considera a veces como un subconjunto de la
teoría de sistemas. En otros marcos, la teoría de la complejidad y la teoría de
sistemas son lo suficientemente distintas como para constituir enfoques separados y
únicos, pero superpuestos, para entender el mundo, como la vista y el oído. Ver a
alguien hablar puede mejorar la audición y profundizar el entendimiento de lo que
la persona está diciendo. Al escuchar a alguien se le da un significado adicional al
observar las expresiones de esa persona. Ambos son sentidos. Funcionan por
separado, pero pueden solaparse para reforzar lo que asimilamos y dar sentido a
una interacción. Me parece útil conceptualizar el pensamiento sistémico y la teoría
de la complejidad como marcos distintos pero superpuestos (Patton, 2015, p. 151),
como se muestra en la Exposición
1.2. Ambas perspectivas son esenciales para la evaluación del desarrollo.

5. ¿Qué métodos se utilizan en la evaluación del desarrollo?

Mi respuesta a esta pregunta consta de cinco partes.

• La evaluación del desarrollo no se basa en ningún método de evaluación en

particular, diseño, herramienta o marco de investigación. Una evaluación del
desarrollo puede incluir cualquier tipo de datos (cuantitativos, cualitativos, mixtos),
cualquier tipo de diseño (por ejemplo, naturalistas, experimentales) y cualquier tipo
de enfoque (procesos, resultados, impactos, costos y costo-beneficio, entre muchas
otras posibilidades), dependiendo de la naturaleza y la etapa de una innovación y de
las cuestiones prioritarias que apoyarán el desarrollo.

Patton_DvlpmntlEvaluatnExmplrs.indb 10 7/10/2015 5:44:11 PM

 Estado del arte y práctica11

ExHIbIt 1.2
Teoría de sistemas y teoría de la complejidad como marcos de
investigación distintos pero superpuestos

Teoría Teoría de la
de Compleji
Sistem dad
as

Atiende:
Atiende:
• Emergencia
• Interrelaciones
• No
• Perspectivas
linealidades
• Límites
• Dinámica
• Adaptación

Fuente: Basado en Patton (2015, p. 15). Adaptado con permiso.

y la toma de decisiones sobre la innovación. Los métodos y herramientas pueden

incluir ensayos controlados aleatorios de respuesta rápida, encuestas, grupos
focales, entrevistas, observaciones, datos de desempeño, indicadores comunitarios,
análisis de redes, todo lo que arroje luz sobre las preguntas clave.
Además, la evaluación del desarrollo puede utilizar cualquiera de los siguientes
trabajos de investigación. Por ejemplo, el libro Developmental Evaluation (Patton,
2011) presenta y discute una serie de diferentes marcos de investigación que
pueden ser útiles para diferentes situaciones, incluyendo el aprendizaje triangulado,
el ciclo adaptativo, la investigación apreciativa, la práctica reflexiva, la investigación
impulsada por valores, las preguntas perversas, el mapeo de resultados, la gestión
sistemática de riesgos, el análisis de campos de fuerza, las comparaciones reales e
ideales, y la evaluación centrada en principios, entre otros. El truco es usar un
marco que sea apropiado para la situación particular y que resuene con los
innovadores sociales que participan en la evaluación del desarrollo en particular. El
Capítulo 11 demuestra el uso de la cosecha de resultados como marco de
investigación y como herramienta de evaluación del desarrollo. (Ver también
Wilson-Grau & Britt, 2012.)
• El proceso y la calidad del compromiso entre los principales usuarios previstos
(innovadores sociales) y los evaluadores del desarrollo es tanto el método de
evaluación del desarrollo como lo son cualquier diseño, métodos y herramientas de
recolección de datos en particular. Formular preguntas de evaluación, examinar y
hacer un seguimiento de las implicaciones de las adaptaciones, y proporcionar
retroalimentación oportuna de manera continua: estos son los métodos de
evaluación del desarrollo.

Patton_DvlpmntlEvaluatnExmplrs.indb 11 7/10/2015 5:44:11 PM

 12DE DESARRO LLO Y VALORACIÓN E XEMPLOS DE ARS

Dibujo animado por Christopher P. Lysy. Usado con permiso.

• Independientemente de los métodos que se utilicen o de los datos que se

recopilen, la retroalimentación rápida es esencial. La velocidad importa. Las
complejidades dinámicas no se ralentizan ni esperan a que los evaluadores escriban
sus informes, los editen cuidadosamente y luego los aprueben las autoridades
superiores. Se puede utilizar cualquier método, pero tendrá que adaptarse a las
necesidades de rapidez, información oportuna y toma de decisiones justo a tiempo y
en el momento. Esta es una de las principales razones por las que los evaluadores
de desarrollo deberían formar parte del equipo de innovación: estar presentes en
tiempo real cuando surjan problemas y se deban tomar decisiones.
• Los métodos pueden ser emergentes y flexibles; los diseños pueden ser
dinámicos. Contrariamente a la práctica habitual en la evaluación de diseños fijos
que se implementan según lo planeado, los diseños de evaluación del desarrollo
pueden cambiar a medida que se desarrolla y cambia una innovación. Si se utilizan
encuestas y entrevistas, los evaluadores pueden cambiar las preguntas de una
administración a otra, descartando los elementos que han revelado poco valor o
que ya no son pertinentes, y añadiendo elementos que abordan nuevas cuestiones.
La muestra puede ser emergente (Patton, 2015, Cap. 5) a medida que surgen nuevos
participantes o sitios, y otros son abandonados. Tanto las líneas de base como los
puntos de referencia pueden ser revisados y actualizados a medida que surge nueva
información.
• Los evaluadores del desarrollo deben ser ágiles, abiertos, interactivos, flexibles,
observadores y altamente tolerantes a la ambigüedad. Un evaluador del desarrollo es,
en parte, un instrumento. Debido a que la evaluación es co-creada y la evaluación
del desarrollo es parte del equipo de innovación, trayendo una perspectiva de
evaluación y pensamiento evaluativo al equipo, la capacidad de un evaluador para
ser parte del equipo y facilitar los elementos de evaluación del proceso innovador
involucra tanto las "habilidades de las personas" esenciales como parte del método
de evaluación del desarrollo. El consejo de experimentados evaluadores del
desarrollo que se ofrece a lo largo de este libro, así como otras investigaciones con
profesionales (Cabaj, 2011), afirma y refuerza este punto.

Patton_DvlpmntlEvaluatnExmplrs.indb 12 7/10/2015 5:44:11 PM

 Estado del arte y práctica13

6. ¿Qué condiciones son necesarias para que la evaluación del

desarrollo tenga éxito?
La preparación es importante para cualquier evaluación. Los evaluadores centrados
en la utilización trabajan con los usuarios de la evaluación para ayudarles a
comprender el valor de las pruebas de realidad y a aceptar el proceso, reduciendo
así la amenaza de resistencia (consciente o inconsciente) al uso de la evaluación. Un
error común de los evaluadores noveles es creer que debido a que alguien ha
solicitado una evaluación o algún grupo ha sido reunido para diseñar una
evaluación, el compromiso con las pruebas de la realidad y su uso ya está ahí. Todo
lo contrario: Estos compromisos deben ser engendrados (o revitalizados si ya
estaban presentes) y luego reforzados a lo largo de todo el proceso de evaluación. La
evaluación centrada en la utilización hace de esto una prioridad (Patton, 2012, pp.
15-36).
La evaluación del desarrollo añade a la preparación general las siguientes 10
características de preparación:

1. Compromiso con la innovación, el nicho de la evaluación del desarrollo.

2. Disposición a tomar riesgos - no sólo hablar de tomar riesgos, sino también
de tomar riesgos.
3. Tolerancia a la ambigüedad. La incertidumbre, la imprevisibilidad y la
turbulencia vienen con el territorio del cambio de sistemas, la innovación y,
por lo tanto, la evaluación del desarrollo.
4. Algunos conocimientos básicos del pensamiento sistémico y la
complejidad. Esto aumentará a través del compromiso con la evaluación
del desarrollo, pero se necesita cierta comprensión de la línea de base y
comodidad con las ideas para comenzar el proceso de diseño.
5. Sensibilidad contextual y cultural centrada en la innovación y la
adaptación. Aquellos que buscan las llamadas "mejores prácticas"
estandarizadas no son buenos candidatos para la evaluación del desarrollo,
donde predomina la personalización contextual.
6. Compromiso con el aprendizaje adaptativo y la acción.
7. Flexibilidad. La evaluación del desarrollo implica diseños flexibles,
relaciones flexibles, presupuestación flexible e informes flexibles.
8. Comprensión y compromiso del liderazgo con la evaluación del desarrollo.
Ignore el liderazgo por su cuenta y riesgo.
9. Una fuente de financiación que entiende la evaluación del desarrollo.
10. Preparación para mantener el rumbo. La evaluación del desarrollo no se
trata de coquetear con el cambio. Un compromiso auténtico es un
compromiso a largo plazo.

El significado de estos factores de preparación variará según el contexto. Esta

es simplemente una lista de sugerencias para resaltar la importancia de plantear la
cuestión de la preparación y hacer una evaluación conjunta de la preparación con
los principales usuarios previstos que necesitan participar en el proceso. En el
Recuadro 1.3 se destacan otras dimensiones de la preparación para participar en la
evaluación del desarrollo.

Patton_DvlpmntlEvaluatnExmplrs.indb 13 7/10/2015 5:44:11 PM

 14DE DESARROLLO Y VALORACIÓN E XEMPLOS DE ARS

ExHIbIt 1.3
¿Dónde y cuándo es apropiada la evaluación del desarrollo?
Contextos apropiados
• Situaciones altamente emergentes y
volátiles (por ejemplo, el entorno es
dinámico)
• Situaciones difíciles de planificar o
predecir porque las variables y los factores
son interdependientes y no lineales.
• Situaciones en las que no se conocen
soluciones a los problemas, nuevos
problemas en su totalidad, y/o no
existen ciertas formas de avanzar.
• Situaciones en las que son posibles
múltiples vías de avance y, por lo tanto,
es necesario innovar y explorar.
• Situaciones socialmente complejas, que
requieren la colaboración entre partes
interesadas de diferentes
organizaciones, sistemas y/o sectores.
• Situaciones innovadoras, que
requieren un aprendizaje oportuno y
un desarrollo continuo
• Situaciones
Fuente: con resultados
Kate McKegg y Michael Quinn Patton, Taller de Evaluación del Desarrollo, Asociación
desconocidos,
Africana porYaoundé,
de Evaluación, lo que la visión ymarzo de 2014.
Camerún,
los valores impulsan los procesos
Contextos inapropiados
• Situaciones en las que las personas no son
capaces o no están dispuestas a
comprometerse a participar activamente
en la evaluación y a construir y mantener la
confianza relacional.
• Situaciones en las que las partes
interesadas clave requieren altos niveles
de certeza
• Situaciones en las que no hay
apertura a la experimentación y la
reflexión
• Situaciones en las que las
organizaciones carecen de
capacidad de adaptación
• Situaciones en las que las personas clave
no están dispuestas a "fracasar" o a
escuchar "malas noticias".
• Situaciones en las que existen malas
relaciones entre la dirección, el personal
y los evaluadores

7. ¿Qué se necesita para convertirse en un profesional de la

evaluación del desarrollo eficaz?
Los Principios Rectores para Evaluadores de la AEA enfatizan que "los evaluadores
deben poseer (o asegurar que el equipo de evaluación posea) la educación,
habilidades, destrezas y experiencia apropiadas para llevar a cabo las tareas
propuestas en la evaluación" (AEA, 2004, B1). Las competencias básicas para la
evaluación del desarrollo son las mismas que para cualquier evaluación basada en
los estándares y principios de la profesión. Lo que la evaluación del desarrollo
añade es un mayor énfasis en el compromiso directo con los usuarios primarios de
la evaluación (innovadores sociales y financiadores) y, por lo tanto, una mayor
atención a las habilidades interpersonales y de facilitación de grupos. Como se
muestra en el Recuadro 1.4, la evaluación del desarrollo plantea problemas
particulares en la aplicación de las competencias generales de los evaluadores.
La investigación sobre el uso de la evaluación muestra consistentemente que
los hallazgos tienen más probabilidades de ser utilizados si son creíbles-y la
credibilidad del evaluador es un factor central en la credibilidad general de los
hallazgos. Sí, los propios métodos y medidas deben ser creíbles para que los datos
resultantes sean creíbles. Pero los métodos y medidas derivan su credibilidad de
una aplicación apropiada y competente por parte de la(s) persona(s).

Patton_DvlpmntlEvaluatnExmplrs.indb 14 7/10/2015 5:44:11 PM


ExHIbIt 1.4
Competencias de Evaluador General y Competencias de
Evaluador Especializado en Desarrollo
Seis áreas
de Competencias generales de
competenci los evaluadores
a
esenciales*
1. Práctica Conocer y observar las
profesional normas y valores
profesionales, incluidas las
normas y principios de
evaluación.
2. Investigación Experiencia en los aspectos
sistemática técnicos de las evaluaciones,
como el diseño, la medición,
el análisis de datos, la
interpretación y el
intercambio de resultados.
3. Análisis de la Comprensión y atención a los
situación temas contextuales y políticos
de una evaluación,
incluyendo la determinación
de la evaluabilidad, el
tratamiento de los conflictos
y la atención a los temas de
uso de la evaluación.
4. Proyecto Las claves de la gestión de una
gerencia evaluación desde el principio
hasta el final, incluyendo la
negociación de contratos, la
elaboración de presupuestos,
la identificación de
y coordinar los recursos
necesarios, y llevar a cabo la
evaluación de manera
oportuna.
5. Práctica Un conocimiento de la
reflexiva experiencia en la evaluación
de programas propios, así
como de las necesidades de
crecimiento profesional.
6. Competencia Las "habilidades de la
interperson gente" necesitaban trabajar
al con diversos grupos de
*Ghere, King, Stevahn y Minnema (2006).
interesados para llevar a
cabo las evaluaciones del
programa, incluyendo la
comunicación escrita y oral,
la negociación y las
habilidades interculturales.
Patton_DvlpmntlEvaluatnExmplrs.indb 15
Estado del arte y práctica15
Competencias de los evaluadores especializados
en desarrollo
La importancia de la relación continua entre los
innovadores sociales y los evaluadores del
desarrollo aumenta la necesidad de una gestión
profesional de los límites como competencia
esencial.
El evaluador de desarrollo Mark Cabaj ha
observado: "Las competencias exigidas son
mayores porque se necesita una caja de
herramientas de métodos más grande y la
capacidad de proponer enfoques creativos".
Es esencial ser capaz de distinguir lo simple, lo
complicado y lo complejo. También lo es entender
cómo utilizar los conceptos de complejidad como
parte del análisis de la situación: emergencia, no
linealidad, dinamismo, incertidumbre,
adaptabilidad.
Los desafíos especiales de la gestión de
proyectos en la evaluación del desarrollo
incluyen la gestión y adaptación del diseño
emergente, la recopilación oportuna de datos y
la retroalimentación, el manejo del enorme
volumen de datos que surgen a medida que el
proyecto se desarrolla, y la presupuestación
flexible.
La práctica reflexiva es un enfoque de
recolección de datos en la evaluación del
desarrollo, al igual que un
el compromiso de evaluar y desarrollar aún más
las competencias de evaluación del desarrollo de
cada uno. Esta práctica incluye la reflexividad -
reflexión sobre la contribución y el papel de cada
uno en relación con contextos y procesos
particulares.
Una evaluación del desarrollo es co-creada con
los principales usuarios previstos (innovadores
sociales, financiadores y personal de
implementación). El enfoque está fuertemente
centrado en las relaciones, por lo que las
relaciones interpersonales son paralelas a los
métodos para determinar la relevancia y
credibilidad de la evaluación.
7/10/2015 5:44:11 PM
 16DE DESARROLLO Y VALORACIÓN E XEMPLOS DE ARS

la realización de la evaluación. Los métodos no ocurren por sí solos. Alguien, es

decir, un evaluador, tiene que emplear métodos. Por lo tanto, la competencia del
evaluador para seleccionar y aplicar los métodos y medidas apropiados, y para
analizar y presentar los hallazgos de manera apropiada y competente, es la fuente
fundamental de la credibilidad de una evaluación. El evaluador de desarrollo Mark
Cabaj añade:

"En contextos rápidos y complejos, los desafíos tradicionales del diseño de la

evaluación y la obtención de datos válidos y confiables se amplían, lo que
requiere que los evaluadores utilicen sus mejores habilidades de
bricoleur[creando soluciones personalizadas para problemas únicos] para
crear métodos y datos en tiempo real. Además, las señales de esos datos son a
menudo débiles y ambiguas,[por lo que] el desafío de ayudar a los innovadores
sociales -que, como cualquiera de nosotros, están ansiosos por encontrar
patrones y significados en los datos incluso cuando no existen- a interpretar y
utilizar correctamente esos datos[se vuelve] más difícil de lo normal.
"En mi tesis de investigación[sobre los primeros en adoptar la evaluación
del desarrollo; Cabaj, 2011], varias personas señalaron que pensaban que los
desafíos metodológicos en una situación de evaluación del desarrollo a veces
pueden superar la capacidad de cualquier evaluador -y en esas situaciones, la
evaluación del desarrollo podría ser ofrecida por un evaluador líder que puede
recurrir a una red de evaluadores con diferentes conocimientos y habilidades".

Anteriormente, he notado la importancia de la aceptación del liderazgo como

parte de la preparación organizacional. Los evaluadores del desarrollo también
desempeñan un papel de liderazgo en la dirección de la evaluación del desarrollo, lo
que también afecta la dirección de la innovación y las adaptaciones de la
intervención.

Un elemento de liderazgo está involucrado en la evaluación del desarrollo porque el

evaluador mental del desarrollo está ayudando activamente a dar forma a la iniciativa.
La forma en que se hace esto hace una gran diferencia en la eficacia de su trabajo.
(Dozois, Langlois y Blanchet- Cohen, 2010, p. 23)

El énfasis tradicional en las competencias metodológicas supone que el rigor

metodológico es el principal determinante de la credibilidad de la evaluación.
Pero la evidencia de los estudios sobre el uso de la evaluación del desarrollo
muestra que las características de los evaluadores interactúan con los criterios
metodológicos y la habilidad de facilitación para determinar la credibilidad y
utilidad de una evaluación. En esencia, la forma en que se facilita la evaluación
con la participación significativa de los principales usuarios previstos y la
participación calificada de los evaluadores del desarrollo afecta los juicios de los
usuarios sobre la credibilidad y utilidad de la evaluación y, por lo tanto, su
voluntad de actuar sobre la base de la retroalimentación. El papel activo y
comprometido del evaluador del desarrollo ha sido llamado "el arte del
empujón" (Langlois, Blanchet-Cohen, & Beer, 2012, p. 39):

Se ha comprobado que las prácticas son fundamentales para el arte del codazo: (1)
practicar el liderazgo de servicio; (2) sentir la energía del programa; (3) apoyar los
espacios comunes; (4) desvincularse

Patton_DvlpmntlEvaluatnExmplrs.indb 16 7/10/2015 5:44:11 PM

 Estado del arte y práctica17

ExHIbIt 1.5
el contexto de la evaluación del desarrollo y el evaluador del desarrollo
Contexto/Contexto: Organización Evaluador: El bricoleur pragmático
Altos niveles de conciencia del contexto y de Vigilancia en el seguimiento de la emergencia
los cambios en el entorno en general. interna y externa
Dispuestos a equilibrar el desarrollo y la Alta tolerancia a la ambigüedad, así como a la
innovación con el compromiso de poner a capacidad de facilitar la toma de decisiones, las
prueba la realidad interpretaciones y el sentido basado en los
valores
Disposición para explorar, profundizar, Agilidad metodológica y creatividad,
interpretar lo que surja y proporcionar combinadas con voluntad y habilidad para
retroalimentación oportuna a medida que se cambiar y responder con un diseño, marco,
desarrolla la innovación. teoría de programas, métodos y procesos
adaptados.
Valor para seguir adelante y adaptarse ante Valor para emprender un viaje desordenado de
la incertidumbre altibajos, desvíos e imprevistos, manteniendo al
mismo tiempo una mentalidad tolerante y
crítica abierta y un compromiso con la verdad.
Disposición para co-crear el futuro, colaborar Disposición para desarrollar relaciones de
y confiar. confianza a largo plazo, para estar "en ello a
largo plazo".
Fuente: Kate McKegg y Michael Quinn Patton, Taller de Evaluación del Desarrollo, Asociación
Africana de Evaluación, Yaoundé, Camerún, marzo de 2014.

nudos de forma iterativa; y, (5) prestando atención a la estructura. Estas prácticas

pueden ayudar a los evaluadores de desarrollo a detectar y apoyar oportunidades de
aprendizaje y adaptación que conduzcan a una retroalimentación oportuna.

La pregunta 6 de este capítulo se refiere a la preparación organizativa. Esta

pregunta ha examinado la disposición del evaluador para realizar una evaluación
del desarrollo. La ilustración 1.5 reúne estas dos preguntas.

8. ¿Cómo puede la evaluación del desarrollo servir a las

necesidades y demandas de rendición de cuentas?
La rendición de cuentas se asocia tradicionalmente con el gasto de los fondos de
acuerdo con los requisitos contractuales para lograr las metas establecidas. Pero el
enfoque de evaluación del desarrollo para la rendición de cuentas incluye la
rendición de cuentas por el aprendizaje y la adaptación. Esta fue la conclusión a la
que llegó el personal superior de la Fundación Blandin, con sede en Minnesota,
mientras se dedicaba a la evaluación del desarrollo centrada en el marco estratégico
de la Fundación. El resultado fue un informe titulado Mountain of Accountabil- ity
(Fundación Blandin, 2014). Insto a los lectores a que examinen el informe en línea
para el

Patton_DvlpmntlEvaluatnExmplrs.indb 17 7/10/2015 5:44:11 PM

 18DE DESARROLLO Y VALORACIÓN Y EJEMPLO DE ARS

una representación gráfica y una explicación completa del concepto de la Montaña

de la Responsabilidad. Es un recurso que utilizo regularmente para explicar cómo la
evaluación del desarrollo aborda las preocupaciones sobre la rendición de cuentas.
Aquí sólo puedo ofrecer una breve descripción general.
El informe Mountain of Accountability describe tres niveles de rendición de
cuentas y las interconexiones entre ellos.

• Nivel 1: Rendición de cuentas básica. El primer nivel de rendición de cuentas

evalúa hasta qué punto los recursos están bien administrados, la calidad de las
prácticas de gestión de personal, la implementación de programas con la debida
diligencia y profesionalismo, y la presentación de informes básicos orientados a la
rendición de cuentas. Los datos para la rendición de cuentas básica deben estar
incorporados en los procesos fundamentales de gestión.
• Nivel 2: Rendición de cuentas sobre el impacto y la eficacia. El segundo nivel
más avanzado de rendición de cuentas implica la evaluación de los resultados e
impactos de la intervención (programa). Esta es la arena de la evaluación tradicional
de programas.
• Nivel 3: Responsabilidad por el aprendizaje, el desarrollo y la adaptación. El
tercer nivel aborda la rendición de cuentas a través de la óptica de la complejidad de
los conceptos y el cambio de los sistemas. En este nivel, la evaluación del desarrollo
se utiliza para apoyar el aprendizaje, la adaptación, el cambio de sistemas, el
cumplimiento de la misión, la evaluación centrada en los principios y el "hablar de
los valores". Mientras que las evaluaciones tradicionales se centran en la mejora y la
toma de decisiones sobre proyectos y programas, la evaluación del desarrollo se
ocupa de la implementación de estrategias y de la eficacia a nivel general de la
organización y del cumplimiento de la misión.

La evaluación del desarrollo integra la rendición de cuentas con el desarrollo en

curso, prestando especial atención a los cambios en el entorno de la organización
(por ejemplo, cambios económicos, sociales, demográficos, políticos y tecnológicos)
que afectan a los ajustes estratégicos. La rendición de cuentas por el aprendizaje y el
desarrollo implica la identificación de las lecciones aprendidas a través de prácticas
reflexivas profundas que pueden aplicarse a iniciativas innovadoras de cambio de
sistemas, a la adaptación y a marcar la diferencia en sistemas dinámicos complejos.
El informe Mountain of Accountability de la Fundación Blandin describe un
enfoque creativo para incorporar las preocupaciones sobre la rendición de cuentas
en la evaluación del desarrollo. No se trata de reproducir el concepto de la Montaña
de la rendición de cuentas. Se trata de negociar y aclarar lo que significa la
rendición de cuentas en el contexto y el ámbito de las acciones innovadoras y de
cambio de los sistemas en los que se está llevando a cabo la evaluación del
desarrollo.

9. ¿Por qué la evaluación del desarrollo atrae tanta atención y se

propaga tan rápidamente?
Como se documenta en el Prefacio, desde la publicación de la Evaluación del
Desarrollo (Patton, 2011), la idea ha despegado. Semanalmente recibo ejemplos de
evaluaciones de desarrollo en curso o terminadas. En poco tiempo, la evaluación del
desarrollo

Patton_DvlpmntlEvaluatnExmplrs.indb 18 7/10/2015 5:44:11 PM

 Estado del arte y práctica19

ha sido reconocido y establecido como un enfoque distinto y útil. Así que la pregunta
es:"¿Por qué?"
Me gustaría señalar cuatro tendencias de cambio social que se entrecruzan, con
una evaluación del desarrollo en el punto en el que estas tendencias convergen. El
primero es la demanda mundial de innovación. El sector privado, el sector público y
el sector no lucrativo están experimentando presión para innovar. A medida que la
población mundial crece, el cambio climático amenaza y las innovaciones
tecnológicas amplían exponencialmente sus horizontes y posibilidades (por
mencionar sólo tres fuerzas de cambio), se reconoce que la innovación social es
esencial para abordar los problemas mundiales. Una buena manera de ver cómo la
evaluación del desarrollo se ha cruzado con la trayectoria de innovación más
general durante la última década es examinar el Stanford Social Innovation Review,
que comenzó a publicarse en 2003. Una búsqueda reciente en los archivos reveló
una serie de referencias a la evaluación del desarrollo, incluyendo como "evaluación
de la próxima generación" y "un enfoque que cambia el juego" (FSG, 2014).
La segunda tendencia consiste en el cambio de sistemas. La evaluación "creció"
en los proyectos y ha estado dominada por una mentalidad de prueba de proyectos
y modelos. Yo diría que el campo ha dominado la evaluación de proyectos. Pero
hemos aprendido que los proyectos no cambian los sistemas, y que los principales
problemas sociales requieren una acción a nivel de los sistemas. La evaluación a
nivel de proyecto no se traduce directamente en una evaluación del cambio de
sistemas. Tratar un sistema como una unidad de análisis, es decir, como evaluand
(cosa evaluada), requiere una comprensión de los sistemas y un pensamiento
sistémico. La evaluación del desarrollo aporta una orientación sistémica para
evaluar el cambio de los sistemas.
La tercera tendencia es la complejidad. La innovación y el pensamiento
sistémico apuntan a la teoría de la complejidad como marco relevante para dar
sentido a cómo cambia el mundo. La pregunta 4, anterior en este capítulo, ha
abordado cómo el pensamiento sistémico y la teoría de la complejidad informan la
práctica de la evaluación del desarrollo.
La cuarta tendencia es el reconocimiento de la evaluación del desarrollo como
un enfoque de evaluación legítimo. He escuchado a evaluadores e innovadores
sociales de todo el mundo que ya estaban comprometidos con la evaluación del
desarrollo y las prácticas, pero que no tenían un nombre reconocible para lo que
estaban haciendo y expresaron su aprecio por identificar el enfoque como una
opción rigurosa. He escuchado de los evaluadores que la publicación del libro de
2011 le dio legitimidad a la evaluación del desarrollo, le dio un enfoque más agudo a
la evaluación del desarrollo para que las personas pudieran hacer mejor lo que ya
estaban intuitivamente guiadas a hacer, creó un lenguaje común que permite a las
personas hablar entre sí acerca de tomar un enfoque del desarrollo para la
evaluación, y demostró que la evaluación del desarrollo puede hacerse con validez y
credibilidad. La ilustración 1.6 muestra estas cuatro fuerzas que se cruzan para
impulsar la evaluación del desarrollo.
Como cuestión de equilibrio, es apropiado reconocer que la rápida expansión
de la evaluación del desarrollo también ha generado problemas de fidelidad (véase
la pregunta 1 de este capítulo); confusión sobre lo que es la evaluación del
desarrollo y cómo realizarla; y, lamentablemente, interpretaciones y usos erróneos
de la evaluación del desarrollo . En el Recuadro 1.7 se presentan ejemplos de
algunos problemas comunes que han surgido y mis consejos para resolverlos.

Patton_DvlpmntlEvaluatnExmplrs.indb 19 7/10/2015 5:44:11 PM

 20DE DESARROLLO Y VALORACIÓN E XEMPLOS DE ARS

ExHIbIt 1.6
Fuerzas sociales globales que impulsan la evaluación del
desarrollo

Cambio
de La ED
sistema como
s enfoque
legítimo

Teoría de
la Innovaci
compleji ón social
dad

ExHIbIt 1.7
Problemas y desafíos de la evaluación del
desarrollo Problema potencial
o mal uso de la
Enfoque de evaluación evaluación del
Tema del desarrollo desarrollo Consejos
1. Comprensión de la Dejar que la evaluación Los miembros del Distinguir entre
emergencia: evolucione personal utilizan la situaciones en las que
Aprender y naturalmente: evaluación del se sabe lo suficiente
adaptarse a través A medida que desarrollo como Participar en la
del compromiso, emerge la excusa para no planificación y
no de una naturaleza de la planificar: El"Sólo lo evaluación
planificación intervención, compensaremos tradicionales, y en
anticipada también lo hace el sobre la marcha" se situaciones en las que
detallada. La diseño de la convierte en una la naturaleza compleja
innovación se evaluación del forma conveniente del problema requiere
desarrolla a través desarrollo, de resistirse a los un compromiso
del compromiso recopilación de datos y modelos lógicos, emergente e
activo en los retroalimentación. teorías de cambio u innovador y el uso de
procesos de otro trabajo de la evaluación del
cambio, diseño de evaluación desarrollo como
fomentando el inicial que pueda ser enfoque
aprendizaje y la apropiado. adecuadamente (continuaci
ón)
adaptación. alineado.

Patton_DvlpmntlEvaluatnExmplrs.indb 20 7/10/2015 5:44:12 PM

 Estado del arte y práctica21

Problema potencial
o mal uso de la
Enfoque de evaluación evaluación del
Tema del desarrollo desarrollo Consejos
2. Enfoques híbridos: Alinear los enfoques de Confusión y falta de Emplear el bricolaje
Combinar la la evaluación con la enfoque al jugar con (diseño creativo e
evaluación del situación y el contexto. múltiples enfoques: integración de
desarrollo con comenzando con la enfoques múltiples,
otros enfoques de evaluación del utilizando los recursos
evaluación desarrollo, lanzando disponibles) y el
(por ejemplo, mapeo en alguna evaluación pragmatismo: Haz lo
de resultados, teórica y en una que tenga sentido
evaluación evaluación de para una situación y
feminista) y empoderamiento, contexto dados, y ser
propósitos añadiendo una explícito y
(formativos, evaluación formativa y transparente sobre por
sumativos). sumatoria para ofrecer qué se hizo lo que se
familiaridad, y luego hizo. Conozca las
una fuerte infusión de fortalezas y debilidades
responsabilidad.... de varios enfoques.
3. Tratando Énfasis en el Participar en"cebo y Conviértase en
evaluación del desarrollo y la cambio" o no un experto en
desarrollo adaptación en curso. mantener el rumbo: explicar el
como una Entendiendo que el Los financiadores propósito y nicho
exploración y propósito y la piden una de la evaluación del
experimentación naturaleza evaluación del desarrollo.
inicial. de la evaluación del desarrollo sin saber y reiterar el
desarrollo son lo que implica. compromiso con ella
diferentes de las de la Empiezan con ella, de manera
evaluación formativa y luego a mitad de permanente.
sumativa. camino. No espere que dure
que exigen productos un compromiso
entregables inicial con la
tradicionales (por evaluación del
ejemplo, marcos desarrollo
lógicos, informes sin refuerzos. El
formativos) y esperan compromiso inicial
que se elabore un necesita ser nutrido y
informe acumulativo profundizado a medida
tradicional. que se desarrolla la
evaluación.
4. Responder a Entender que el Rechazar una respuesta Trabajar para pasar de la
solicitudes de diseño de la de una evaluación del solicitud de detalles de
propuestas o evaluación del desarrollo a una diseño a la solicitud de
licitaciones. desarrollo surge a solicitud como cualificaciones y
medida que surge el indicación de la falta de competencias.
proceso innovador, especificidad del Demostrar
por lo que un diseño diseño. competencia en el
completamente diseño y los métodos,
especificado no es y luego mostrar por
posible en la etapa de qué y cómo surgirá el
solicitud de diseño de la (continuación)
propuestas o evaluación del
términos de desarrollo.
referencia.

Patton_DvlpmntlEvaluatnExmplrs.indb 21 7/10/2015 5:44:12 PM

 22DE DESARROLLO Y VALORACIÓN E XEMPLOS DE ARS

Problema potencial
o mal uso de la
Enfoque de evaluación evaluación del
Tema del desarrollo desarrollo Consejos
5. Entendiendo que a Rígidos requisitos de Realizar el
Presupuestaci medida que surge el presupuestación inicial, presupuesto de la
ón para la diseño de la que reducen la evaluación de
evaluación del evaluación del flexibilidad y la desarrollo por etapas,
desarrollo. desarrollo, surge el adaptabilidad, en lugar de hacerlo
presupuesto. Se y respuesta emergente. para toda la iniciativa
presentan opciones de una sola vez y de
de presupuesto para una sola vez.
ofrecer vías de el principio. Esté
investigación preparado para hacer
alternativas que una serie de
apoyen las presupuestos a medida
necesidades que la innovación se
emergentes de desarrolla en etapas a lo
información y toma largo del tiempo.
de decisiones.

10. ¿Cuál ha sido el desarrollo más significativo en la

evaluación del desarrollo desde su publicación?
del Libro de Patton (2011)?
La evaluación centrada en los principios se ha convertido en un importante
marco de investigación y en el centro de atención de la evaluación del
desarrollo. Por ejemplo, en su perspicaz volumen titulado Evalu- ating
Complexity, Preskill y Gopal (2014) aconsejan: "Buscar principios eficaces de
práctica en la acción, en lugar de evaluar la adhesión a un conjunto
predeterminado de actividades" (pág. 16). Tratar los principios como el centro
de la evaluación requiere un muestreo centrado en principios (Patton, 2015, p.
270). Esto implica identificar y estudiar los casos que iluminan la naturaleza, la
implementación, los resultados y las implicaciones de los principios. El estudio de
la aplicación y los resultados de principios eficaces y basados en pruebas es una
nueva dirección importante en la evaluación del desarrollo (Patton, 2011, págs.
167-168, 194-195; Patton, 2015, pág. 292).
Un enfoque basado en principios es apropiado cuando un grupo de programas
diversos se adhieren a los mismos principios, pero cada uno está adaptando esos
principios a su propia población objetivo dentro de su propio contexto. Un principio
se define como una proposición fundamental que sirve de base para un sistema
de creencias o comportamiento o para una cadena de razonamiento. Un enfoque
basado en principios eficaces y basados en pruebas supone que, si bien los
principios siguen siendo los mismos, su aplicación requerirá necesaria y
adecuadamente una adaptación dentro de los contextos y entre ellos. Las pruebas de
la eficacia de los principios se derivan de estudios de casos detallados de sus
aplicaciones e implicaciones. Los resultados de los estudios de caso se sintetizan a
continuación en los diversos programas, cada uno de los cuales se adhiere a los
mismos principios, pero cada uno adapta esos principios a su propia población
objetivo dentro de su propio contexto.
Lo ideal es que los principios que guían la innovación y los que informan la

Patton_DvlpmntlEvaluatnExmplrs.indb 22 7/10/2015 5:44:12 PM

 evaluación estén alineados. Este es un rasgo distintivo del capítulo 2, en el que la

Patton_DvlpmntlEvaluatnExmplrs.indb 23 7/10/2015 5:44:12 PM

 Estado del arte y práctica23

El programa innovador y la evaluación del desarrollo se basan en un conjunto

holístico de principios culturales Māori que guían las formas de conocer y estar en
contextos tribales y Māori. Esta combinación sin fisuras de principios culturales y de
evaluación ejemplifica la evaluación del desarrollo centrada en principios. El
capítulo 4 también presenta un ejemplo de evaluación centrada en los principios.

Ejemplos de casos de evaluación del desarrollo

Este capítulo inicial ha ofrecido respuestas a las 10 preguntas más comunes que
recibo sobre la evaluación del desarrollo. Pasamos ahora al corazón de este libro:
ejemplos de casos de evaluaciones reales del desarrollo. Al pronunciar discursos de
apertura, impartir capacitación y consultar sobre evaluaciones de desarrollo, la
solicitud más común que recibo es la de aplicaciones en el mundo real y ejemplos de
casos. Este libro responde a esa demanda. Al leer estos ejemplos de diferentes tipos
de evaluación del desarrollo en una variedad de entornos, centrados en
innovaciones muy diversas, le invito a buscar patrones, temas y principios en la
práctica. En el Capítulo 14, las coeditoras Kate McKegg y Nan Wehipeihana
presentan una síntesis de los patrones y temas que han observado, basándose tanto
en los casos como en sus propias experiencias extensas como evaluadoras del
desarrollo. El Capítulo 15 completa el libro con una discusión detallada de los ocho
principios esenciales de la evaluación del desarrollo.

REFERENCIAS
Asociación Americana de Evaluación (AEA), Task Force on Guiding Principles for Evalua- tors.
(2004). Guiding principles for evaluators (Rev. ed.). Washington, DC: Autor. Obtenido
de www. eval. org/p/cm/ld/fid=51.
Fundación Blandin. (2014). Una montaña de responsabilidad. Grand Rapids, MN: Autor.
Obtenido del sitio Web: http://blandinfoundation.
org/resources/reports/mountain-of- accountability.
Cabaj, M. (2011). Evaluación del desarrollo: Experiencias y reflexiones de 18 personas que
se adoptaron tempranamente. Tesis de maestría inédita, Universidad de Waterloo,
Waterloo, Ontario, Canadá.
Coryn, C. L. S., Noakes, L. A., Westine, C. D., & Schröter, D. C. (2011) A systematic
review of theorydriven evaluation practice from 1990 to 2009. American Journal of
Evalua- cion, 32(2), 199-226.
Cousins, J. B., & Chouinard, J. A. (2012). Evaluación participativa de cerca: Una
integración del conocimiento basado en la investigación. Charlotte, NC: La era de
la información.
Cousins, J. B., Whitmore, E., & Shulha, L. (2014). Argumentos a favor de un conjunto
común de principios para la investigación colaborativa en la evaluación. American
Journal of Evaluation, 34(1), 7-22.
Daigneault, P. M., & Jacob, S. (2009). Hacia una medición precisa de la participación:
Repensar la conceptualización y operacionalización de la evaluación participativa.
American Journal of Evaluation, 30(3), 330-348.
Dickson, R., & Saunders, M. (2014) Evaluación del desarrollo: Lecciones para la práctica
de la evaluación del programa SEARCH. Evaluación, 20(2), 176-194.
Dozois, E., Langlois, M., & Blanchet-Cohen, N. (2010). DE 201: Una guía del practicante
para

Patton_DvlpmntlEvaluatnExmplrs.indb 24 7/10/2015 5:44:12 PM

 24DE DESARROLLO Y VALORACIÓN E XEMPLOS DE ARS

evaluación del desarrollo. Montreal: Fundación de la Familia J. W. McConnell.

Obtenido de www. mcconnellfoundation. ca/en/resources/publication/de-201-a-
practitioner- s-guide-to-developmental-evaluation.
Fetterman, D., Kaftarian, S. J., & Wandersman, A. H. (Eds.). (2014). Evaluación del
empoderamiento: Conocimientos y herramientas para la autoevaluación, el
desarrollo de la capacidad de evaluación y la rendición de cuentas. Thousand
Oaks, CA: Sage.
FSG. (2014). Evaluación de última generación: Abarcando la complejidad, la conectividad
y el cambio. Stanford Social Innovation Review. Obtenido de www. ssireview.
org/nextgenevalu- ation.
Ghere, G., King, J., Stevahn, L., & Minnema, J. (2006). Una unidad de desarrollo
profesional para reflexionar sobre las competencias de evaluación de programas.
American Journal of Evaluation, 27(1), 108-123.
Lam, C. Y., & Shulha, L. M. (2014). Perspectivas sobre el uso de la evaluación del
desarrollo para el diagnóstico: Un estudio de caso sobre la cocreación de un
programa innovador. American Journal of Evaluation[publicado en línea antes de
imprimir]. Obtenido del sitio Web: http://aje. sagepub.com/
content/early/2014/08/08/1098214014542100.
Langlois, M., Blanchet-Cohen, N., & Beer, T. (2012). El arte del empujón: Cinco
prácticas para evaluadores de desarrollo. Canadian Journal of Program Evaluation, 27(2),
39-59. Miller, R. L., & Campbell, R. (2006). Balance de la evaluación del empoderamiento:
Un empirismo.
de la revisión calificada. American Journal of Evaluation, 27(3), 296-319.
Patton, M. Q. (2011). Evaluación del desarrollo: Aplicar conceptos de complejidad para mejorar la
innovación y el uso. Nueva York: Guilford Press.
Patton, M. Q. (2012). Fundamentos de la evaluación centrada en la utilización. Thousand
Oaks, CA: Sage.
Patton, M. Q. (2015). Qualitative research and evaluation methods (4th ed.). Thousand
Oaks, CA: Sage.
Preskill, H. , y Beer, T. (2012). Evaluación de la innovación social. Extraído de www. fsg.
org/ tabid/191/ArticleId/708/Default. aspx? srpush=true.
Preskill, H., & Gopal, S. (2014). Evaluar la complejidad: Propuestas para mejorar la práctica.
Extraído de www. fsg. org/tabid/191/ArticleId/1204/Default. aspx? srpush=true.
Williams, B. (2005). Sistemas y pensamiento sistémico. En S. Mathison (Ed.), Enciclopedia
de evaluación (pp. 405-412). Thousand Oaks, CA: Sage.
Williams, B. (2008). Consulta sistémica. En L. M. Given (Ed.), The Sage enciclopedia of
quali- tative research methods (Vol. 2, pp. 854-859). Thousand Oaks, CA: Sage.
Williams, B. (2014, 16 de noviembre). A systems practitioner's journey[Publicar en el
blog de AEA365]. Obtenido del sitio Web: https://us-mg204.mail. yahoo.
com/neo/launch?. partner=sbc&. rand=3sva69d24c9fe#.
Williams, B., & van 't Hof, S. (2014). Soluciones malvadas: Un enfoque sistémico de
problemas complejos. Wellington, Nueva Zelanda: Bob Williams. Obtenido de
www.bobwil- liams. co. nz/wicked. pdf.
Willis, J. W., & Edwards, C. (2014) Investigación de acción: Modelos, métodos y ejemplos.
Charlotte, NC: La era de la información.
Wilson-Grau, R., & Britt, H. (2012). Cosecha de resultados. El Cairo, Egipto: Oficina de la
Fundación Ford para Oriente Medio y Norte de África. Obtenido de www.
outcomemapping. ca/ resource/resource. php? id=374.

Patton_DvlpmntlEvaluatnExmplrs.indb 25 7/10/2015 5:44:12 PM