Sei sulla pagina 1di 9

PLANIFICACION Y EVALUACION DE SERVICIOS SOCIALES GRADO EN TRABAJO SOCIAL UNED CANTABRIA

Capitulo 9 OPCIONES EVALUATIVAS A CONSIDERAR EN LA EVALUACIÓN DE LA INTERVENCIÓN SOCIAL

INTRODUCCION Cuando se decide evaluar la intervención social, bien sea un programa o una organización social, hay que adoptar una serie de decisiones evaluativos que se pueden agrupar en cinco bloques:

1) Modalidad de evaluación, 2) finalidad de la misma, 3) enfoque a utilizar,

4)

perspectiva de análisis y, finalmente,

5)

modelo de evaluación.

Cada uno de estos bloques implica una serie de opciones que son las que van configurando el tipo de evaluación que se desea. Cuadro 1 Pag. 176

1. ESTAMENTO DEL QUE PARTE LA DECISION DE EVALUAR

LA DECISION DE QUIEN REALIZA LA EVALUACION

La decisión de evaluar un programa social la pueden tomar:

- Administración de quien depende el programa

- Equipo directivo del programa

- Profesionales

- Usuarios

- Investigadores privados.

Según su pertenencia o no al programa, la evaluación puede partir de:

A. Del propio programa. Para:

Mejorar la actividad del programa Solucionar un problema Aclara o profundizar en una situación Otros más personales

B. De instancias superiores al Programa Imposición de decisiones para control Contrastar eficacia de un programa Mejora institucional Rendir cuentas

C. De investigadores que pretenden realizar el estudio. Privados, para tesis doctoral ó investigación.

Dependiendo del estamento que decide evaluar y su implicación o no en el programa, hay tres tipos de evaluación:

1) Interna 2) Externa 3) Mixta ó coevaluación.

programa, hay tres tipos de evaluación: 1) Interna 2) Externa 3) Mixta ó coevaluación. Pilar Mosquera
programa, hay tres tipos de evaluación: 1) Interna 2) Externa 3) Mixta ó coevaluación. Pilar Mosquera

PLANIFICACION Y EVALUACION DE SERVICIOS SOCIALES GRADO EN TRABAJO SOCIAL UNED CANTABRIA

1.1 EVALUACION

AUTOEVALUACION INSTITUCIONAL. El programa se analiza a sí mismo para:

INTERNA (La realizan los implicados)

- Comprobar si se está haciendo lo que se propuso

- Verificar si se está consiguiendo lo que se buscaba.

Problemas que pueden surgir:

- La resistencia de algunos profesionales a ser observados o ser objeto de evaluación

- El carácter individualista de algunos profesionales

- La falta de motivación profesional

- La carencia de tiempo

- Falta de credibilidad

- Retraso del momento preciso

- Ocultación de los problemas sustantivos

- Impaciencia por obtener resultados

- Miedo al poder punitivo de la evaluación

Criterios generales sobre Ventajas e Inconvenientes:

1) Falta de objetividad. 2) El conocimiento y comprensión a evaluar y de los problemas ha de ser máxima. 3) El peligro de la falta de distancia emocional y el compromiso de los implicados en convertirlo en autojustificación. 4) Puede servir para la autojustificación, para reforzar la mediocridad, más que para promover el cambio necesario. 5) Si hay una buena disposición de los implicados,y hay una libre disposición a la evaluación, evita rechazos, malos entendidos y puede mejorar el programa.

Las ventajas pueden superar a los inconvenientes:

- Incidir en la mejora de la profesionalidad

- La capacidad que le da a los programas para resolver sus problemas

- La valía y fiabilidad de los datos aportados y la superior implicación del personal en las decisiones de mejora.

- Supone un análisis y reflexión sobre la intervención social.

- Puede considerarse como un proceso de investigación en la acción.

1.2 EVALUACION EXTERNA ( La realizan evaluadores externos)

Agentes externos al programa evalúan su funcionamiento. 1º Puede ser promovida por los responsables como consecuencia del deseo de acreditarse, recibir información técnica y rigurosa sobre el estado del programa. 2º Puede pretender la comprobación de los grados de cumplimiento, el conocimiento de la situación, el nivel de logro conseguido. Ventajas:

-

Objetividad.

el conocimiento de la situación, el nivel de logro conseguido. Ventajas: - Objetividad. Pilar Mosquera Conde
el conocimiento de la situación, el nivel de logro conseguido. Ventajas: - Objetividad. Pilar Mosquera Conde

PLANIFICACION Y EVALUACION DE SERVICIOS SOCIALES GRADO EN TRABAJO SOCIAL UNED CANTABRIA

Inconvenientes:

- Mecanismo de control a los ojos de los profesionales

- Presiones para conseguir información rápida y sesgada

- Se exija información en formas y momentos inoportunos

- Se condiciona al observador a que ofrezca información rápida y sesgada, con un sentido determinada.

- Se utiliza esa información recibida del evaluador de forma partidista, arbitraria e interesada.

- Se pretende dirigir la evaluación para que llegue a lugares, personas o situaciones que interesan.

1.3 Evaluación MIXTA O COEVALUACION Cotejar los resultados de la e. interna y externa. Conjuga los intereses de la externa o interna, pero su implantación plantea los inconvenientes de ambas y el coste de tiempo y recursos

2. FINALIDAD DE LA EVALUACION ( Para qué evaluar ) Objetivos generales:

2.1Rendir cuentas a la sociedad ( Control ) Evaluación coste/eficacia. Los profesionales han sido considerados algunas veces como responsables absolutos de los resultados de un programa. Falso, su contribución es sólo uno de los factores. John Elliot : Centra el proceso en la propia institución.

 
  Social

Social

Tipos

Económica

Profesional

“Aceptación por la institución de la responsabilidad misma“

de evaluarse a sí

2.2Comparar programas sociales Compara dos o más programas de intervención social. Método comparado. Proporciona una mirada no egocéntrica y enseña cómo la intervención pública va cambiando para hacer frente a problemas, el tipo de respuesta dada y qué problemas se han encontrado. Ventajas:

- Permite entender situaciones en diferentes contextos y detectar soluciones y nuevas perspectivas. Puede ser una herramienta útil en la evaluación de programas sociales con el objeto de comparar procesos o resultados.

2.3Conocer la evolución de la intervención (E. Formativa) Contribuye al perfeccionamiento de un programa en desarrollo que se realiza a lo largo de un proceso de implementación y a través del que se va constatando la validez de todos los componentes del proceso con respecto al logro de los objetivos que se pretenden.

los componentes del proceso con respecto al logro de los objetivos que se pretenden. Pilar Mosquera
los componentes del proceso con respecto al logro de los objetivos que se pretenden. Pilar Mosquera

PLANIFICACION Y EVALUACION DE SERVICIOS SOCIALES GRADO EN TRABAJO SOCIAL UNED CANTABRIA

Finalidad: Ir tomando decisiones, de forma fundamentada, necesarias para readaptar los componentes del programa o de la intervención social a los objetivos o metas que inicialmente se fijaron. Características:

Procesual: Forma parte intrínseca del programa

Integral: Abarca a todos los elementos del programa

Sistemática: Es un proceso riguroso

Estructurante: Permite ir ajustándose a las necesidades del momento

Progresiva: Tiene en cuenta los logros conseguidos

Innovadora: Permite constantemente la toma de decisiones nuevas

Científica: Analiza todos los elementos del proceso como parte de un sistema con el fin de determinar cuál es el papel de cada uno de ellos dentro del proceso.

2.4 Conocer los resultados finales de la intervención social ( E. Sumativa )

Comprobar

los

resultados

de

un

programa.

Es

complementaria

a

la

formativa.

 

Sirve

para

adaptar,

continuar,

aplicar

o

rechazar

un

programa

de

intervención social.

Funciones:

1. Atestiguar el logro de los objetivos

2. Certificar el estado

3. Certificar la capacidad de la institución encargada de su aplicación

3. NIVEL

DE

SOCIALES:

ANÁLISIS

Hay 2 NIVELES:

EN

3.1 Nivel global u holístico:

LA

EVALUACION

DE

LOS

SERVICIOS

Considera la evaluación como un todo en el que todas las partes, todos los sujetos implicados y todas las fases del desarrollo de un programa deben ser tenidas en cuenta de manera globalizadora. Supuestos: Que Un mejor entendimiento del programa podría mejorar las oportunidades y experiencias que se prevén en la intervención. Estudios y revisiones sistemáticas permiten a la institución responsable determinar y producir la evidencia de hasta qué punto están implantando la calidad deseada. Un estudio global puede ayudar a los profesionales a identificar los efectos que requieran atención de departamento, servicios o de la organización entera. Puede definirse desde la aplicación del modelo ecológico al estudio y comprensión de las organizaciones. Concepción sistémica de la evaluación según Sabirón Sierra. Ecosistema: conjunto de organismos en un ambiente determinado

Sabirón Sierra. “ Ecosistema: conjunto de organismos en un ambiente determinado ” Pilar Mosquera Conde Página
Sabirón Sierra. “ Ecosistema: conjunto de organismos en un ambiente determinado ” Pilar Mosquera Conde Página

PLANIFICACION Y EVALUACION DE SERVICIOS SOCIALES GRADO EN TRABAJO SOCIAL UNED CANTABRIA

Postulados del modelo ecológico:

Todos los elementos del ecosistema son iguales

El contexto es determinante

Atiende a procesos que se desarrollan en una comunidad

El serde la institución es lo que importa frente al debe ser

Estudia los papeles que desempeñan los profesionales, usuarios y responsables para interpretar la realidad

Hay normas y reglas que se negocian o imponen

Se crean indicadores de situación en la institución

Hay conexiones con el medio exterior que condicionan la dinámica que se produce en los servicios sociales.

Ventajas del análisis global:

Aborda la realidad tal como es, con toda su riqueza y complejidad.

Es el único que permite apreciar las relaciones entre elementos

Posibilita constatar las congruencias e incongruencias del sistema, los desajustes, desfases y faltas de coordinación, así como la coherencia entre los elementos. Inconvenientes del análisis global:

Metodología compleja

Incorporar gran cantidad de variables

Cada variable necesita una amplia red de indicadores para ganar en validez

Dificultad para conseguir de las fuentes de los datos , la dedicación y el esfuerzo necesarios para contestarlos

3.2 Nivel de análisis parcial o molecular:

Supone delimitar la evaluación del plan o programa a un aspecto o parte de su totalidad: usuarios, profesionales, la intervención de un aspecto, redes de información. Inconvenientes:

Existe el peligro de hacer perder la referencia integradora y explicativa de todo el proceso. Hace perder de vista la consideración del servicio como un ecosistema que permite explicar y dar contenido al funcionamiento genera y a los procesos que desarrollan la actividad. Desde un punto de vista sistemático no debe olvidarse que descontextualiza el aspecto evaluado subsistema del sistema total, lo que no permite comprender el porqué de determinados fenómenos Ventajas:

Permite una visión más detallada y completa, incluso más fiable y válida por una mejor medida de las variables.

Inconvenientes:

Peligro de perder la referencia integradora y explicativa de todo el proceso

Hace perder de vista la consideración del servicio como un ecosistema

Descontextualiza el aspecto evaluado

consideración del servicio como un ecosistema  Descontextualiza el aspecto evaluado Pilar Mosquera Conde Página 5
consideración del servicio como un ecosistema  Descontextualiza el aspecto evaluado Pilar Mosquera Conde Página 5

PLANIFICACION Y EVALUACION DE SERVICIOS SOCIALES GRADO EN TRABAJO SOCIAL UNED CANTABRIA

3.3. Nivel de análisis Mixto Cuenta de partida con un planteamiento global para detectar niveles, funciones actitudes, relaciones pueden poner de manifiesto dificultades, problemas o conflictos.

A

partir de un estudio de dificultades pueden decidir un orden de prioridades,

la

toma de decisiones de mejora y la posterior evaluación parcial, localizada en

esos aspectos, más detallada y profunda que la global.

4. PERSPECTIVA EN LA QUE SE ENMARCA LA EVALUACIÓN

4.1Cuantitativa:

Preocupación por el control de las variables y la medida de los resultados expresados numéricamente. Se fundamenta en la psicología y en las ciencias exactas. Características:

Objetividad en la evaluación

Énfasis casi exclusivo en los resultados

hipotético-deductivo.

Método

Verificación

experimental

de

las

hipótesis.

Observación rigurosa de la metodología estadística

Cuantificación de las observaciones

Requiere la permanencia del proyecto durante un tiempo prolongado

Búsqueda

de

información

cuantitativa

mediante

medios

e

instrumentos objetivos

Da mayor importancia a las medias que a las diferencias individuales y a medir de forma inmediata lo que parece más cuantificable, no rastrea los efectos a largo plazo.

Debe preocuparse del grado en que se han alcanzado los objetivos.

Los datos tienen una utilidad específica para un destinatario determinado: responsable del diseño o planificación. Críticas:

La naturaleza de los fenómenos sociales aconseja un enfoque cualitativo porque su complejidad no puede ser captada totalmente por los diseños experimentales.

Las explicaciones numéricas no dejan paso a explicación causal de la realidad

La atribución numérica a realidades complejas supone riesgos importantes.

1. Proceso codificador. Se parcela una realidad única y se califica numéricamente un hecho cualitativo. Subjetividad del calificador.

2. Proceso decodificador.

Se atribuye significado a los números asignados por el calificador.

Utilizar pautas cuantificadas como criterio de comparación resulta arbitrario y no es adecuado comparar puntuaciones. Es relativo.

El investigador debe descifrar lo que dicen los números. Comprender las claves para realizar un correcto descifrado. Sin claves se llega a conjeturas.

las claves para realizar un correcto descifrado. Sin claves se llega a conjeturas. Pilar Mosquera Conde
las claves para realizar un correcto descifrado. Sin claves se llega a conjeturas. Pilar Mosquera Conde

PLANIFICACION Y EVALUACION DE SERVICIOS SOCIALES GRADO EN TRABAJO SOCIAL UNED CANTABRIA

Los números de la evaluación descontextualiza el dato y le priva de significado.

4.2 Cualitativa:

Su interés radica en la descripción de los hechos observados para interpretarlos en el contexto global en el que se producen, con el fin de explicar los fenómenos. Se fundamenta en la Etnografía y la Sociología.

Características:

Objetividad en la ciencia es relativa. La ciencia pretende comprender la realidad y la evaluación entender y valorar los procesos y resultados de un programa.

Comprender una situación donde se interactúa con intencionalidad y significados subjetivos requiere tener en cuenta las diferentes posiciones, opiniones e ideologías.

La evaluación debe comprenderse en función de los valores.

El objetivo de la evaluación no son sólo conductas manifiestas, ni resultados a corto plazo. Los efectos secundarios son tanto o más significativos que los inmediatos y planificados.

El campo de los productos de intervención debe ampliarse.

La evaluación centrada en los procesos intenta capturar la singularidad de las situaciones concretas, las características particulares que definen una situación.

La evaluación cualitativa requiere metodología sensible a las diferencias, a los acontecimientos imprevistos, al cambio y al progreso, a las manifestaciones observables y a los significados latentes.

Usa la metodología etnológica de investigación de campo.

Atiende a lo singular, requiere un diseño flexible que permita el enfoque progresivo en áreas que parecen más significativas en el curso de la investigación.

Propósito: comprender el objeto de estudio comprendiendo las aspiraciones, intereses e interpretaciones de los que interactúan para ofrecer información a cada uno de los participantes para entender, interpretar e intervenir del modo más adecuado.

Debe respetar el derecho a la intimidad de todos los que participan en la evaluación.

4.3

Complementariedad de perspectivas. Las dos perspectivas se complementan y se señalan las ventajas del empleo simultáneo de ambos. Ventajas:

1. Investigación evaluativa tiene propósitos múltiples que han de ser atendidos bajo las condiciones más exigentes. Diversidad de métodos.

2. Empleando los dos métodos pueden vigorizarse para mejorarlo que puede aportar cada uno por separado.

3. Ningún método está libre de prejuicios. Hay que emplear múltiples técnicas.

3. Ningún método está libre de prejuicios. Hay que emplear múltiples técnicas. Pilar Mosquera Conde Página
3. Ningún método está libre de prejuicios. Hay que emplear múltiples técnicas. Pilar Mosquera Conde Página

PLANIFICACION Y EVALUACION DE SERVICIOS SOCIALES GRADO EN TRABAJO SOCIAL UNED CANTABRIA

Inconvenientes:

1. Puede resultar caro

2. Supone demasiado tiempo

3. Los investigadores pueden no tener adiestramiento suficiente en ambos tipos de métodos para utilizarlos.

4. La moda o adhesión a la forma dialéctica del debate.

Estos obstáculos no son insalvables.

5. ENFOQUE DE LA EVALUACION

Enfoques o modelos útiles para la evaluación de programas de intervención social:

Objetivos de comportamiento o en metas- Tyler Parte del análisis de los objetivos formulados por los responsables y comprueba si se han alcanzado. Éxito: no hay discrepancia entre lo formulados y el resultado. Tiene en cuenta la productividad y responsabilidad. No la eficiencia. Utilizado en Educación y Administraciones Públicas.

Sin referencia a objetivos. Scriven Se basa en el análisis de las necesidades del usuario Su objetivo es reducir los efectos de los sesgos en la evaluación. El evaluador debe investigar todos los resultados. Es el menos utilizado. “necesidad “ como fundamento de la evaluación. Establecer la validez objetiva de las necesidades proporciona al evaluador una fuente autorizada de normas. Intermedio entre el experimental y cualitativo

Enfoque de Toma de Decisiones - como información para la adopción de decisiones Tiene que estructurarse a partir de las decisiones reales que hay que tomar por los responsables. Stuffelbeam 1987 La evaluación es el proceso de delimitar, obtener y proporcionar información útil para posibles decisiones alternativas.

Define 3 ámbitos de decisión:

Cuatro tipos de situación:

Define 3 ámbitos de decisión: Cuatro tipos de situación: 1. Homeostasia 2. Incrementalismo 3. Neomovilismo 1.
Define 3 ámbitos de decisión: Cuatro tipos de situación: 1. Homeostasia 2. Incrementalismo 3. Neomovilismo 1.

1. Homeostasia 2. Incrementalismo 3. Neomovilismo

1. planificación 2. estructuración

3. implementación

4. reciclado

2. estructuración 3. implementación 4. reciclado Delimitación Obtención Tres fases de la evaluación:

Delimitación

Obtención

Tres fases de la evaluación:

Comunicación

4. reciclado Delimitación Obtención Tres fases de la evaluación: Comunicación Pilar Mosquera Conde Página 8
4. reciclado Delimitación Obtención Tres fases de la evaluación: Comunicación Pilar Mosquera Conde Página 8

PLANIFICACION Y EVALUACION DE SERVICIOS SOCIALES GRADO EN TRABAJO SOCIAL UNED CANTABRIA

Cuatro tipos de evaluación:

TRABAJO SOCIAL UNED CANTABRIA Cuatro tipos de evaluación: Contexto Entrada Proceso Producto  Análisis de sistemas

Contexto

Entrada

Proceso

Producto

Análisis de sistemas Medida de los resultados, se basa en la eficiencia del programa. Los datos que se utilizan son cuantitativos. Las medidas de los resultados se relacionan con los procesos mediante análisis de correlación y otras técnicas estadísticas. Requiere un buen modelo experimental y su objetivo fundamental es ser una evaluación lo más objetiva posible, firme cuyos resultados no varíen aunque se cambie de evaluadores. Problemas:

Proporciona pruebas válidas y fiables pero caen en un reduccionismo excesivo que no concuerda con la complejidad humana.

Revisión profesional ( acreditación ) Evaluar la preparación profesional. Profesionales juzgan el trabajo de sus colegas. La participación de la revisión es sobre los compañeros de profesión. Utilidad:

Evaluación de de diseños de programas de intervención social.

Evaluación de la implementación. Evaluación global. Ejemplos: departamentos o unidades de universidades Tribunales de especialización de las especialidades médicas. La fuente de normas y criterios son los profesionales mismos.

Estudio de casos ( o negociación ) Revisión de las partes de que consta el programa, utilizando la percepción de las personas que participan en él y el propio evaluador. Pretende mejorar la comprensión que tienen los destinatarios, presentándole cómo lo ven los otros.( House 1994)

que tienen los destinatarios, presentándole cómo lo ven los otros.( House 1994) Pilar Mosquera Conde Página
que tienen los destinatarios, presentándole cómo lo ven los otros.( House 1994) Pilar Mosquera Conde Página