UNIVERSIDAD DE LA FRONTERA - FACULTAD DE EDUCACIN Y HUMANIDADES - DEPARTAMENTO DE PSICOLOGA

Magster en Psicologa Jurdica y Forense

UNIVERSIDAD DE LA FRONTERA FACULTAD DE EDUCACIN Y HUMANIDADES DEPARTAMENTO DE PSICOLOGA PROGRAMA DE MAGSTER EN PSICOLOGIA JURDICA Y FORENSE

Confiabilidad Inter-evaluadores de la Escala de Evaluacin del Funcionamiento Familiar de Carolina del Norte (NCFAS) en Muestra Piloto Chilena de Maltrato Infantil Leve y/o Moderado. Elizabeth Pino Silva

Tesis presentada a la Universidad de La Frontera para optar al grado de Magster en Psicologa Jurdica y Forense

Directora de Tesis Marina Alarcn Espinoza Enero, 2011

Confiabilidad inter-evaluadores NCFAS 2 Resumen La presente investigacin busc determinar preliminarmente la confiabilidad interevaluadores de la North Carolina Family Assessment Scale (NCFAS), consistente en un protocolo aplicado por operadores de programas sociales de bienestar infanto-juvenil, sobre fortalezas y debilidades familiares identificadas, con 36 itemes agrupados en 5 factores: Entorno, Competencias Parentales, Interacciones Familiares, Seguridad Familiar y Bienestar del Nio/a. Se realiz un estudio no-experimental, correlacional y transversal, utilizando muestreo no probabilstico e intencionado, con muestra piloto chilena compuesta por 38 participantes, nios, nias y/o adolescentes vctimas de maltrato infantil leve y/o moderado, ingresados a un P.I.B. de La Protectora, Chile. Resguardando aspectos ticos y basndose en informacin registrada en fichas individuales de los participantes, dos duplas de evaluadoras valoraron, individual y separadamente, los 36 tems de la NCFAS, asignndoles una de las 6 categoras existentes. Se comprobaron adecuados niveles de fuerza de concordancia interevaluadores (ndice Kappa): dupla 1 (n = 25): en el 77,8% de los temes; dupla 2 (n = 13): muy buena, buena y/o moderada en el 100% de los temes. Se sugieren estudios similares en otros programas infanto-juveniles, identificar fuentes de variabilidad de concordancia interevaluadores, observada en algunos temes, y estrategias que fortalezcan la objetividad para el uso de la NCFAS, tales como, optimizar procesos de capacitacin, entrenamiento y supervisin contnua, con casos en programas infanto-juveniles de diagnstico e intervencin ambulatoria y/o residencial.

Confiabilidad inter-evaluadores NCFAS 3

I. INDICE

Resumen I. II. III. IV. V. VI. Introduccin Marco Conceptual Hiptesis Metodologa Resultados Discusin 4 4 15 15 .... 25 .... 30 38 44

VII. Referencias VIII. Anexos

Confiabilidad inter-evaluadores NCFAS 4 Confiabilidad Inter-evaluadores de la Escala de Evaluacin del Funcionamiento Familiar de Carolina del Norte (NCFAS) en Muestra Piloto Chilena de Maltrato Infantil Leve y/o Moderado. En Amrica Latina, el maltrato infantil intrafamiliar presenta altos niveles de incidencia, siendo considerado como un importante problema de salud pblica, principalmente por las graves consecuencias que puede traer en el desarrollo de los nios (Barcelata y lvarez, 2005). En Chile, segn el Tercer Estudio de Maltrato Infantil del ao 2006 realizado por UNICEF, la violencia hacia los nios contina siendo un grave problema: un 75,3% de los nios y nias entrevistados recibe algn tipo de violencia por parte de sus padres; adems, si se comparan los resultados de los aos 1994, 2000 y 2006, se comprueba que hay un aumento de la violencia psicolgica, mientras que la violencia fsica grave ha disminuido en relacin con los aos anteriores en el nivel socioeconmico bajo (UNICEF, 2008). El abordaje del maltrato infantil resulta muy complejo por diversas razones, tanto de tipo terico como prctico. En el primer caso, an se pretende alcanzar consenso pblico y una definicin general y aplicable a todas las sociedades y culturas (Sociedad Chilena de Pediatra Comit de Maltrato Infantil, 2007), como tambin, se encuentra el problema de que ninguno de los modelos explicativos brinda una respuesta cabal para la comprensin del maltrato infantil como fenmeno, ya que ste sera la expresin de una disfuncin en los sistemas nio/niapadres-ambiente-cultura (Aracena et al., 2000). A nivel terico, los estudios realizados en numerosos pases sealan al maltrato infantil como un problema multicausal, en el que intervienen las caractersticas del maltratador, del maltratado, el medio ambiente y un estmulo disparador de la agresin (Jimnez, Finlay, De la Paz, Portell y Canino, 2006); sin embargo, existiendo distintas definiciones y tipos de maltrato infantil, ninguna de ellas es aceptada mundialmente (Aracena, Castillo, Haz, Cumsille, Muoz, Bustos y Romn, 2000). Para este estudio se considerar la definicin de maltrato infantil del

Confiabilidad inter-evaluadores NCFAS 5 Grupo de Trabajo sobre el Maltrato Infantil dependiente del Ministerio de Salud de Chile, como agresin fsica, emocional o sexual contra un nio o nia, menor de 18 aos, o la falta en proporcionar los cuidados necesarios para la expresin de su potencial de crecimiento y desarrollo, contando con los elementos mnimos para ello, que excedan los lmites culturalmente aceptables para esa comunidad o que transgreda el respeto a los derechos del nio (Vizcarra, Corts, y Bustos, 2001). Especficamente, las definiciones de maltrato infantil que se centran en los factores familiares, lo sealan como cualquier accin u omisin no accidental por parte de los padres o cuidadores responsables del nio, que compromete la satisfaccin de sus necesidades bsicas (Salcedo y Carvalho, 2005); o tambin, como cualquier problema que resulte de una falta de razonable cuidado y proteccin de los nios por sus padres, tutores u otras personas que se ocupen de ellos, es decir, todo dao fsico o psquico ocasionado intencionalmente a una persona menor de edad por cualquier adulto, ya sea de forma pasiva o activa, siendo la primera, la negligencia en el cuidado del nio, y la segunda, la intencin directa (Jimnez et al., 2006). Dentro de los factores de riesgo a nivel familiar, existen algunas caractersticas y/o condiciones asociadas a maltrato infantil, tales como: transmisin intergeneracional del maltrato infantil, testigo de violencia entre los progenitores, ingesta excesiva de alcohol y/o abuso de drogas de los progenitores, problemas de salud mental de los progenitores, caractersticas de personalidad de los progenitores (Ej. impulsividad, baja empata, rasgos narcisistas, desregulacin emocional), baja autoestima de los progenitores, elevado estrs familiar, aislamiento social de la familia, estilo de crianza, trastornos del apego, abandono de las funciones parentales, maternidad obligada, matrimonio forzado, infelicidad de pareja, bajo nivel de escolaridad de los progenitores, elevado nmero de hijos/hijas, desempleo y/o problemas socioeconmicos, entre otros. (Antequera, 2006; Aracena et al., 2000; Arruabarrena y De Pal, 1994; Barcelata y lvarez, 2005; Gmez, Muoz y Haz, 2007; Hewitt, 2005; Medina, Aracena y

Confiabilidad inter-evaluadores NCFAS 6 Bilbao, 2004; Milner, 1995, citado en Moreno, 2005; Moreno, 2005; Salcedo y Carvahlo, 2005; Vizcarra, Corts y Bustos, 2001; Sociedad Chilena de Pediatra, Comit de Maltrato Infantil, 2007). De acuerdo a la literatura cientfica, existen distintos modelos para explicar el maltrato infantil en contexto familiar, tales como el modelo psicolgico-psiquitrico, modelo psicosocial, modelo sociocultural, modelo ecolgico, modelo sistmico, teora del apego, modelo transaccional y modelo de la vulnerabilidad del nio (Antequera, 2006). El modelo ecolgico es el que mejor se aplica para efectos del presente estudio, pues permite plantear una visin integradora del maltrato infantil, analizando distintos niveles, que van desde lo individual a lo sociocultural, pasando por los progenitores/cuidadores, la familia y las redes sociales cercanas, sin dejar de lado las distintas interacciones que se producen entre stos (Aracena, Castillo, Haz, Cumsille, Muoz, Bustos, Romn, 2000; Bronfenbrenner, 1987; Rodrguez, 1998), integrando factores de los cuidadores, las caractersticas del nio, la interaccin social y familiar, y el medioambiente cultural (Larran et al., 1994, citado en Aracena et al., 2000; Bronfenbrenner, 1987; Rodrguez, 1998). En el modelo ecolgico existe preocupacin por una acomodacin progresiva entre un organismo humano en desarrollo y su ambiente inmediato, y por la manera en que esta relacin se produce por medio de las fuerzas que emanan de los sistemas ms alejados (Bronfenbrenner, 1987). El modelo ecolgico, posteriormente desarrollado por Belsky (1993), establece que el primer nivel es el Ontosistema: Agrupa los aspectos propios del individuo (del cuidador/progenitor): personalidad, estado de nimo, prcticas de crianza, conocimiento con respecto a las caractersticas evolutivas del nio y sus necesidades; dichos aspectos seran afectados por la historia de malos tratos, desatencin severa, rechazo emocional a la que fue sometido durante su infancia y la historia de desarmona o ruptura familiar. El segundo nivel es el

Confiabilidad inter-evaluadores NCFAS 7 Microsistema: Es el contexto familiar inmediato en el cual se producen las pautas de relacin y de comunicacin interpersonal y bsicas para la comprensin de los patrones de interaccin padres-hijos, como por ejemplo, el autoritarismo o el ciclo ascendente de conflicto y agresin entre los integrantes. El tercer nivel es el Ecosistema: Constituido por la vecindad o el barrio en el cual est inserto el grupo familiar; el desempleo, las malas condiciones del lugar y/o del trabajo, el aislamiento, la falta de redes social formales e informales y el acceso a salud y educacin de calidad deficiente generan condiciones propicias para que el maltrato se perpete. Finalmente, el cuarto nivel es el Macrosistema, donde se anidan los dems sistemas e incluye a la cultura, las actitudes y creencias en torno a la violencia, el castigo como modo de educacin de los nios, la infancia, el papel de los padres y la familia (Belsky, 1993). Este aporte ecosistmico de Belsky trata de dar respuesta a la insuficiencia explicativa que evidenciaron los distintos modelos y factores explicativos precedentes, centrados en las caractersticas del maltratador, o en la interaccin padres hijos, o en las condiciones contextuales donde se produce la conducta de abuso, planteando que el anlisis del fenmeno del maltrato infantil requiere de ir ms all de los aportes de los modelos anteriores, identificando la interaccin entre los factores protectores y de riesgo, tanto estables como temporales, presentes en los diferentes sistemas que se relacionan con el nio, nia y/o adolescente. Desde el modelo ecolgico es posible comprender ms integralmente los mltiples factores del maltrato infantil que se pueden potenciar mutuamente, no slo relativos al contexto familiar, sealados en el prrafo anterior, sino que adems considerando, por ejemplo, una cultura que valida y normaliza el uso de la violencia en general, familias socialmente aisladas, progenitores/cuidadores ms afectados por estrs y desajustes psicolgicos, relaciones familiares entre adultos y nios/as caracterizadas por hostilidad, indiferencia, negligencia y rechazo, y nios/nias/adolescentes que presentan problemas externalizados (Ej. impulsividad,

Confiabilidad inter-evaluadores NCFAS 8 hiperactividad, desobediencia, agresividad, bajo auto-control, etc.), o bien, internalizados (Ej. pasividad, apata, retraimiento social, sintomatologa ansioso-depresiva, etc.). Considerando la visin integral de este modelo, al plantear multicausalidad y multi-interaccin de factores individuales, familiares y sociales relacionados con el maltrato infantil, se requiere disponer de procedimientos, herramientas y tcnicas de evaluacin que analicen los factores de proteccin y de riesgo, tanto del nio/adolescente, como tambin de las familias y los diversos contextos que con ellos/as se relacionan. Por otra parte, el abordaje del maltrato infantil resulta muy complejo no slo por razones de tipo terico, sino que tambin de ndole prctica. Al respecto, es difcil definir y describir cada caso individual (Sociedad Chilena de Pediatra Comit de Maltrato Infantil, 2007) y frecuentemente co-existen diferentes tipos de maltrato y abandono (Gmez de Terreros, 2006). En Chile, si bien ha aumentado el conocimiento de las distintas formas de maltrato, la sensibilidad de los profesionales y de la poblacin hacia el problema, y la frecuencia del diagnstico de maltrato a los nios, nias y adolescentes, an se observa una carencia de registros sistemticos y confiables, insuficientes criterios comunes y escasa coordinacin entre instituciones, lo que no permite conocer la real magnitud del problema del maltrato infantil (De la Barra, Rodrguez, lvarez, Vergara, Toledo y Caris, 1995). Por ello, para favorecer el desarrollo de acciones y programas ms especficos de prevencin, control y tratamiento (De la Barra et al, 1995; Gmez de Terreros, 2006), se requiere contar con herramientas de evaluacin del funcionamiento familiar que permitan determinar en qu medida las caractersticas y/o condiciones familiares asociadas al maltrato infantil se presentan como factores de riesgo o de proteccin. En Chile y en Latinoamrica, dentro del rea de la prevencin y proteccin de diversas formas de maltrato infantil y negligencia parental, existe una urgente necesidad de contar con

Confiabilidad inter-evaluadores NCFAS 9 instrumentos de evaluacin, con propiedades psicomtricas adecuadas, pertinentes y de utilidad prctica en el ejercicio cotidiano de los programas sociales y que, al mismo tiempo, favorezcan y faciliten la labor de los investigadores (Valencia y Gmez, 2010). Particularmente, en nuestro pas se dispone de escasas herramientas para evaluar familias y no se cuenta con instrumentos que evalen el funcionamiento familiar desde la perspectiva de los profesionales ni que tengan como finalidad su uso en programas psicosociales (Valencia y Gmez, 2010). Actualmente, en Chile se utilizan herramientas extranjeras, algunas adaptadas y otras validadas a la realidad nacional, que evalan determinados aspectos del funcionamiento familiar, tales como competencias parentales, manejo de conflictos, riesgo de violencia en la pareja, potencial de maltrato fsico infantil intrafamiliar y ambiente familiar en el que se desarrollan los infantes. Por ejemplo, la Gua de Valoracin de las Competencias Parentales a travs de la Observacin Participante, que evala las capacidades de los padres de brindar los cuidados que aseguren la satisfaccin de las necesidades infantiles en una familia (Barudy y Dantagnan, 2005), el Conflict Tactics Scale detecta estrategias de resolucin de conflictos (Illanes, Bustos, Vizcarra y Muoz, 2007), el Child Abuse Potencial Inventory (PMF) evala potencial de maltrato fsico del cuidador (Haz y Ramrez, 2002), la Escala de Cohesin y Adaptabilidad Familiar (CAF o FACES en ingls) mide cohesin, adaptabilidad y comunicacin familiar (Zegers, Larran, Polaino-Lorente, Trapp y Diez, 2003), el Home Observation for Measurement of the Environment (HOME) mide calidad de estimulacin y apoyo dado a un preescolar en su ambiente familiar (Bustos, Herrera y Mathiesen, 2001), la Spouse Abuse Risk Assessment (SARA) identifica el riesgo de violencia fsica y sexual contra la pareja en el contexto familiar y domstico (Andrs Pueyo, Lpez y lvarez, 2008); entre otros. Sin embargo, pese a los beneficios y utilidades que presentan dichos instrumentos, careceran de otros aspectos. Por una parte, son focalizados, es decir, se centran slo en algn

Confiabilidad inter-evaluadores NCFAS 10 aspecto especfico del funcionamiento familiar (Ej. riesgo de violencia en la pareja), sin considerar en forma simultnea o integrada distintos factores de riesgo/proteccin asociados al maltrato infantil, en el mbito individual del infante/adolescente, de sus progenitores/cuidadores, de su familia y de su entorno sociocomunitario. Adicionalmente, la aplicacin de instrumentos de autorreporte que evalan algn aspecto del funcionamiento familiar, en algunos casos conlleva un importante componente de deseabilidad social, potencial de engao y simulacin, especialmente debido a las posibles consecuencias de los resultados de la evaluacin familiar, como por ejemplo, la judicializacin de los casos, o la aplicacin de medidas de proteccin de mayor severidad, como es el ingreso del nio, nia y/ adolescente a centros residenciales, procesos de adopcin, etc. A modo de ejemplo, especficamente la Gua de Valoracin de las Competencias Parentales de Barudy y Dantagnan, si bien tiene la ventaja de ser exhaustiva y focalizada en los padres y/o cuidadores, requiere ser aplicada a los progenitores, adems de bastante tiempo y entrevistas diagnsticas para su aplicacin, requisito menos viable en la mayora de los programas infanto-juveniles de nuestro pas, pues se debe considerar, por una parte, la elevada y constante demanda laboral hacia los profesionales que all se desempean, y por otra parte, las causales y/o situaciones que afectan a los nios, nias y/o adolescentes, tales como, vulneracin de derechos, disfuncionalidad parental, familias multi-problemticas, pobreza y exclusin social en sus comunidades (Gmez y Haz, 2008), las cuales podran implicar una suerte de omisin y/o falseamiento de la informacin por parte de los/las entrevistados/as. Respecto de la existencia de instrumentos de evaluacin familiar en Chile, la Sociedad Protectora de la Infancia, institucin colaboradora con el Servicio Nacional de Menores, en enero de 2008 ha adaptado una escala de evaluacin familiar integral, denominada Escala de Evaluacin del Funcionamiento Familiar o NCFAS (North Caroline Family Assessment Scale) (Anexo 1), que consiste en una gua o protocolo con formato de valoracin cualitativa, que

Confiabilidad inter-evaluadores NCFAS 11 realizan los operadores de programas sociales de bienestar infantil y juvenil, relativas a las fortalezas y debilidades identificadas en una familia, mediante 36 temes, agrupados en 5 dominios (Fraser, Kirk y Reed-Ashcraft, 2001) (los cuales se detallarn ms adelante en la seccin Instrumento). Los cinco dominios de la NCFAS son: a) Entorno, que se refiere al contexto de desarrollo del nio y examina condiciones de salubridad, seguridad y estabilidad familiar cotidiana; b) Competencias Parentales, referida a conocimientos, conductas y caractersticas de los padres/madres o cuidadores para criar adecuadamente; c) Interacciones Familiares, que evala la relacin entre los distintos miembros de la familia; d) Seguridad Familiar, que identifica situaciones que amenacen la integridad fsica y emocional de sus miembros, como maltrato infantil o violencia de pareja; y e) Bienestar del Nio, que permite ponderar el desempeo actual del nio/a o adolescente en diversos mbitos de su vida, como la escuela, relacin con pares o salud mental (Valencia y Gmez, 2010). La NCFAS fue desarrollada a mediados de 1990 por un grupo de trabajo ligado al Sistema de Bienestar Infantil de Carolina del Norte (agencias de proteccin gubernamental, fundaciones/organizaciones sociales y universidad), liderado por los investigadores Raymond Kirk y Kellie Reed-Ashcraft, y apoyados por la organizacin National Family Preservation Network (NFPN) (Valencia y Gmez, 2010). En relacin a los modelos explicativos del maltrato infantil anteriormente sealados, los temes de la NCFAS se relacionan con los distintos subsistemas del Modelo Ecolgico de Bronfenbrenner (Fraser et al., 2001), ya descrito anteriormente. Dentro de las ventajas de la NCFAS, se encuentran: capturar la naturaleza ecolgica del funcionamiento familiar; abordar las preocupaciones por la seguridad infantil, los sistemas de bienestar infantil, salud mental y justicia juvenil; requerir un mnimo de entrenamiento para ser administrada; y ocupar una cantidad limitada de tiempo para completarse (30 minutos o menos) (Fraser et al., 2001)

Confiabilidad inter-evaluadores NCFAS 12 Respecto de las propiedades psicomtricas de la escala, diversos estudios realizados en Estados Unidos han examinado la validez y confiabilidad de la NCFAS. Los primeros estudios desarrollados a fines de 1990, mostraron una adecuada consistencia interna de sus dimensiones (N = 288), obtenindose valores de alfa de Cronbach entre 0,76 y 0,93 (Reed, 1998; Fraser et al., 2001). Asimismo, se evalu la validez de constructo de las dimensiones de la NCFAS, utilizando como criterio instrumentos estandarizados, como el Child Well-Being Scales, Index of Family Relations y Family Inventory of Resources for Management; estudio que mostr que las correlaciones r de Pearson entre la NCFAS y estos instrumentos, eran estadsticamente significativas (N = 126, p < 0,01) para 5 de 6 relaciones estudiadas, con valores entre 0,26 y 0,71 (Fraser et al., 2001). El segundo estudio de validacin de la NCFAS versin 2.0, abord la consistencia interna y la validez concurrente y predictiva (Kirk, Kim & Griffith, 2005), obtenindose alfa de Cronbach entre 0,72 y 0,90 (N = 1279). Sobre la validez predictiva, el estudio mostr que las puntuaciones de los casos al final de la intervencin, estaban directamente asociadas con una mayor probabilidad de permanencia en su familia, siendo un criterio de xito en la intervencin (N = 1279), replicndose este hallazgo en seguimientos de hasta un ao (N = 487). En otro estudio reciente, se evalu la efectividad de programas intensivos de preservacin familiar, con familias atendidas entre los aos 2004 y 2006, cuyos niveles de consistencia interna reportados para las dimensiones de la NCFAS, fueron alfa de Cronbach entre 0,77 y 0,94 (Kirk & Griffith, 2007). Adicionalmente, en un estudio realizado por el Centro para la Investigacin de Servicios Sociales de la Universidad de California en Berkeley en el ao 2006 (Johnson, Stone, Lou, Vu, Ling, Mizrahi & Austin, 2006), donde se compararon 85 instrumentos de evaluacin familiar seleccionados por los investigadores, la NCFAS obtuvo el primer lugar, en base a los siguientes

Confiabilidad inter-evaluadores NCFAS 13 requisitos: a) abordaje integral de dominios relevantes de evaluacin familiar; b) validez y confiabilidad en distintas etapas de un caso; y c) utilidad prctica en el sistema pblico de bienestar y proteccin infantil; destacando por su facilidad de administracin (tiempo, instrucciones, puntuacin y claridad de interpretacin) y sus propiedades psicomtricas, siendo altamente recomendada por los evaluadores (Johnson et al., 2006). Actualmente, la NCFAS se aplica en sus distintas versiones, en cerca de 450 agencias y organizaciones en Estados Unidos, Canad y Australia (NFPN, 2009, citado en Valencia y Gmez, 2010). Recientemente en Chile, adems de la bien establecida consistencia interna y validez de la NCFAS con poblacin estadounidense (Johnson et al., 2006), tambin se present evidencia sobre la consistencia interna y validez de constructo de la versin en espaol de la escala, hallazgos consistentes con lo reportado en las investigaciones previas sobre la NCFAS (Valencia y Gmez). En este estudio, se utilizaron datos de 528 participantes de 8 programas chilenos de intervencin familiar para la prevencin secundaria del maltrato y negligencia infantil (no constitutivos de delito), en el contexto de la evaluacin diagnstica de usuarios de Programas de Intervencin Breve de la Sociedad Protectora de la Infancia, siendo la primera investigacin que se explora la versin en espaol de la NCFAS y con equipos profesionales de Chile, respecto de la consistencia interna y validez de constructo de esta escala, cuyos anlisis estadsticos dan cuenta de adecuadas propiedades psicomtricas y una alta consistencia interna de la escala (Valencia y Gmez, 2010). Los resultados obtenidos en este estudio indican que todas las dimensiones de la versin en espaol de la NCFAS muestran una alta consistencia interna, con valores alpha de Cronbach entre 0,782 y 0,868; adems, los valores de consistencia interna de todas las dimensiones indican resultados comparables al estudio de Kirk y Griffith (2007, Valencia y Gmez, 2010)

Confiabilidad inter-evaluadores NCFAS 14 En Chile, adems, la NCFAS es utilizada por los Programas de Intervencin Breve (P.I.B.) de la Sociedad Protectora de la Infancia, los que a lo largo del pas intervienen psicosocial y ambulatoriamente para resolver vulneraciones de derecho que afectan a nios, nias y adolescentes, asociadas a situaciones de maltrato infantil leve y/o moderado (no constitutivo de delito). El proceso de traduccin al espaol estuvo a cargo de Mg. Esteban Gmez Muzzio y cont con la validacin de un panel de jueces expertos, participando de este proceso expertos de NFPN y de la Facultad de Educacin y Ciencias de la Familia de la Universidad Finis Terrae de Chile (Valencia y Gmez, 2010). Los autores de la NCFAS indican que los operadores de programas sociales la aplican una vez que cuentan con informacin suficiente acerca de la familia (Fraser, Kirk y Reed-Ashcraft, 2001) y particularmente, en los P.I.B. de la Sociedad Protectora de la Infancia, la NCFAS se completa en reunin tcnica realizada por el equipo profesional compuesto por trabajador social, gestor familiar y psiclogo, a partir de la valoracin consensuada en conjunto por dicha trada Considerando que la NCFAS es una escala de valoracin cualitativa completada por el profesional, se requiere comprobar la confiabilidad interevaluadores de la NCFAS, ya que sus valoraciones podran depender mayormente de la subjetividad del evaluador, que de las propias caractersticas del funcionamiento familiar de un caso. El presente estudio pretendi responder la siguiente pregunta: La NCFAS presenta ndices aceptables de confiabilidad inter-evaluadores en sus 36 temes, en la muestra piloto chilena? El presente estudio tuvo como objetivo determinar el nivel de confiabilidad interevaluadores de los 36 temes de la NCFAS, con una muestra piloto chilena de nios, nias y/o adolescentes vctimas de maltrato leve y/o moderado (no constitutivo de delito), usuarios de un Programa de Intervencin Breve de la comuna de Talcahuano. La realizacin de este estudio

Confiabilidad inter-evaluadores NCFAS 15 busca determinar preliminarmente la confiabilidad inter-evaluadores de la NCFAS, permitiendo identificar si esta escala se constituye en una herramienta objetiva para la evaluacin cualitativa del funcionamiento familiar en casos de maltrato infantil. La hiptesis de trabajo de este estudio piloto consiste en que el 100% de los temes de la NCFAS presenta confiabilidad inter-evaluadores con ndices Kappa iguales o superiores a 0,40, lo que corresponde a niveles de concordancia moderado, bueno y/o muy bueno. La importancia de determinar la confiabilidad inter-evaluadores se debe a que, en la evaluacin del funcionamiento familiar de los participantes, la valoracin asignada a cada uno de los 36 itemes de la NCFAS depende de algn tipo de juicio de los evaluadores. Por ello, se debe asegurar la concordancia del juicio de los evaluadores que utilizan la escala, para que sta sea confiable. Por ende, si en los 36 temes se obtiene concordancia inter-evaluadores buena, muy buena y/o moderada, entonces aumentar la confiabilidad inter-evaluadores de esta escala. Por el contrario, si en los 36 temes se obtiene concordancia inter-evaluadores baja o insignificante, la NCFAS deber considerarse con precaucin, requirindose futuras investigaciones que permitan identificar fuentes de variabilidad en la fuerza de la concordancia inter-evaluadores. Asimismo, si en la mayor parte de los temes se obtiene concordancia inter-evaluadores buena, muy buena y/o moderada, pero en algunos itemes sta es baja o insignificante, se sugiere realizar futuras investigaciones que permitan identificar las causas de esta heterogeneidad de valoracin entre dos o ms evaluadores, que presentan tales temes.

Mtodo

Participantes Se utiliz un muestreo no probabilstico e intencionado, seleccionando aquellos participantes que presentaron los siguientes criterios de inclusin: a) nios, nias y/o

Confiabilidad inter-evaluadores NCFAS 16 adolescentes ingresados al P.I.B. Talcahuano Sur de la Sociedad Protectora de la Infancia; b) vctimas de algn tipo de maltrato infantil no constitutivo de delito (Ej. maltrato fsico, maltrato emocional, negligencia, testigo de violencia intrafamiliar, etc.). Los criterios de exclusin fueron: a) usuarios ingresados con anterioridad a agosto de 2008, debido a que dichos ingresos ya cuentan con la aplicacin de NCFAS a travs de consenso inter-evaluadores; y b) usuarios ingresados con posterioridad a diciembre de 2009, ya que se deban respetar los plazos establecidos en el contexto del Magster en que se desarrolla esta investigacin. En base a criterios sustantivos y de factibilidad, finalmente se cont con una muestra de 38 participantes que cumplieron con los criterios de inclusin y exclusin. El promedio de edad de los/las participantes fue 10,2 aos (DE =4,07), un 57,9 % de gnero masculino, y 42,1% femenino, cursando mayoritariamente educacin bsica (71%), seguido por educacin preescolar (15,8%), educacin media (7,9%) y sin escolaridad (5,3%). Las causales identificadas al ingreso de los participantes al P.I.B. correspondieron a: testigo de violencia intrafamiliar no constitutiva de delito (28,9%), negligencia moderada (23,7%), maltrato fsico moderado (13,2%), maltrato fsico y emocional moderado (13,2%), maltrato emocional moderado (7,9%), maltrato emocional y negligencia (7,9%), maltrato fsico, emocional y negligencia (5,3%). Los/las participantes fueron derivados desde Tribunal de Familia (60,5%), establecimiento educacional (15,8%), demanda espontnea (10,5%), otro (7,9%), y Oficina de Proteccin de Derechos (5,3%). El total de cuidadores principales (N = 24) de los/las participantes fue de gnero femenino y parentesco biolgico, distribuidas en madres (66,6%), abuelas (25%), hermana (4,2%) y ta (4,2%), con un promedio de edad de 43,3 aos (DE = 14,66), con edades mnima y mxima de 19 y 79 aos, respectivamente; con un nivel de escolaridad alcanzado de educacin media completa y/o incompleta (45,8%), educacin bsica completa y/o incompleta (33,4%), y educacin

Confiabilidad inter-evaluadores NCFAS 17 superior completa y/o incompleta (20,8%); cuya situacin laboral al ingreso fue de: trabajo dependiente (41,7%), labores domsticas (37,5%), trabajo independiente (12,5%) y trabajo espordico (8,3%). La caracterizacin socioeconmica de las familias (N = 24) revel que, al ingreso, un 37,5% presentaba un NSE medio (incluye bajo, medio o alto); un 37,5%, un NSE bajo-bajo la lnea de la pobreza; un 20,8% un NSE bajo-sobre la lnea de la pobreza; y un 4,2% viva en situacin de indigencia. La estructura familiar (N =24) mostr que, al ingreso, un 25% era de tipo monoparental (materna o paterna), un 20,8% extensa, un 16,7% monoparental extensa (materna o paterna), un 16,7% biparental, un 12,5% biparental reconstituida, y un 8,3% biparental extensa. Diseo Se utiliz un diseo no-experimental, correlacional y transversal. La variable dependiente es cualitativa y corresponde a la valoracin que cada evaluadora asign, en forma individual y separada, en cada uno de los 36 temes de la NCFAS, utilizando 6 ( 7) categoras escalares del instrumento: problema serio, problema moderado, problema leve, adecuado/lnea base, leve fortaleza y clara fortaleza (y no aplica) (Fraser, Kirk y Reed-Ashcraft, 2001). Instrumentos Para conocer la variable dependiente, el instrumento utilizado es la NCFAS, que presenta las siguientes caractersticas. La NCFAS es una escala basada en la valoracin cualitativa, que realizan los operadores de programas sociales respecto de las fortalezas y debilidades identificadas en una familia, en relacin al bienestar infanto-juvenil, respecto de 36 temes: 5 temes globales (o dominios) y 31 itemes restantes (Anexo 1), tales como: 1)Entorno, con 10 itemes: entorno en general, estabilidad de la vivienda, seguridad en la comunidad, habitabilidad de la vivienda, ingreso/empleo, manejo financiero, comida y nutricin, higiene personal, transporte, entorno de aprendizaje; 2)Competencias Parentales, con 6 itemes: competencias

Confiabilidad inter-evaluadores NCFAS 18 parentales en general, supervisin del nio(s), prcticas disciplinarias, entrega de oportunidades de desarrollo/crecimiento, salud mental del progenitor(es)/cuidador(es), salud fsica del progenitor(es)/cuidador(es), uso de drogas/alcohol del progenitor(es)/cuidador(es); 3)Interacciones Familiares, con 4 itemes: interacciones familiares en general, apego con el nio/a, expectativas sobre el nio/a, apoyo mutuo dentro de la familia, relacin entre los progenitores/cuidadores; 4)Seguridad Familiar, con 5 itemes: seguridad familiar en general: ausencia/presencia de abuso fsico en el nio(s), ausencia/presencia de abuso sexual en el nio(s), ausencia/presencia de abuso emocional en el nio(s), ausencia/presencia de negligencia en el nio(s), violencia domstica entre los progenitores/cuidadores; y 5)Bienestar del Nio, con 7 itemes: bienestar del nio en general, salud mental del nio(s), comportamiento del nio(s), desempeo escolar, relacin con el progenitor(es)/cuidador(es), relacin con hermano(s), relacin con pares, cooperacin/motivacin a permanecer en la familia. Para los 36 itemes de la NCFAS, se emple la estrategia escalar de 6 (o 7) puntos, en formato tipo likert, con valoracin graduada: clara fortaleza, leve fortaleza, lnea base/adecuado, problema leve, problema moderado y problema serio (y no aplica slo en 4 temes), sin existir punto medio (Fraser, Kirk y Reed-Ashcraft, 2001). En slo 4 temes de la NCFAS existe una sptima categora, denominada no aplica, la que el evaluador puede seleccionar cuando el tem no se aplica al caso evaluado (por ejemplo, en el tem relacin del nio con sus hermanos es posible asignar la categora no aplica cuando el nio no tiene hermanos) (Anexo 2). Cuando se evalan temes como problema leve, problema moderado o problema serio, el evaluador est sealando que stos constituyen factores de riesgo en los que se requiere iniciar ms urgentemente los procesos de intervencin al ser valorados como problema (serio, moderado y/o leve); asimismo, aquellos temes evaluados como adecuado/lnea base, leve fortaleza o clara fortaleza, son considerados por el evaluador como factores de

Confiabilidad inter-evaluadores NCFAS 19 proteccin, y por tanto, no requieren necesariamente de un proceso de intervencin psicosocial (Fraser, Kirk y Reed-Ashcraft, 2001). Adems, las categoras clara fortaleza, adecuado/lnea base, problema serio y no aplica estn definidas por una descripcin desarrollada por los autores de la escala, que seala en qu consiste cada una de ellas a fin de que los evaluadores tengan una orientacin para realizar la valoracin, lo cual est incorporado en el formulario electrnico de la NCFAS. Las otras tres categoras (leve fortaleza, problema leve y problema moderado) se encuentran sin descripcin, en favor de estimular la investigacin y juicio del profesional cuando asigne las valoraciones (Fraser, Kirk y Reed-Ashcraft, 2001). La NCFAS tambin recoge antecedentes sociodemogrficos del nio, nia y/o adolescente, del progenitor/cuidador, datos de identificacin de la evaluacin (Ej. motivo de ingreso al PIB, red que deriva, etc.), y datos del grupo familiar (Ej. nmero, sexo, edad de habitantes, tipo de estructura familiar, etc.). Por ltimo, la escala permite asignar valoraciones en los 36 temes, tanto al ingreso del caso como al cierre del proceso de intervencin, utilizando la misma estrategia escalar; sin embargo, esto no es objeto de este estudio, sino que slo han interesado las valoraciones efectuadas al ingreso del caso al programa. Cabe sealar que la NCFAS no es un test o un inventario propiamente tal, pues su objetivo no es proporcionar una medida absoluta o relativa acerca del funcionamiento familiar en casos de bienestar infanto-juvenil, por medio de baremos, normas o valores de puntos de corte determinados; tampoco existe un puntaje promedio del total de temes de la NCFAS, ni subpromedios por cada uno de los 5 dominios de la escala. Esto se debe a que la escala no asigna puntajes cuantitativos, sino que valoraciones cualitativas (problema serio, problema moderado o problema leve, adecuado/lnea base, leve fortaleza o clara fortaleza, o no aplica), las que estn asociadas a nmeros, slo con fines didcticos para facilitar la valoracin

Confiabilidad inter-evaluadores NCFAS 20 del evaluador (Ej. 3, -2, -1, 0, +1, +2, respectivamente), y por ende, no es posible aplicar sumatorias ni promedios a tales valoraciones. Adems, como se seal anteriormente, dentro de los 36 itemes de la escala, existen 5 que corresponden a una valoracin general de cada dominio, denominados de la siguiente forma: Entorno en general, Competencias parentales en general, Interacciones familiares en general, Seguridad Familiar, y Bienestar del nio en general. En estos 5 temes, la valoracin es efectuada directamente por el evaluador, intentado integrar las valoraciones que realiz en los respectivos temes, por cada dominio; es decir, en estos 5 temes globales, la valoracin no corresponde a un promedio numrico de sus respectivos temes. Por lo tanto, resulta irrelevante efectuar un anlisis de la confiabilidad inter-evaluadores de la NCFAS a partir de las valoraciones efectuadas solamente en los 5 dominios, pues stos no reflejan necesariamente las valoraciones de los 36 temes que componen la escala. Procedimiento El procedimiento de este estudio consisti en que cada evaluadora complet la NCFAS, en forma individual y separada, sobre los participantes asignados a su dupla, basndose en los antecedentes obtenidos en el perodo diagnstico de 2 meses de duracin como mximo a contar del ingreso del caso al PIB. Cada dupla de evaluadoras cont con los antecedentes necesarios para la completacin de la NCFAS, levantados mediante 6 tcnicas, las que fueron previamente aplicadas al total de participantes y/o adulto responsable, tales como: 1) Visita Domiciliaria Diagnstica: Aspectos del entorno comunitario, de la vivienda, y de la comida-nutricin e higiene personal del nio(a), 2) Genograma: Diagrama de los integrantes del grupo familiar nuclear y extenso, y el tipo de interacciones entre ellos, y 3) Ecomapa: Tipo y calidad de las redes familiares, comunitarias, sociales e institucionales con las que se vincula actualmente la familia; 4) Pauta de Entrevista Diagnstica al progenitor/cuidador y 5) Pauta de Entrevista

Confiabilidad inter-evaluadores NCFAS 21 Diagnstica al nio, nia, adolescente (en edad escolar en adelante): Ambas entrevistas registran las mismas reas, pero la primera es desde la perspectiva del adulto, y la segunda, del nio(a); tales reas son: desempeo educacional, normas familiares, roles parentales, afectividad, comunicacin, tipo de sanciones, presencia de abuso de alcohol/drogas, presencia de violencia intrafamiliar, etc.; 6) Inventario de Potencial de Maltrato Fsico o PMF (Haz y Ramrez, 2002): Instrumento de autorreporte contestado por el adulto a cargo del nio, nia o adolescente, que evala las caractersticas cognitivas, afectivas y comportamentales del cuidador/a, respecto de su interaccin con el nio y con su entorno familiar y social, permitiendo generar seales de alerta sobre potencial de maltrato fsico infantil. Dicho instrumento ha sido desarrollado por Haz y Ramrez (2002), sobre la base de la adaptacin del Child Abuse Potencial Inventory, que consta de 114 items de respuesta dicotmica S-No, y se compone de 4 escalas, la principal es de Maltrato Fsico, y 3 de validez del instrumento (consistencia interna, mentira y respuestas al azar). El PMF evala las siguientes dimensiones: Depresin, Expectativas rgidas hacia los nios, Malas relaciones con los padres del adulto, Malas relaciones familiares y de pareja del adulto, Irritabilidad e Impulsividad, Disforia, y Problemas del nio. De acuerdo a Haz y Ramrez, su principal uso es como instrumento de sondeo de potenciales maltratadores fsicos para organizaciones de servicio social, especialmente en programas de intervencin secundaria. La completacin de la NCFAS consisti en que cada evaluadora asign una de las 6 (o 7) categoras: problema serio, problema moderado, problema leve, adecuado/lnea base, leve fortaleza, clara fortaleza (y no aplica en 4 temes), para cada uno de los 36 temes de la NCFAS, respecto de los participantes correspondientes a su dupla. Esta valoracin se realiz en base a: a) los antecedentes acerca del caso obtenidos mediante las 6 tcnicas antes descritas; b) el juicio del profesional; y c) la descripcin-gua que orienta respecto de lo que consisten tres de las seis categoras existentes en cada tem: clara fortaleza, adecuado/lnea base y problema

Confiabilidad inter-evaluadores NCFAS 22 serio. Esta valoracin fue registrada por cada evaluadora en forma individual y por separado en el formulario electrnico de la NCFAS. Se cont con dos duplas de evaluadoras, cada una compuesta por la misma asistente social, quien form dupla con dos psiclogas distintas, debido a que en el organigrama del PIB se contemplaba tal conformacin de duplas para la atencin de los casos. Adems, durante el perodo en que se efectu el estudio, se produjeron ingresos de casos nuevos que cumplieron los criterios de inclusin y exclusin, los que fueron distribuidos a cada dupla en funcin del nmero de casos que respectiva y mensualmente egresaban del PIB; por este motivo, la dupla de evaluadoras N 1 cont con 25 participantes, y la dupla N 2, con 13 participantes. Por otra parte, las dos duplas de evaluadoras fueron homogneas en tres aspectos: a) N de horas de capacitacin para el uso de la NCFAS (16 horas); b) N de aos de formacin profesional (8 a 11 semestres de carrera universitaria); c) gnero: femenino. Sin embargo, en cuanto a la cantidad de aos de experiencia profesional, slo la Dupla N 1 es relativamente homognea, con 20 y 15 aos, respectivamente; en cambio, la Dupla N 2 es heterognea, con 20 y 3 aos, respectivamente. Por ltimo, se cumpli con los resguardos ticos para realizar esta investigacin y procedimiento en particular. Se solicit la voluntad de participacin a las profesionales asistente social y psicloga del PIB que aplicaron la NCFAS de acuerdo al objetivo de esta investigacin. Tambin se solicit la autorizacin para efectuar la investigacin a las respectivas autoridades de la institucin: Julieta Sez, Directora del PIB Talcahuano Sur; Esteban Gmez, Unidad de Diseo y Evaluacin de Programas de la Sociedad Protectora de la Infancia; y Piscilla Martens, Directora del National Family Preservation Network, institucin que desarroll la escala NCFAS en Carolina del Norte, Estados Unidos. Adems, se solicit el consentimiento informado a los representantes adultos de los participantes de este estudio que permanecen como usuarios

Confiabilidad inter-evaluadores NCFAS 23 vigentes en el PIB durante el perodo en que se desarroll el estudio. Cabe indicar que la modificacin de la forma estandarizada de aplicacin de la NCFAS establecida por la institucin (es decir, consenso inter-evaluadores mediante reunin clnica), no afect la confidencialidad de los reportes de los/las usuarios/as. Finalmente, en el caso de que esta tesis sea aprobada por la Comisin evaluadora del Magster en Psicologa Jurdica y Forense de la Universidad de La Frontera, se darn a conocer los resultados de esta investigacin a las personas que en este estudio entregaron su consentimiento informado, y a los profesionales y autoridades sealados. Plan de Anlisis Para el anlisis estadstico inferencial, se obtuvieron 36 variables dependientes, correspondientes a los 36 temes de la NCFAS, siendo variables cualitativas, con 6 (o 7) categoras: clara fortaleza, leve fortaleza, adecuado/lnea base, problema leve, problema moderado, problema serio (y no aplica, como se describi anteriormente). Una vez obtenidos los datos brutos del total de la muestra (n = 38), stos fueron ingresados al paquete estadstico SPSS. Para comprobar el nivel de concordancia inter-evaluadores en cada uno de los 36 temes de la NCFAS, se aplic la prueba estadstica Kappa de Cohen, que permite determinar la concordancia observada entre dos evaluadores o mtodos de evaluacin cualitativos, eliminando la fraccin de la concordancia debida al azar (Martn y Cano, 2003). Para la interpretacin de un valor dado de Kappa se han propuesto diferentes clasificaciones, de las que probablemente la ms ampliamente utilizada sea la de Landis y Koch; sin embargo, es importante tener en cuenta que estas clasificaciones son arbitrarias (Szklo y Nieto, 2003). Landis y Koch (1977) propusieron unos mrgenes para valorar el grado de acuerdo en funcin del ndice Kappa, de la siguiente forma: Si ste vara entre 1 y 0,8, el grado de acuerdo es muy bueno; entre 0,6 y 0,79, es bueno; entre 0,4 y 0,59, es moderado; entre 0,2 y 0,39 es bajo; entre 0 y 0,19 es

Confiabilidad inter-evaluadores NCFAS 24 insignificante; y cuando Kappa es igual o menor a 0, no existe acuerdo; en esta escala de interpretacin del valor de Kappa, dichos autores consideran como aceptable un valor mayor o igual a 0,40 y excelente, un valor superior a 0,75. El coeficiente Kappa es bastante utilizado en la literatura mdica, lo que probablemente se debe a la facilidad de clculo; no obstante, tiene sus problemas y limitaciones. Si bien el coeficiente Kappa se propuso como un ndice de concordancia entre dos observadores para clasificar variables dicotmicas, y posteriormente, se propuso su uso para variables politmicas (Argimn y Jimnez, 2004), cuando se utiliza en el segundo caso (como ocurre en esta investigacin piloto), este ndice tiene el inconveniente de que mide el acuerdo exacto y no el acuerdo aproximado; es decir, no tiene en cuenta los distintos grados de desacuerdo, ya que todos los desacuerdos son tratados de igual manera (Martn y Cano, 2003; Argimn y Jimnez, 2004). Por lo tanto, cuanto mayor es el nmero de categoras, menor es la probabilidad de obtener una concordancia exacta, de manera que el coeficiente de Kappa disminuye conforme aumenta el nmero de categoras (Latour, Abraira, Cabello y Lpez, 1997; Argimn y Jimnez, 2004). Por ello, en muchos estudios realizados sobre concordancia, el ndice Kappa obtenido es menor que el esperado (lvarez, 1996). En consecuencia, siendo el coeficiente Kappa un ndice sensible al nmero de categoras, es posible prever que, en esta investigacin, la probabilidad de acuerdo exacto disminuya, dado que existen 6 (o 7) categoras, las que adems presentan un orden de graduacin. Por ejemplo, no es lo mismo un desacuerdo inter-evaluadoras entre problema moderado y problema leve, en comparacin con un desacuerdo entre problema moderado y adecuado/lnea base, ya que, en el primer ejemplo, adems de tratarse de un desacuerdo menor, en ambas categoras se indica la necesidad de un proceso de intervencin; en cambio, en el segundo ejemplo, el desacuerdo es mayor y, lo que es ms delicado, pues las categoras difieren en cuanto a la decisin del

Confiabilidad inter-evaluadores NCFAS 25 evaluador de efectuar o no un proceso de intervencin psicosocial en ese tem (o foco) respecto de un caso en particular. Considerando esta limitacin de la prueba Kappa, en el presente estudio se comprob el nivel de concordancia inter-evaluadores en cada uno de los 36 temes de la escala, aplicndola en dos modalidades. Por un lado, respecto de las 6 (o 7) categoras cualitativas sealadas por la NCFAS: clara fortaleza, leve fortaleza, adecuado/lnea base, problema leve, problema moderado, y problema serio (y no aplica). Y por otro lado, con el fin de atenuar la limitacin ya sealada del coeficiente Kappa, se aplic considerando 2 categoras cualitativas: a) la primera denominada S, que indica que se requiere de un proceso de intervencin psicosocial, la que surge de la transformacin y agrupacin de las valoraciones de tres categoras: problema leve, problema moderado y problema serio ; b) la segunda denominada No, que indica que no se requiere de un proceso de intervencin psicosocial, la que surge de la transformacin y agrupacin de cuatro categoras (clara fortaleza, leve fortaleza, adecuado/lnea base y no aplica). La formacin de estas 2 categoras se realiz en el programa SPSS, posterior a la obtencin de los datos brutos, consistentes en las valoraciones asignadas por las duplas de evaluadoras, quienes completaron la NCFAS en su versin original (con seis o siete categoras). Se presentan los resultados de la aplicacin de la prueba de Kappa en cada uno de los 36 temes de la NCFAS, respecto de las dos modalidades de anlisis (6/7 y 2 categoras), mediante tablas y grficos, con un nivel de significacin estadstica de p < 0,05.

Resultados Los resultados interpretados a la luz del objetivo e hiptesis inicial, comprueban que la NCFAS presenta concordancia inter-evaluadores con valores Kappa iguales o superiores a 0,40,

Confiabilidad inter-evaluadores NCFAS 26 en el 100% de los temes, valorados por la Dupla 2, tanto en el uso de 6 (7) categoras (clara fortaleza, leve fortaleza, adecuado/lnea base, problema leve, problema moderado, y problema serio y no aplica), como tambin con 2 categoras (s requiere de un proceso de intervencin y no requiere de un proceso de intervencin). En cambio, no se comprueba la hiptesis inicial en la Dupla 1, observndose concordancia inter-evaluadores con valores Kappa iguales o superiores a 0,40 en el 77,9% de los temes con el uso de 6 (7) categoras, y en el 94,5% de los temes con el uso de 2 categoras. Como se observa en el Grfico 1, en la modalidad de anlisis de 6 (o 7) categoras, la dupla 1 (n = 25) present "muy buena fuerza de la concordancia en el 5,6% de los temes, buena en el 30,6%, moderada en el 41,7%, bajo en el 13,9%, e insignificante en el 8,3% de los temes de la NCFAS, sin presentar temes en el nivel sin acuerdo. La dupla 2 (n = 13) present muy buena fuerza de la concordancia en el 44,5% de los temes, buena en el 47,2%, y moderada en el 8,3% de los temes de la NCFAS, sin presentar temes en los niveles bajo, insignificante y sin acuerdo. En suma, en la modalidad de anlisis de 6 (o 7) categoras, la dupla 1 present una fuerza de la concordancia muy buena, buena y/o moderada en el 77,9% de los temes; y la dupla 2 present una fuerza de la concordancia muy buena, buena y/o moderada en el 100% de los temes de la NCFAS. Adems, dentro de la misma modalidad de anlisis (6 7 categoras), se determinaron los niveles de fuerza de la concordancia de los 36 temes, como aparece en la Tabla 1. En la dupla 1, estos son los niveles de fuerza de la concordancia que presentan los siguientes temes: a) Muy buena: transporte y ausencia/presencia de abuso sexual en el nio/a; b) Buena: entorno en general, seguridad en la comunidad, habitabilidad en la vivienda, manejo financiero, comida y nutricin, higiene personal, salud fsica del progenitor/cuidador, ausencia/presencia de abuso emocional en el nio/a, violencia domstica entre los progenitores/cuidadores, salud mental del

Confiabilidad inter-evaluadores NCFAS 27 nio/a, cooperacin/motivacin a permanecer en la familia; c) Moderada: estabilidad de la vivienda, ingreso/empleo, salud mental del progenitor/cuidador, uso de drogas/alcohol del progenitor/cuidador, interacciones familiares en general, apego con el nio/a, expectativas sobre el nio/a, apoyo mutuo dentro de la familia, relacin entre los progenitores/cuidadores, ausencia/presencia de negligencia en el nio/a, bienestar del nio en general, comportamiento del nio/a, desempeo escolar, relacin con el progenitor(es)/ cuidador(es) y relacin con hermano(s); d) Baja: entorno de aprendizaje, supervisin del nio/a, prcticas disciplinarias, ausencia/presencia de abuso fsico en el nio/a y relacin con pares; e) Insignificante: competencias parentales en general, entrega de oportunidades de desarrollo/crecimiento y seguridad familiar en general. En la modalidad de anlisis con seis (siete) categoras), la dupla N 1 presenta mayores desacuerdos inter-evaluadoras en temes relacionados con los dominios competencias parentales en general y seguridad familiar. En la dupla N 2, dentro de la modalidad de anlisis con 6 7 categoras, como aparece en la Tabla 2, estos son los niveles de fuerza de la concordancia que presentan los siguientes temes: a) Muy buena: entorno en general, estabilidad de la vivienda, seguridad en la comunidad, habitabilidad en la vivienda, manejo financiero, comida y nutricin, higiene personal, transporte, salud fsica del progenitor/cuidador, ausencia/presencia de abuso sexual en el nio/a, ausencia/presencia de abuso emocional en el nio/a, ausencia/presencia de negligencia en el nio/a, comportamiento del nio/a, relacin con pares, cooperacin/motivacin a permanecer en la familia; b) Buena: entorno de aprendizaje, ingreso/empleo, supervisin del nio/a, prcticas disciplinarias, entrega de oportunidades de desarrollo/crecimiento, salud mental del progenitor/cuidador, uso de drogas/alcohol del progenitor/cuidador, interacciones familiares en general, apego con el nio/a, expectativas sobre el nio/a, relacin entre los progenitores/cuidadores, seguridad familiar en general, violencia domstica entre los

Confiabilidad inter-evaluadores NCFAS 28 progenitores/cuidadores, bienestar del nio en general, desempeo escolar, relacin con el progenitor(es)/ cuidador(es), salud mental del nio/a; y c) Moderada: apoyo mutuo dentro de la familia, ausencia/presencia de abuso fsico en el nio/a y relacin con hermano(s). En la modalidad de anlisis con seis (siete) categoras), la dupla N 2 presenta mayor acuerdo interevaluadoras que la dupla N 1, observndose ndices Kappa promedio correspondientes a una fuerza de la concordancia dentro de los rangos buena en cuatro dominios, y muy buena en un dominio de la NCFAS. Por otra parte, como se observa en el Grfico 2, en la modalidad de anlisis con 2 categoras (s/no), la dupla 1 present muy buena fuerza de la concordancia en el 27,8% de los temes, buena en el 52,8%, moderada en el 13,9%, y baja en el 5,5% de los temes de la NCFAS, sin presentar temes en los niveles insignificante y sin acuerdo. La dupla 2 present muy buena fuerza de la concordancia en el 69,4% de los temes, buena en el 25%, moderada en el 5,6% de los temes de la NCFAS, sin presentar temes en los niveles bajo, insignificante y sin acuerdo. En suma, en la modalidad de anlisis de 2 categoras, la dupla 1 (n = 25) present una fuerza de la concordancia muy buena, buena y/o moderada en el 94,5% de los temes, y la dupla 2 (n = 13) present una fuerza de la concordancia muy buena, buena y/o moderada en el 100% de los temes de la NCFAS. Adems, dentro de la modalidad de anlisis con 2 categoras, se determin los niveles de fuerza de la concordancia tem por tem, como aparece en la Tabla 3. En la dupla N 1, los temes presentan los siguientes niveles de fuerza de la concordancia: a) Muy buena: transporte, higiene personal, comida y nutricin, habitabilidad en la vivienda, estabilidad de la vivienda, apego con el nio/a, ausencia/presencia de abuso sexual en el nio/a, ausencia/presencia de negligencia en el nio/a, relacin con el progenitor(es)/ cuidador(es) y cooperacin/motivacin a permanecer en la familia; b) Buena: entorno en general, seguridad en la comunidad, ingreso/empleo, manejo

Confiabilidad inter-evaluadores NCFAS 29 financiero, entorno de aprendizaje, supervisin del nio/a, prcticas disciplinarias, salud fsica del progenitor/cuidador, uso de drogas/alcohol del progenitor/cuidador, interacciones familiares en general, expectativas sobre el nio/a, apoyo mutuo dentro de la familia, relacin entre los progenitores/cuidadores, ausencia/presencia de abuso emocional en el nio/a, violencia domstica entre los progenitores/cuidadores, bienestar del nio en general, salud mental del nio/a, comportamiento del nio/a, desempeo escolar; c) Moderada: competencias parentales en general, entrega de oportunidades de desarrollo/crecimiento, salud mental del progenitor/cuidador, ausencia/presencia de abuso fsico en el nio/a y relacin con hermano(s); y d) Baja: seguridad familiar en general y relacin con pares. Por su parte, en la dupla N 2, dentro de la modalidad de anlisis con 2 categoras (s/no), como aparece en la Tabla 4, los temes presentan los siguientes niveles de fuerza de la concordancia: a) Muy buena: transporte, higiene personal, comida y nutricin, habitabilidad en la vivienda, estabilidad de la vivienda, ausencia/presencia de abuso sexual en el nio/a, ausencia/presencia de negligencia en el nio/a, cooperacin/motivacin a permanecer en la familia, entorno en general, seguridad en la comunidad, ingreso/empleo, manejo financiero, entorno de aprendizaje, salud fsica del progenitor/cuidador, interacciones familiares en general, relacin entre los progenitores/cuidadores, ausencia/presencia de abuso emocional en el nio/a, violencia domstica entre los progenitores/cuidadores, comportamiento del nio/a, desempeo escolar, entrega de oportunidades de desarrollo/crecimiento, competencias parentales, salud mental del progenitor/cuidador, ausencia/presencia de abuso fsico en el nio/a y relacin con pares; b) Buena: supervisin del nio/a, prcticas disciplinarias, uso de drogas/alcohol del progenitor/cuidador, apego con el nio/a, expectativas sobre el nio/a, seguridad familiar en general, bienestar del nio en general, salud mental del nio/a y relacin con el

Confiabilidad inter-evaluadores NCFAS 30 progenitor(es)/ cuidador(es); y c) Moderada: apoyo mutuo dentro de la familia y relacin con hermano(s); sin observarse temes con coeficientes Kappa inferiores a 0,4. Discusin Los resultados del presente estudio piloto muestran, en ambas duplas, un mayor porcentaje de temes con coeficientes Kappa ms bajos, al utilizar 6 (o 7) categoras, en comparacin con slo 2 categoras (s/no). Esto es consistente con lo sealado anteriormente, respecto de la sensibilidad del ndice Kappa al nmero de categoras, disminuyendo su valor a mayor nmero de categoras (Latour et al., 1997; Argimn y Jimnez, 2004). Asimismo, esto se ve corroborado especialmente en la dupla N 1, al comparar los anlisis con 6 (o 7) categoras y con 2 categoras, pues se observa un mayor acuerdo inter-evaluadoras en el segundo caso que en el primero, en prcticamente todos los temes. Por otro lado, la dupla N 2 presenta mayor porcentaje de temes con mejores niveles de fuerza de la concordancia que la dupla N 1, tanto con 6 (o 7) categoras como con 2 categoras; esto podra deberse a que las evaluadoras de la dupla N 2 tienden ms al acuerdo exacto que las evaluadoras de la dupla N 1, y por ende, a la dupla N 2 no le afecta tanto el mayor o menor nmero de categoras, como a la dupla N 1. Adems, en los temes que presentan inadecuada fuerza de la concordancia (baja o insignificante) en ambas duplas y modalidades de anlisis, sealados en prrafos anteriores, se requerira precaucin en su aplicacin. Al comienzo de esta investigacin piloto se han planteado algunas ventajas de utilizar la NCFAS, como una herramienta que tiene por objetivo que los operadores de programas sociales infanto-juveniles puedan plasmar la valoracin del funcionamiento familiar del caso, desde un modelo ecolgico. Una de las ventajas de la NCFAS es que permite identificar, en forma prctica, los focos especficos en los que se observan avances durante el proceso de intervencin psicosocial, al comparar las valoraciones obtenidas al ingreso en la fase diagnstica, con las otras

Confiabilidad inter-evaluadores NCFAS 31 fases durante el desarrollo y al cierre de la intervencin. De acuerdo a Valencia y Gmez (2010), existe evidencia que respalda el uso de la versin en espaol de la NCFAS como una herramienta de evaluacin y diagnstico multidimensional de la familia en este tipo de programas (bienestar infanto-juvenil). Bien es sabido que no existen instrumentos de diagnstico perfectos ni exhaustivos, sino que perfectibles, disponindose de herramientas que recaban, valoran y/o miden diversos aspectos relevantes de los sistemas familiares, dentro de las cuales se encuentra la NCFAS, intentndose en este estudio piloto, determinar su grado de confiabilidad interevaluadores, constatndose que la NCFAS es una interesante herramienta que puede ser considerada por los profesionales que trabajan en programas psicosociales infanto-juveniles, as como por las instituciones que disean estrategias y modelos de intervencin psico-socio-jurdica. No obstante, la NCFAS an debe utilizarse con precaucin, considerando los resultados de este estudio, que muestran heterogeneidad de la fuerza de la concordancia inter-evaluadores, observndose en la mayor parte de sus temes adecuados niveles de concordancia (muy buena, buena y moderada), pero en otros temes, inadecuados niveles de acuerdo exacto (bajo e insignificante). Por ello, se sugiere la implementacin de la NCFAS mediante el perfeccionamiento de las definiciones operacionales de los temes y todas sus categoras, adems de adecuados procesos de capacitacin terica, aplicacin supervisada y consenso entre los operadores que califican estas situaciones (Valencia y Gmez, 2010). Dentro de las limitaciones de este estudio, sealada anteriormente, es el hecho de que el coeficiente Kappa es sensible al nmero de categoras, de manera que a medida que ste aumenta, disminuye el valor Kappa. Esto pudiese explicar la presencia de algunos temes con bajo acuerdo inter-evaluadores, especialmente observado en la dupla N 1, lo cual es coherente con lo que se

Confiabilidad inter-evaluadores NCFAS 32 observa en muchos estudios realizados sobre concordancia, donde el ndice Kappa obtenido es menor que el esperado (lvarez, 1996). Otra de las limitaciones de este estudio corresponde al bajo tamao muestral. De acuerdo a los autores Norman y Streiner (1994), el tamao muestral mnimo para extraer adecuadas conclusiones del coeficiente de Kappa est determinado por la siguiente frmula: N categoras al cuadrado, multiplicado por 2, lo que en este caso exige un mnimo de 72 participantes. Cabe indicar que no se alcanz este tamao muestral debido a que el nmero de participantes no fue un factor factible de controlar por la investigadora, ya que, por un lado, se dependi de los normales procesos de ingreso/egreso de los casos al P.I.B. Talcahuano Sur, situacin que no es posible prever ni acelerar. Por otro lado, se debieron respetar los plazos del Magster en los que estaba inserta esta investigacin (Mg. en Psicologa Jurdica y Forense de la Universidad de La Frontera). Adems, no hay que olvidar que la presente se trata de una investigacin piloto, que pretende invitar al desarrollo de futuros estudios en torno a la NCFAS. Los procesos de diagnstico y evaluacin psicosocial del funcionamiento familiar constituyen, indiscutiblemente, un accionar de elevada complejidad, que se tornan an ms delicados en aquellos casos de grave vulneracin de derechos, como lo constituye el maltrato infantil en sus diversas formas, ms an en los casos en que se requiere solicitar medidas coercitivas por va judicial que garanticen la interrupcin de las situaciones que afectan a los/las nios, nias y/o adolescentes. Por ello, siendo ste el primer estudio en Chile en torno a determinar el nivel de confiabilidad nter-evaluadores de los 36 temes de la NCFAS, observndose entre ellos heterogeneidad en la fuerza de la concordancia inter-evaluadores, se sugiere realizar futuros estudios similares en otro tipo de programas infanto-juveniles, como aquellos que realizan diagnstico, intervencin en maltrato infantil constitutivo de delito, e intervencin en justicia juvenil, etc., puesto que son mbitos en los que tambin puede ser

Confiabilidad inter-evaluadores NCFAS 33 aplicada la NCFAS, segn sus autores, con el fin de adaptar y estandarizar este instrumento para su uso con poblacin local, en los procesos de diagnstico y/o evaluacin multidimensional de la familia en este tipo de programas (Valencia y Gmez, 2010).

Asimismo, se sugiere efectuar estudios para identificar cules son los factores o fuentes de variabilidad de la concordancia inter-evaluadores en la aplicacin de la escala, como tambin determinar el grado de influencia de cada uno de ellos. A priori, se presumen como posibles factores o fuentes de variabilidad de la concordancia inter-evaluadores, los siguientes: a) Caractersticas del instrumento NCFAS, tales como imprecisin de aquellos temes que en este estudio presentan menor concordancia inter-evaluadores; nmero de categoras (a mayor nmero de stas, disminuye la probabilidad de acuerdo exacto inter-evaluadores); ausencia de operacionalizacin de tres categoras; b) Caractersticas del proceso de aprendizaje y uso de la NCFAS: capacitacin terica, entrenamiento en casos ficticios, aplicacin supervisada en casos reales; c) Caractersticas del evaluador: heterogeneidad en cuanto a gnero, tipo de profesin, tiempo de perfeccionamiento profesional en infancia-juventud, tiempo de experiencia profesional en infancia-juventud, etc. d) Grado de severidad del maltrato infantil: leve, moderado o grave; pues es posible que a mayor gravedad del fenmeno, se produzca mayor acuerdo interevaluadores, que a menor gravedad del maltrato; e) Conceptualizaciones y modelos explicativos sobre el maltrato infantil, factores que pueden afectar el acuerdo inter-evaluadores, pues, como se seal al inicio de este documento, no existe una sola conceptualizacin de este fenmeno y cada modelo explicativo enfatiza determinados aspectos del maltrato infantil; f) Juicio individual (o subjetividad) del evaluador, factor que constantemente se pretende atenuar y que pudiese depender de diversos aspectos, tales como marco terico al que adscribe, historia de vida, etc.

Confiabilidad inter-evaluadores NCFAS 34 Para intentar controlar lo anterior, parece relevante idear y generar las modificaciones necesarias que permitan fortalecer aquellos factores que contribuyan con el acuerdo exacto interevaluadores. Por ejemplo, se sugiere realizar investigaciones a travs de focus groups con los operadores/profesionales que utilizan la NCFAS, con debate de opiniones sobre el posible origen de los menores ndices de concordancia inter-evaluadores, especialmente en algunos temes, aportando con soluciones y modificaciones concretas y consensuadas, que contribuyan con perfeccionar progresivamente la objetividad de la NCFAS. Asimismo, sera interesante poder efectuar futuros estudios sobre el grado en que la prctica constante de aplicacin de la NCFAS afecta en la homogeneidad de la visin de equipo psico-socio-jurdico, identificando, por ejemplo, cul es el mnimo de horas de utilizacin, de casos revisados y/o tipos de casos a los que se ha aplicado la NCFAS que incide en el acuerdo inter-evaluadores. Las valoraciones asignadas por los evaluadores en la NCFAS de un mismo caso, pudiesen provenir de factores tales como: dinamismo y multicausalidad del maltrato infantil en sus diversas formas, variedad de definiciones y comprensiones de los procesos y fenmenos que se desarrollan al interior de las familias, y desacuerdos existentes entre profesionales y modelos tericos en torno a distintos conceptos, tales como riesgo-proteccin, normalidad-anormalidad, salud-patologa, funcionalidad-disfuncionalidad, entre otros. Por ello, se considera fundamental profundizar en cul es el ptimo nivel de comprensin y utilizacin que debiesen poseer los evaluadores y/o equipos de trabajo en el rea infanto-juvenil respecto de los temes de la NCFAS, como un instrumento de evaluacin psicosocial ecosistmica del funcionamiento familiar; de manera que permita sealar, en forma consistente, si estas variables se presentan o no como factores de riesgo y en qu nivel de intensidad o severidad. Esto debido a que, por una parte, tales conclusiones tienen directa relacin con la elaboracin de Planes de Intervencin Individual, focalizando los recursos en estrategias de

Confiabilidad inter-evaluadores NCFAS 35 diagnstico e intervencin ms eficientes y eficaces, tendientes a favorecer el ejercicio y pleno goce de los derechos de la infancia y la adolescencia. Conjuntamente, siempre se debiera tener en cuenta el uso de la NCFAS tras haber aplicado previamente distintas tcnicas de diagnstico y/o evaluacin existentes, tanto al nio, nia y/o adolescente como al adulto a cargo, como por ejemplo: entrevistas clnicas, tests psicolgicos, visitas domiciliarias, genograma, ecomapa, coordinacin con redes, informacin colateral, entre otros. Por lo dems, se sugiere evitar la aplicacin de la NCFAS como una herramienta que excluya la utilizacin de otras instancias tan importantes como la reunin tcnica y la supervisin de caso; como tampoco se debiese esperar que esta escala sea aplicable en todos los casos y en cualquier circunstancia, sino que debe emplearse con precaucin y consultando con otros colegas familiarizados con este tipo de protocolos de valoracin cualitativa.

Indudablemente, los profesionales y estudiantes del rea psico-socio-jurdica debiesen utilizar sistemticamente la informacin y los modelos tericos disponibles sobre la evaluacin del funcionamiento familiar, asociado a vulneraciones de derecho infanto-juvenil, basndose en el conocimiento cientfico actualizado con el que se formula este proceso, ajustndose a un esquema y procedimiento comn, donde la NCFAS apoya, aunque no constituye un esquema categrico ni nico. En este sentido, los profesionales que se desempean en contextos psicosocio-jurdicos deberan estar familiarizados y actualizados con la investigacin emprica existente sobre aquellos factores de riesgo y factores de proteccin asociados al maltrato infantil sugeridos por modelos tericos e investigaciones que se han desarrollado a nivel mundial y nacional, que les permita realizar una minuciosa labor de evaluacin del nio, nia y/o adolescente, su grupo familiar y entorno socio-comunitario. Parece necesario, entonces, recordar la estrecha vinculacin que existe entre la deteccin, la prevencin primaria y secundaria del

Confiabilidad inter-evaluadores NCFAS 36 maltrato infantil, mediante la evaluacin del funcionamiento familiar, puesto que permitira lograr una deteccin precoz de los factores de riesgo y el posterior desarrollo de programas preventivos que apoyen la intervencin.

Sin duda, resulta fundamental la tica profesional que regula el accionar del operador, exigiendo el mximo de seriedad, criterio y objetividad profesional posible al momento de aplicar la NCFAS, valorando distintos aspectos del funcionamiento familiar de un nio, nia y/o adolescente, evitando cometer graves errores en las conclusiones en esta escala, al proporcionar opiniones sin un fundamento cientfico y ms bien basadas idiosincrticamente. Las consecuencias de la aplicacin de la NCFAS pueden ser muy importantes tanto para el nio/nia evaluado/a como para su familia biolgica, y tambin, para diversos organismos socio-jurdicos (Ej. Tribunales de Familia, Fiscalas, Juzgados de Garanta, programas directos y/o colaboradores del SENAME, etc.), ya que se debe considerar la posibilidad de que, a partir de los resultados de esta escala, se determine que el caso debe ser resuelto judicialmente, ya sea a travs de una medida de proteccin, medida cautelar, modificacin del titular del cuidado personal, ingreso a centro residencial, evaluacin de susceptibilidad de adopcin, etc.

Finalmente, considerando la emergente psicologa jurdica y forense en Chile, parece perentorio fortalecer la validacin y estandarizacin de la NCFAS, especialmente en contextos judiciales en diversos casos de maltrato infantil (negligencia parental, maltrato fsico, maltrato emocional, abuso sexual, testigo de violencia intrafamiliar, etc.), evacuando informes periciales y/o psicosociales a tribunales y fiscalas, en los que se seala el estado actual, avances o retrocesos del proceso de intervencin, solicitando medidas de proteccin o cautelares en los casos que se requiera, poniendo en conocimiento de los jueces y fiscales conclusiones cientficamente confiables y vlidas, propiciando la implementacin ms adecuada de la Ley de

Confiabilidad inter-evaluadores NCFAS 37 Tribunales de Familia, la Ley de Violencia Intrafamiliar, la Ley de Menores, entre otras atingentes a la infancia y/o adolescencia en Chile, que finalmente permitan contribuir con el establecimiento de sentencias e intervenciones psico-socio-jurdicas garantes de los derechos infanto-juveniles.

Confiabilidad inter-evaluadores NCFAS 38 Referencias

lvarez, R. (1996). El mtodo cientfico en las ciencias de la salud. Ediciones Daz de Santos, Madrid. Andrs Pueyo, A., Lpez, S. y lvarez, E. (2008). Valoracin del Riesgo de Violencia Contra la Pareja por Medio de la SARA. Papeles del Psiclogo, Vol. 29(1), pp. 107-122. Antequera, R. (2006) Evaluacin Psicolgica del Maltrato en la Infancia. Cuadernos de Medicina Forense, Vol. 12(43-44):129-148. Aracena, M., Castillo, R., Haz, A., Cumsille, F., Muoz, S., Bustos, L., Romn, F. (2000). Resiliencia al Maltrato Fsico Infantil: Variables que Diferencian a los Sujetos que Maltratan y No Maltratan Fsicamente a sus Hijos en el Presente y que Tienen una Historia de Maltrato Fsico en la Infancia. Revista de Psicologa, Vol. IX, Universidad de Chile. Argimn J. y J. Jimnez. 2004. Mtodos de Investigacin Clnica y Epidemiolgica. 3ra ed. Elsevier, Madrid, Espaa. Arruabarrena, M. y De Pal, J. (1994): Maltrato a los Nios en la Familia. Madrid, Pirmide. Barcelata, B. y lvarez, I. (2005). Patrones de Interaccin Familiar de Madres y Padres Generadores de Violencia y Maltrato Infantil. Universidad Nacional Autnoma de Mxico. Acta Colombiana de Psicologa 13, 35-45. Barudy, J y Dantagnan, M. (2005). Gua de Valoracin de las Competencias Parentales a travs de la Observacin Participante. Instituto de Formacin, Investigacin e Intervencin sobre la violencia familiar y sus consecuencias. Material de investigacin. Belsky, J. (1993). Etiology of child maltreatment: a developmentalecological analysis. Psychological Bulletin, 114 (3), 413434.

Confiabilidad inter-evaluadores NCFAS 39 Bronfenbrenner, U. (1987). La Ecologa del Desarrollo Humano. Ediciones Paids Ibrica S.A. Traducido del ttulo original: The Ecology of Human Development (1979). Bustos, C., Herrera, M. y Mathiesen M. (2001). Calidad del Ambiente del Hogar: Inventario HOME - Como un Instrumento de Medicin. Estudios Pedaggicos, N 27, pp. 7-22 De la Barra, F., lvarez, P., Toledo, V., Rodrguez, J. y Caris, L. (1995). Pesquisa de maltrato infantil y juvenil. Revista Chilena de Pediatra. 66 (2); p. 112-117. Fraser, M., Kirk, R. and Reed-Ashcraft, K. (2001). The Reliability and Validity of the North Carolina Family Assessment Scale. Research on Social Work Practice; Vol.11, N 4, 503-520. http://rsw.sagepub.com/cgi/content/abstract/11/4/503 Gmez de Terreros, M. (2006). Maltrato Psicolgico. Cuadernos de Medicina Forense; 12(4344):103-116. Gmez, E. y Haz, A. (2008). Intervencin Familiar Preventiva en Programas Colaboradores del SENAME: La Perspectiva del Profesional. Psykhe, noviembre, ao/vol. 17, N 002. Gmez, E., Muoz, M. y Haz, A. (2007). Familias Multiproblemticas y en Riesgo Social: Caractersticas e Intervencin. Psykhe, Vol.16, N 2, p.43-54. Haz, A. y Ramrez, V. (2002). Adaptacin del Child Abuse Potential Inventory en Chile: Anlisis de las Dificultades y Desafos de su Aplicacin a partir de dos Estudios Chilenos. Child Abuse & Neglect, 26, 481-495. Hewitt, N. (2005). Factores Cognoscitivos de los Padres Asociados con la Co-Ocurrencia del Consumo de Alcohol y el Maltrato Fsico de los Hijos. Acta Colombiana de Psicologa, Vol.8, N 1, p.7-34. Illanes, E., Bustos, L., Vizcarra, M. B. y Muoz, S. (2007). Violencia y Factores Sociales Asociados a Salud Mental en Mujeres de la Ciudad de Temuco. Revista Mdica de Chile; 135: 326-334.

Confiabilidad inter-evaluadores NCFAS 40 Jimnez, I., Finlay, C., De la Paz, A., Portell, Y. y Canino, N. (2006). Morbilidad y Maltrato Infantil en Nios entre 7- 14 aos en Consulta de Psicologa. Revista Humanidades Mdicas, Vol. 6, N 1. Johnson, M. A., Stone, S., Lou, C., Vu, C., Ling, J., Mizrahi, P. & Austin, M. J. (2006). Family assessment in child welfare services: Instrument comparisons. Berkeley, CA: University of California, Center for Social Services Research. Kirk, R. S. & Griffith, D. P. (2007). An examination of intensive family preservation services. Buhl, ID: The Anne Casey Foundation. Extrado el 20 enero, 2009, de http://www.nfpn.org/articlesmainmenu-34/105-ifps-research-report.html. Kirk, R. S., Kim, M. M. & Griffith. D. P. (2005). Advances in the reliability and validity of the North Carolina Family Assessment Scale. Journal of Human Behavior in the Social Environment,11(3/4), 157-176. Landis, J. y Koch, G. (1977). The measurement of observer agreement for categorical data. Biometrics; 33: 159-174. Latour, J., Abraira, V., Cabello, J. y Lpez, J. (1997). Mtodos de investigacin en cardiologa clnica (IV). Las mediciones clnicas en cardiologa: validez y errores de medicin. Revista Espaola de Cardiologa, 50:117-28. Martn, A. y Cano, A. (2003). Atencin primaria. Conceptos, organizacin y prctica clnica. Volumen 1. Elsevier, Madrid, Espaa. Medina, P., Aracena, M. y Bilbao, M. (2004). Maltrato Fsico Infantil y Apoyo Social: Un Estudio Descriptivo - Comparativo Entre Maltratadores Fsicos y No Maltratadores de la Ciudad de Temuco. Psykhe, Vol.13, N 1, p.175-189.

Confiabilidad inter-evaluadores NCFAS 41 Moreno, J. (2005). Estudio Sobre las Implicaciones de la Psicopatologa Parental, la Transmisin Intergeneracional y el Abuso de Sustancias Txicas en el Maltrato Infantil. Revista Colombiana de Psiquiatra, Vol.34, N 3, p.355-374. Norman y Streiner (1994). Bioestadistic. The Bare Essentials. Versin en espaol de la obra en ingls, traducida por Joan Tarrs, Universidad Complutense de Madrid, Ediciones Harcourt S.A., 1994, Madrid, Espaa. Reed, K. B. (1998). The Reliability and Validity of the North Carolina Family Assessment Scale. Chapel Hill, NC: The University of North Carolina at Chapel Hill. Rodrguez, J. (1998). El menor y la familia: Conflictos e Implicaciones. Ed. Universidad Pontificia de Comillas, Espaa. Salcedo, L., y Carvalho, A. M. (2005). Maltrato Infantil por Agresores bajo Efecto del Alcohol. Rev. Latino-Am. Enfermagem, Vol.13 (nmero especial): 827-35. SENAME. (2007). Bases tcnicas para concurso de proyectos. Lnea Programas de Proteccin en General. Programa de Intervencin Breve. Modalidad de Prevencin Focalizada. www.sename.cl/wsename/licitaciones/p3-2008/bases_tecnicas_PIB.pdf. Sociedad Chilena de Pediatra, Comit de Maltrato Infantil (2007). El Maltrato Infantil desde la Biotica: El Sistema de Salud y su Labor Asistencial ante el Maltrato Infantil, Qu Hacer? Revista Chilena de Pediatra, 78, (Supl. 1): 85-95. Szklo, M. y Nieto, J. (2003). Epidemiologa intermedia. Conceptos y aplicaciones. Ediciones Daz de Santos, Madrid. UNICEF. (2008). Maltrato Infantil. Indicadores de infancia. www.unicef.cl Valencia, E. y Gmez, E. (2010). Una Escala de Evaluacin Familiar Eco-Sistmica para Programas Sociales: Confiabilidad y Validez de la NCFAS en Poblacin de Alto Riesgo Psicosocial. Psykhe, Vol. 19, N 1, 89-103.

Confiabilidad inter-evaluadores NCFAS 42 Vizcarra, M., Corts, J., Bustos, Luis et al. (2001). Maltrato Infantil en la Ciudad de Temuco: Estudio de Prevalencia y Factores Asociados. Revista Mdica de Chile, Vol.129, N 12, p.14251432. Zegers, B., Larran, M., Polaino-Lorente, A., Trapp, A., Diez, I. (2003). Validez y Confiabilidad de la Versin Espaola de la Escala de Cohesin y Adaptabilidad Familiar (CAF) de Olson, Russell & Sprenkle para el Diagnstico del Funcionamiento Familiar en la Poblacin Chilena. Revista Chilena Neuropsiquiatra, V.41, N 1.

Confiabilidad inter-evaluadores NCFAS 43

Nota de la Autora

Elizabeth Pino Silva, Psicloga, candidata a Magster en Psicologa Jurdica y Forense de la Universidad de La Frontera, extiende los agradecimientos a la profesora gua de esta universidad, a las profesionales y directora del PIB Talcahuano Sur, al encargado de la Unidad de Diseo y Evaluacin de Programas, a los directivos de la Sociedad Protectora de la Infancia, y a la directora del National Family Preservation Network, por haber contribuido con el desarrollo de esta investigacin. Correspondencia relacionada con esta investigacin debe ser enviada a los siguientes correos electrnicos: pibtalcahuano@protectora.cl, elypinosilva@gmail.com, calarcon@ufro.cl

Confiabilidad inter-evaluadores NCFAS 44 Anexo 1 A continuacin, se seala un ejemplo del formato en el que se consigna la valoracin cualitativa, en este caso, respecto del dominio Entorno. Simbologa: CF: Clara Fortaleza PL: Problema Leve LF: Leve Fortaleza PM: Problema Moderado A/LB: Adecuado/Lnea Base PS: Problema Serio

Dominio 1: Entorno 1. Entorno en General 2. Estabilidad de la Vivienda 3. Seguridad en la Comunidad 4. Habitabilidad de la Vivienda 5. Ingreso/Empleo 6. Manejo Financiero 7. Comida y Nutricin 8. Higiene Personal 9. Transporte 10. Entorno de Aprendizaje

CF LF A/LB PL PM PS

Confiabilidad inter-evaluadores NCFAS 45 Anexo 2 A continuacin, a modo de ejemplo, se sealan las descripciones del tem Entorno en General, dentro del dominio Entorno. Cabe recordar que los autores de la NCFAS han establecido la definicin o descripcin de 3 categoras (clara fortaleza, adecuado/lnea base, y problema serio), de un total de 6 7. A. Entorno 1. Entorno en General Se refiere a una familia recibiendo puntajes muy altos en las siguientes reas: estabilidad de la vivienda, seguridad en la comunidad, habitabilidad de la vivienda, ingreso/empleo, manejo financiero, comida y nutricin, higiene personal, transporte, y entorno de aprendizaje. 0 Lnea Base/Adecuada Se refiere a una familia experimentando problemas mnimos en las siguientes reas: estabilidad de la vivienda, seguridad en la comunidad, habitabilidad de la vivienda, ingreso/empleo, manejo finan., comida y nutricin, higiene personal, transporte, y entorno de aprendizaje. Sin embargo, los problemas no interfieren con la habilidad de la familia para funcionar, y los problemas no necesitan ser abordados. -3 Problema Serio Se refiere a una familia recibiendo muy bajos puntajes en las siguientes reas: estabilidad de la vivienda, seguridad en la

+2 Clara Fortaleza

Confiabilidad inter-evaluadores NCFAS 46 comunidad, habitabilidad de la vivienda, ingreso/empleo, manejo financiero, comida y nutricin, higiene personal, transporte, y entorno de aprendizaje.

Confiabilidad inter-evaluadores NCFAS 47 Anexo 3

Comparacin Dupla 1 y 2 (con 6 7 categoras) % de temes NCFAS segn fuerza de la concordancia inter-evaluadores

50% 40% 30% 20% 10% 0%

5,6% 30,6%

DUPLA 1
44,4% 47,2%
41,7%

DUPLA 2
8,3% 0,0% 13,9% 0,0% 8,3%

ap pa =1 K od ap -0 er pa ,8 ad ) =0 a( ,7 K 9ap 0, pa 6) Ba =0 ja ,5 In (K 9sig ap 0, 4) ni pa fi c =0 an ,3 te 90, (K 2) ap pa =0 ,1 90)

DUPLA 2 DUPLA 1

Bu en a(

uy

bu en a

(K

Confiabilidad inter-evaluadores NCFAS 48 Anexo 4

Tabla 1: Dupla 1 con 6 (7) categoras Itemes NCFAS Valor Error Significacin ndice estndar Kappa 1. Entorno en General 0,669 0,104 0,000
2. Estabilidad de la Vivienda 3. Seguridad en la Comunidad 4. Habitabilidad de la Vivienda 5. Ingreso/Empleo 6. Manejo Financiero 7. Comida y Nutricin 8. Higiene Personal 9. Transporte 10. Entorno de Aprendizaje 11. Competencias Parentales en General 12. Supervisin del Nio(s) 13. Prcticas Disciplinarias 14. Entrega de Oportunidades de Desarrollo/Crecimiento 15. Salud Mental del Progenitor(es)/Cuidador(es) 16. Salud Fsica del Progenitor(es)/Cuidador(es) 17. Uso de Drogas/Alcohol del Progenitor(es)/Cuidador(es) 18. Interacciones Familiares en General 19. Apego con el Nio(s) 20. Expectativas sobre el Nio(s) 21. Apoyo Mutuo dentro de la Familia 22. Relacin entre los Progenitores/Cuidadores 0,523 0,617 0,650 0,560 0,604 0,671 0,687 1,000 0,361 0,130 0,225 0,298 0,181 0,479 0,659 0,480 0,430 0,433 0,411 0,413 0,516 0,102 0,114 0,099 0,111 0,111 0,117 0,141 0,000 0,118 0,114 0,103 0,114 0,108 0,111 0,113 0,129 0,109 0,108 0,113 0,120 0,105 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,151 0,004 0,000 0,042 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000

Fuerza concordancia Buena Moderada Buena Buena Moderada Buena Buena Buena Muy buena Dbil Insignificante Baja Baja Insignificante Moderada Buena Moderada Moderada Moderada Moderada Moderada Moderada

Confiabilidad inter-evaluadores NCFAS 49

Itemes NCFAS

23. Seguridad Familiar en General 24. Ausencia/Presencia de Abuso Fsico en el Nio(s) 25. Ausencia/Presencia de Abuso Sexual en el Nio(s) 26. Ausencia/Presencia de Abuso Emocional en el Nio(s) 27. Ausencia/Presencia de Negligencia en el Nio(s) 28. Violencia Domstica entre los Progenitores/Cuidadores 29. Bienestar del Nio en General 30. Salud Mental del Nio(s) 31. Comportamiento del Nio(s) 32. Desempeo Escolar 33. Relacin con el Progenitor(es)/Cuidador(es) 34. Relacin con Hermano(s) 35. Relacin con Pares 36. Cooperacin/Motivacin a Permanecer en la Familia

Valor ndice Kappa 0,189 0,353 0,844 0,725 0,593 0,661 0,471 0,660 0,438 0,550 0,464 0,535 0,286 0,748

Error Significacin estndar 0,138 0,122 0,092 0,100 0,106 0,100 0,114 0,111 0,126 0,114 0,117 0,117 0,128 0,110 0,068 0,001 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000

Fuerza concordancia Insignificante Baja Muy buena Buena Moderada Buena Moderada Buena Moderada Moderada Moderada Moderada Baja Buena

Confiabilidad inter-evaluadores NCFAS 50 Anexo 5

Tabla 2: Dupla 2 con 6 (7) categoras Itemes NCFAS Valor Error Significacin Fuerza ndice estndar concordancia Kappa 1. Entorno en General 1,000 0,000 0,000 Muy buena
2. Estabilidad de la Vivienda 3. Seguridad en la Comunidad 4. Habitabilidad de la Vivienda 5. Ingreso/Empleo 6. Manejo Financiero 7. Comida y Nutricin 8. Higiene Personal 9. Transporte 10. Entorno de Aprendizaje 11. Competencias Parentales en General 12. Supervisin del Nio(s) 13. Prcticas Disciplinarias 14. Entrega de Oportunidades de Desarrollo/Crecimiento 15. Salud Mental del Progenitor(es)/Cuidador(es) 16. Salud Fsica del Progenitor(es)/Cuidador(es) 17. Uso de Drogas/Alcohol del Progenitor(es)/Cuidador(es) 18. Interacciones Familiares en General 19. Apego con el Nio(s) 20. Expectativas sobre el Nio(s) 21. Apoyo Mutuo dentro de la Familia 22. Relacin entre los Progenitores/Cuidadores 23. Seguridad Familiar en General 24. Ausencia/Presencia de Abuso Fsico en el Nio(s) 0,934 0,856 0,940 0,702 0,938 1,000 1,000 1,000 0,751 1,000 0,701 0,612 0,751 0,767 0,856 0,611 0,753 0,79 0,67 0,591 0,669 0,695 0,597 0,064 0,091 0,057 0,103 0,059 0,000 0,000 0,000 0,103 0,000 0,104 0,113 0,103 0,098 0,091 0,114 0,101 0,102 0,111 0,101 0,1 0,104 0,105 0,000 0,000 0,000 0 0,000 0,000 0,000 0,000 0 0,000 0 0 0 0 0,000 0 0 0 0 0 0 0 0 Muy buena Muy buena Muy buena Buena Muy buena Muy buena Muy buena Muy buena Buena Muy buena Buena Buena Buena Buena Muy buena Buena Buena Buena Buena Moderada Buena Buena Moderada

Confiabilidad inter-evaluadores NCFAS 51 Itemes NCFAS Valor ndice Kappa 0,864 0,802 0,816 0,774 0,64 0,64 0,875 0,717 0,64 0,573 0,933 0,856 Error Significacin Fuerza estndar concordancia 0,086 0,098 0,093 0,092 0,107 0,107 0,080 0,098 0,108 0,11 0,063 0,091 0,000 0,000 0,000 0 0 0 0,000 0 0 0 0,000 0,000 Muy Buena Muy buena Muy buena Buena Buena Buena Muy buena Buena Buena Moderada Muy buena Muy buena

25. Ausencia/Presencia de Abuso Sexual en el Nio(s) 26. Ausencia/Presencia de Abuso Emocional en el Nio(s) 27. Ausencia/Presencia de Negligencia en el Nio(s) 28. Violencia Domstica entre los Progenitores/Cuidadores 29. Bienestar del Nio en General 30. Salud Mental del Nio(s) 31. Comportamiento del Nio(s) 32. Desempeo Escolar 33. Relacin con el Progenitor(es)/Cuidador(es) 34. Relacin con Hermano(s) 35. Relacin con Pares 36. Cooperacin/Motivacin a Permanecer en la Familia

Confiabilidad inter-evaluadores NCFAS 52 Anexo 6

Grfico 2: Dupla 1 y 2 (con 2 categoras) Porcentaje de temes de NCFAS segn fuerza de la concordancia interevaluador

70% 60% 50% 40% 30% 20% 10% 0%

69,4%

DUPLA 1

52,8%

DUPLA 2

27,8%

25,0%

13,9% 5,6%
,8 K ) ap M pa od =0 er ,7 ad 9a( 0, 6) K ap pa =0 ,5 Ba 90, ja 4) (K ap pa =0 ,3 90, 2)

0,0% 5,6%

DUPLA 2 DUPLA 1

bu en a( M uy

Bu en a(

K ap

pa =1 -0

Confiabilidad inter-evaluadores NCFAS 53 Anexo 7 Tabla 3: Dupla 1 con 2 categoras Valor Error Significacin Fuerza ndice estndar concordancia Kappa 0,738 0,105 0,000 Buena 0,880 0,784 0,946 0,738 0,787 0,818 1,000 1,000 0,684 0,473 0,608 0,653 0,450 0,538 0,764 0,677 0,677 0,830 0,625 0,614 0,735 0,336 0,444 0,081 0,099 0,052 0,105 0,098 0,099 0,000 0,000 0,117 0,130 0,122 0,121 0,127 0,118 0,108 0,132 0,132 0,094 0,130 0,133 0,106 0,165 0,142 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,012 0,000 Muy buena Buena Muy buena Buena Buena Muy buena Muy buena Muy buena Buena Moderada Buena Buena Moderada Moderada Buena Buena Buena Muy buena Buena Buena Buena Baja Moderada

Itemes NCFAS

1. Entorno en General

2. Estabilidad de la Vivienda 3. Seguridad en la Comunidad 4. Habitabilidad de la Vivienda 5. Ingreso/Empleo 6. Manejo Financiero 7. Comida y Nutricin 8. Higiene Personal 9. Transporte 10. Entorno de Aprendizaje 11. Competencias Parentales en General 12. Supervisin del Nio(s) 13. Prcticas Disciplinarias 14. Entrega de Oportunidades de Desarrollo/Crecimiento 15. Salud Mental del Progenitor(es)/Cuidador(es) 16. Salud Fsica del Progenitor(es)/Cuidador(es) 17. Uso de Drogas/Alcohol del Progenitor(es)/Cuidador(es) 18. Interacciones Familiares en General 19. Apego con el Nio(s) 20. Expectativas sobre el Nio(s) 21. Apoyo Mutuo dentro de la Familia 22. Relacin entre los Progenitores/Cuidadores 23. Seguridad Familiar en General 24. Ausencia/Presencia de Abuso Fsico en el Nio(s)

Confiabilidad inter-evaluadores NCFAS 54 Itemes NCFAS Valor ndice Kappa 1,000 0,748 0,818 0,780 0,723 0,784 0,622 0,634 0,880 0,475 0,265 0,806 Error estndar 0,000 0,118 0,099 0,101 0,110 0,099 0,125 0,122 0,081 0,137 0,138 0,106 Significacin Fuerza concordancia Muy buena Buena Muy buena Buena Buena Buena Buena Buena Muy buena Moderada Baja Muy buena

25. Ausencia/Presencia de Abuso Sexual en el Nio(s) 26. Ausencia/Presencia de Abuso Emocional en el Nio(s) 27. Ausencia/Presencia de Negligencia en el Nio(s) 28. Violencia Domstica entre los Progenitores/Cuidadores 29. Bienestar del Nio en General 30. Salud Mental del Nio(s) 31. Comportamiento del Nio(s) 32. Desempeo Escolar 33. Relacin con el Progenitor(es)/Cuidador(es) 34. Relacin con Hermano(s) 35. Relacin con Pares 36. Cooperacin/Motivacin a Permanecer en la Familia

0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,012 0,000

Confiabilidad inter-evaluadores NCFAS 55 Anexo 8 Tabla 4: Dupla 2 con 2 categoras Itemes NCFAS Valor Error Significacin ndice estndar Kappa 1. Entorno en General 1,000 0,000 0,000 2. Estabilidad de la Vivienda 3. Seguridad en la Comunidad 4. Habitabilidad de la Vivienda 5. Ingreso/Empleo 6. Manejo Financiero 7. Comida y Nutricin 8. Higiene Personal 9. Transporte 10. Entorno de Aprendizaje 1,000 1,000 1,000 0,877 0,938 1,000 1,000 1,000 0,856 0,000 0,000 0,000 0,080 0,059 0,000 0,000 0,000 0,091 0,000 0,104 0,102 0,063 0,083 0,091 0,110 0,098 0,102 0,111 0,101 0,093 0,104 0,059 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000

Fuerza concordancia Muy buena Muy buena Muy buena Muy buena Muy buena Muy buena Muy buena Muy buena Muy buena Muy buena Muy buena Buena Buena Muy buena Muy buena Muy buena Buena Muy buena Buena Buena Moderada Muy buena Buena Muy buena

11. Competencias Parentales en General 1,000 12. Supervisin del Nio(s) 13. Prcticas Disciplinarias 14. Entrega de Oportunidades de Desarrollo/Crecimiento 15. Salud Mental del Progenitor(es)/Cuidador(es) 16. Salud Fsica del Progenitor(es)/Cuidador(es) 17. Uso de Drogas/Alcohol del Progenitor(es)/Cuidador(es) 18. Interacciones Familiares en General 19. Apego con el Nio(s) 20. Expectativas sobre el Nio(s) 21. Apoyo Mutuo dentro de la Familia 22. Relacin entre los Progenitores/Cuidadores 23. Seguridad Familiar en General 0,701 0,790 0,933 0,870 0,856 0,727 0,807 0,790 0,670 0,591 0,816 0,695

24. Ausencia/Presencia de Abuso Fsico 0,938 en el Nio(s)

Confiabilidad inter-evaluadores NCFAS 56 Itemes NCFAS Valor Error Significacin ndice estndar Kappa 1,000 0,000 0,000 1,000 0,816 0,876 0,751 0,754 0,873 0,817 0,694 0,573 0,933 1,000 0,000 0,093 0,080 0,101 0,104 0,082 0,092 0,110 0,110 0,063 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 Fuerza concordancia Muy buena Muy buena Muy buena Muy buena Buena Buena Muy buena Muy buena Buena Moderada Muy buena Muy buena

25. Ausencia/Presencia de Abuso Sexual en el Nio(s) 26. Ausencia/Presencia de Abuso Emocional en el Nio(s) 27. Ausencia/Presencia de Negligencia en el Nio(s) 28. Violencia Domstica entre los Progenitores/Cuidadores 29. Bienestar del Nio en General 30. Salud Mental del Nio(s) 31. Comportamiento del Nio(s) 32. Desempeo Escolar 33. Relacin con el Progenitor(es)/Cuidador(es) 34. Relacin con Hermano(s) 35. Relacin con Pares 36. Cooperacin/Motivacin a Permanecer en la Familia

Confiabilidad inter-evaluadores NCFAS 57 Anexo 9

Grafico 3: Comparacin Dupla 1 y 2 (6/7 y 2 categoras) Porcentaje de temes NCFAS con fuerza concordancia "muy buena", "buena" y "moderada"

Dupla 1 (6 7 cat.)
100,0% 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 100,0% 94,4% 77,8%

Dupla 2 (6 7 cat.)

Dupla 1 (2 cat.)

Dupla 2 (2 cat.) 5,6% Dupla 1 (2 cat.) 22,2% 0,0% Dupla 2 (6 7 cat.) Dupla 1 (6 7 cat.) Muy Buena- BajaBuena- Insignific Moderad ante (Kappa= a (Kappa= 0,39-0) 1-0,4)

0,0%

Dupla 2 (2 cat.)