Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
Diciembre de 2005
2
COMITÉ DE TESIS
TUTORES:
JURADOS
o Dra María Dolores Pérez
o Dr Carlos Gómez
3
CONSTRUCCION Y SEGUIMIENTO DE UN INSTRUMENTO PARA
EVALUACIÓN DEL DESEMPEÑO ACADEMICO Y LABORAL DE LOS
EGRESADOS DE UN PROGRAMA DE MEDICINA
CONTENIDOS
CAPITULO 1:
INTRODUCCIÓN ...............................................................................................................11
CAPITULO 2:
JUSTIFICAGIÓN Y MARCO TEORIGO .........................................................................14
CAPITULO 3:
OBJETIVOS: PRINCIPAL Y SECUNDARIO .................................................................23
CAPITULO 4:
METODOS: TIPO DE DISEÑO .......................................................................................24
4.1. ETAPA I: DISEÑO Y VALIDACIÓN DEL INTRUMENTO
4.1.1. CONSTRUCCION DEL INSTRUMENTO
4.1.1.1. Establecer dominios y preguntas ..................................................24
4.1.1.1.1. Grupos Focales
4.1.1.1.2. Entrevistas semi-estructuradas
4.1.1.1.3. Entrevistas en profundidad
4.1.1.1.4. Construcción del instrumento preliminar
4.1.1.1.5. Validez de apariencia y contenido del instrumento
preliminar
4.1.1.1.6. Reproducibilidad del instrumento preliminar
4.1.1.2. Análisis Factorial ........................................................................27
4.1.1.2.1. Extracción de Factores y Reducción de items
4.1.1.2.2. Consistencia interna de la escala
4
4.1.2. VALIDEZ DEL INTRUMENTO .............................................29
4.1.2.1. Validez de Apariencia
4.1.2.2. Validez de Contenido
4.1.2.3. Validez de Constructo
4.1.3. CONFIABILIDAD DEL INSTRUMENTO FINAL .................29
4.1.3.1. Evaluación de calidad
4.1.3.2. Reproducibilidad
4.1.4. INSTRUMENTO PARA LOS PACIENTES ............................30
Aplicación
CAPITULO 5:
PRESENTACION DE RESULTADOS: ....................................................................32
5.1. CONSTRUCCION Y VALIDACIÓN DEL INSTRUMENTO ..............32
5.2. APLICACIÓN DEL INSTRUMENTO A PACIENTES .........................56
5.3. APLICACIÓN DEL INSTRUMENTO FINAL. EVALUACIÓN
DEL EGRESADO JAVERIANO.....................................................................61
CAPITULO 6:
ANÁLISIS, CONCLUSIONES Y RECOMENDACIONES ......................................65
CAPITULO 7:
BIBLIOGRAFÍA .........................................................................................................69
ANEXOS …………………………………………………………………………….74
5
LISTADO DE TABLAS:
6
LISTADO DE ANEXOS
7
RESUMEN
CONSTRUCCION Y APLICACION DE UN INSTRUMENTO PARA
EVALUACIÓN DEL DESEMPEÑO ACADEMICO Y LABORAL DE LOS
EGRESADOS DE UN PROGRAMA DE MEDICINA
8
SUMMARY
9
AGRADECIMIENTOS
A los Doctores Rodolfo Dennis y Maria Nelcy Rodríguez, por su tiempo, sus
enseñanzas, su estímulo permanente, sus aportes y dirección en el desarrollo de este
proyecto
A Martín Alonso Rondón por sus aportes en el análisis estadístico
A la Unidad de Epidemiología Clínica en general, por su paciencia, por todas las
enseñanzas y oportunidades durante estos años
Al Doctor Francisco Henao, quien siendo Decano, me brindó todo el apoyo para
que pudiera culminar este trabajo
A la facultad de Medicina y al Hospital San Ignacio, quienes en forma generosa
cedieron parte de su tiempo para que pudiera ser dedicado a este proyecto
A mis compañeros de la Unidad de Neumología por permitirme el espacio y el
tiempo dedicado a este trabajo
A todas las personas que en diferente forma aceptaron participar y colaborar en el
proyecto
A mis secretarias Nelly Guativa y a mi asistente Sandra Ariza, por toda su ayuda
A Mariela Gómez, Cecilia de Santacruz, Maria Patricia Bermúdez por todos sus
aportes
En una forma muy especial a mi familia que ha sido el soporte, el estimulo y el
apoyo para la realización de mis metas.
10
CAPITULO 1: INTRODUCCIÓN
La idea de este proyecto surge a partir de la importancia que para la Educación Superior
tiene los procesos de acreditación de calidad. Teniendo en cuenta que todos estos procesos
buscan que los programas puedan entregar a la sociedad individuos altamente calificados,
idóneos para el ejercicio de la profesión, en capacidad de responder a las necesidades del
país, la comunidad y a las propias; es importante poder evaluar y medir el impacto de su
desempeño como profesionales y como personas. Este proyecto está enmarcado dentro del
proceso de acreditación del programa de medicina.
11
la ley
5. Propiciar la auto evaluación permanente de instituciones y programas académicos
dentro de una cultura de evaluación
6. Ser el instrumento mediante el cual el estado da fe publica de la calidad de sus
instituciones y programas
7. Brindar información confiable a los usuarios del sistema
8. Ser un incentivo para los académicos mediante la credibilidad y reconocimiento de
su trabajo
Los criterios para la evaluación de los programas son: Universalidad, Integridad, Equidad,
Idoneidad, Responsabilidad, Coherencia, Transparencia, Pertinencia, Eficacia, Eficiencia.
12
excelencia que lo haga altamente competitivo, con una gran capacidad para el trabajo y el
servicio a la comunidad y a la sociedad en general. Pero será necesario evaluar en una
forma objetiva si estos propósitos se cumplen, durante su ejercicio profesional, mediante la
aplicación de un instrumento adecuadamente desarrollado, válido y reproducible.
13
CAPITULO 2:
JUSTIFICACION Y MARCO TEORICO
14
c. Evaluación y auto-regulación del programa
d. Proyección social
e. Metodologías de la enseñanza
f. Interdisciplinariedad
g. Recursos de apoyo didáctico
h. Recursos Bibliográficos
i. Recursos Informáticos y de comunicación
j. Trabajo de los estudiantes
k. Relaciones nacionales e internacionales
3. Estudiantes
a. Competencias
b. Evaluación de estudiantes
c. Participación en actividades de formación integral
d. Reglamento estudiantil
e. Mecanismos de ingreso
f. Numero de estudiantes admitidos
g. Permanencia y deserción estudiantil
4. Docentes:
a. Número, dedicación y nivel de formación de los profesores
b. Estatuto profesoral
c. Estimulo a la docencia, investigación y extensión o proyección social
d. Selección de profesores
e. Remuneración por méritos
f. Desarrollo profesoral
g. Interacción con las comunidades académicas
h. Producción de material docente
5. Organización, administración y gestión
a. Organización, administración y gestión del programa
b. Dirección del programa
c. Sistemas de comunicación e información
d. Promoción del programa
15
6. Recursos físicos y financieros
a. Presupuesto del programa
b. Administración de recursos
c. Recursos físicos
7. Egresados e impacto sobre el medio
a. Influencia del programa en el medio
b. Impacto de los egresados en el medio social y académico
c. Seguimiento de los egresados
8. Bienestar Institucional
a. Políticas, programas y servicios de bienestar institucional
9. Investigación
a. Investigación formativa
b. Compromiso con la investigación
De acuerdo con el CNA este factor debe evaluarse bajo ciertas características:
- Relación con el entorno
- Proyección hacia la comunidad
- Ubicación y seguimiento
Algunos de los indicadores de impacto más importantes serían:
a. Desempeño de los egresados a través de evaluaciones hechas por medio de
pruebas externas objetivas (como las pruebas de estado)
b. Opinión de los expertos en salud sobre los egresados (instrumento
desarrollado)
16
c. Opinión de usuarios de servicios o productos suministrados por los
egresados (opinión de los pacientes)
Tomando como base los resultados obtenidos en la evaluación de los egresados, realizada
para la acreditación durante los años 1997 y 1997 (4), a partir de una serie de grupos
focales en egresados seleccionados por conveniencia, pretendo realizar un instrumento más
estructurado y de mayor validez en la evaluación de este factor.
Las conclusiones de los resultados obtenidos en ese momento fueron: los 4820 egresados
del programa de Medicina a Diciembre de 1997, habían tenido un impacto verdadero en la
práctica de la Medicina en el País y en el exterior:
-Ocupado posiciones académicas destacadas
-Participando activamente en la atención y cuidado de pacientes en diferentes
instituciones especialmente aquellas de alta complejidad
-Destacándose en el área de la Investigación
-Desempeñando exitosamente tareas en el área administrativa y de la salud Pública
-Alto porcentaje de ingreso a programas de pos-grado en Colombia (80%) y en el
exterior
Uno de los sesgos más importantes en esta evaluación fue la vinculación que existía entre
los egresados evaluados y el programa de Medicina, ya que muchos de ellos se encontraban
vinculados como docentes de la Facultad, lo cual podía disminuir la objetividad en el
momento de evaluar (4).
Este proyecto de tesis esta ligado al proceso de auto evaluación con miras a la extensión de
la Acreditación, dentro del marco de la evaluación del Factor Egresados.
La evaluación de este factor incluyó tres partes, dos de las cuales hacen parte de este
proyecto, los resultados serán parte del informe final, para la re-acreditación. Las tres
partes son:
1. Descripción demográfica de los egresados del programa de Medicina:
2. Desempeño Académico y Laboral del egresado del programa de Medicina que
corresponde a la segunda fase de este proyecto. En el desarrollo del instrumento se pretende
17
establecer cuales son los principales parámetros para tener en cuenta en la evaluación de
este componente del factor 7
3. Opinión de los usuarios (pacientes): Aplicar una encuesta a una muestra por
conveniencia de pacientes de diferentes instituciones para evaluar los aspectos que a su
juicio son los determinantes más importantes del desempeño académico y laboral del
egresado.
18
Las asociaciones de exalumnos de las diferentes Universidades, tienen encuestas o formatos
para actualización de información de egresados, que no están diseñados para evaluar
desempeño e impacto del programa. Generalmente estos formatos están disponibles en la
página web respectiva.
19
con algunos de los elementos mencionados previamente. 109 fueron empleados
para evaluación de programas, aplicados a estudiantes de medicina y residentes, 65
fueron auto administrados, 62 reportan alguna evidencia de reproducibilidad. La
validez de contenido es reportada en 86 estudios, pero solamente 34 muestran
evidencia fuerte, la validez concurrente en 46 y la validez predictiva en 16. Los
autores concluyen que hay pocos estudios con instrumentos bien diseñados que
puedan ser utilizados para evaluar profesionalismo. Recomiendan que todo
instrumento debe tener tres propiedades: validez, reproducibilidad y practicidad.
No todos los instrumentos reúnen estas características (8).
- El Royal Australian College of Physicians elaboró un instrumento de 12 preguntas
relacionadas con destrezas en comunicación, realización de procedimientos y
examen físico, habilidades diagnósticas y de tratamiento, manejo y cuidado del
paciente, conocimientos, aspectos de responsabilidad, sensibilidad y honorabilidad.
Uno de los objetivos era ver si este instrumento, empleado en residentes y
egresados, podía ser utilizado en forma temprana en estudiantes de pregrado,
conservando sus características de reproducibilidad, validez y distribución
factorial. El análisis factorial agrupa las preguntas en 2 factores: Destrezas clínicas
y aspectos humanísticos. (9)
- El grupo de Lynch, perteneciente al Accreditation Council for Graduates Medical
Education, al Drexel University College of Medicine y al American Board of
Medical Specialities, publicó en el 2004 una revisión de la Literatura acerca de las
técnicas empleadas para evaluar “profesionalismo” en los últimos 20 años. La
revisión define profesionalismo como la habilidad para alcanzar las expectativas de
la práctica médica en una forma competente. Los instrumentos se categorizan
según los contenidos, en los que miden profesionalismo en aspectos éticos,
características personales, todos los aspectos relacionados y otros aspectos. Las
áreas evaluados se categorizan en: cognoscitiva, afectiva, de comportamiento y
ambiental. De 411 estudios publicados, este trabajo incluye 84 que contienen
instrumentos relacionados con alguna de las categorías mencionadas. (Ver anexo
No 1: Tabla resumen de los estudios analizados). El estudio concluye
mencionando la necesidad de utilizar instrumentos reproducibles y válidos en la
20
evaluación de estudiantes, residentes y egresados, siendo importante incluir la
opinión de los pacientes, especialmente en el caso de los egresados. (10)
- El estudio publicado en Academic Medicine por Arnold, quien es miembro del
American Board of Internal Medicine, evaluó una escala para medir actitudes y
comportamientos profesionales relacionados con la educación médica en pregrado
y en posgrado. Participaron 5 Facultades de Medicina alopática, con un porcentaje
de respuesta dentro de los participantes de 75%. La escala tuvo una consistencia
interna de 0.71 y el análisis factorial identificó 3 factores: excelencia,
honorabilidad e integridad y altruismo, con eigenvalues mayores a 1 y
confiabilidad de 0.72, 0.60 y 0.51 respectivamente. Este estudio resalta la
importancia de desarrollar escalas validas, reproducibles y fácilmente aplicables
para evaluar en forma rigurosa aspectos de profesionalismo desde la educación
médica, para asegurar la calidad del egresado. (11)
- La Universidad Nacional utiliza un instrumento para evaluación de egresados por
parte de empleadores, es un cuestionario de 16 preguntas relacionadas con el
desempeño laboral, compromiso, capacidad de liderazgo e innovación, nivel de
formación, actitud, sensibilidad social, la imagen del egresado, sus fortalezas y
debilidades. No es un instrumento específico para un tipo particular de egresado, es
un instrumento que aplica para todos los egresados de la universidad.
- La Universidad Autónoma de México a través de su asociación de egresados tiene
un cuestionario que envía para actualización de información y seguimiento para ser
llenado por el egresado.
21
cuenta estos aspectos, para establecer formas de medida dinámicas. (12,13,14,15).
Cada día es más importante la evaluación por competencias ya que estas son
determinantes de la calidad (15). Las propuestas de reforma de la educación médica
buscan responder a las nuevas necesidades de la sociedad, al creciente desarrollo de la
medicina, a la demanda laboral, al desarrollo de competencias, la inclusión de las
ciencias sociales y dar una respuesta a la creciente insatisfacción con la calidad de la
atención médica. (16).
Es importante tener en cuenta los atributos que deben tener un buen médico, sabiendo
que no existen patrones de oro, estos atributos están relacionados con sus
conocimientos, destrezas y habilidades, dedicación y relación con los pacientes y su
capacidad de trabajar con otros grupos diferentes al clínico. Aspectos que deben ser
contemplados en los currículos ya que serán determinantes del impacto y desempeño
de los profesionales (17).
22
CAPITULO 3
OBJETIVOS:
a. PRINCIPAL:
i. Construir un instrumento vá1ido y reproducible para seguimiento del
impacto del egresado de un programa de medicina.
b. SECUNDARIO:
i. Aplicar el instrumento diseñado, en líderes del sector salud para establecer
el impacto del egresado de la Facultad de Medicina de la Javeriana
ii. Describir la percepción de los pacientes en relación con los aspectos
determinantes del desempeño definidos en el instrumento desarrollado.
Para efectos de este trabajo tendremos en cuenta las siguientes definiciones operativas
como punto de partida, las cuales serán ajustadas con los resultados del proyecto:
Impacto: Definimos impacto como la marca, la huella, la impresión o imagen que deja en la
sociedad y en la comunidad el ejercicio profesional de la medicina en sus diferentes áreas.
En este estudio miraremos solamente el espectro positivo en términos de calidad y
excelencia (2,5)
Profesionalismo: como la capacidad de alcanzar las expectativas requeridas para una
práctica competente. Esto implica colocar los intereses del paciente por encima de los del
médico, mantener estándares de competencia e integridad basada en los principios de
autonomía de los pacientes, justicia social y servicio a la comunidad (8,10,11,12)
23
CAPITULO 4:
DISEÑO
Esta fue una investigación cualitativa, de diseño y validación de un instrumento
MATERIAL Y METODOLOGÍA:
24
4.1.1.1.1. Los grupos focales son una forma de entrevista grupal, que canaliza la
comunicación entre los participantes de la investigación, para generar datos en forma
simultánea y se basa en la interacción entre los participantes. El método busca que las
personas hablen entre sí sobre los tópicos o preguntas planteadas, es muy útil para explorar
conocimiento y experiencia de los participante sobre el tema. En ciencias de la salud es
particularmente útil para medir el impacto de la educación a la comunidad, su percepción
de salud, sus experiencias de enfermedad. Se espera que este método ayude a clarificar
aspectos que serían difíciles de explorar por otros métodos. Dentro de las ventajas de los
grupos focales podemos mencionar el que no discrimina personas que no saben leer ni
escribir, estimula la participación de personas que no permitirían ser entrevistadas en forma
individual, permite conocer fácilmente perspectivas, puntos de vista, experiencias y
conocimientos de los participantes (23,24, 25,26).
4.1.1.1.2. Las entrevistas semi-estructuradas: Utilizan preguntas abiertas que definen las
áreas que quieren ser exploradas al menos inicialmente, para obtener opiniones,
percepciones, creencias y conocimientos sobre los aspectos que se quiere evaluar, en este
caso para establecer los indicadores de impacto del instrumento a construir. Se
entrevistaran directores de programas de posgrado, EPS e IPS (19,24,27,28).
4.1.1.1.3. Las entrevistas en profundidad: son menos estructuradas que las anteriores y
buscan cubrir aspectos específicos en mayor detalle. Se inicia con una pregunta general
sobre el tema y las preguntas subsecuentes dependerán de las respuestas del entrevistado.
Se realizaran 4 entrevistas a expertos en educación medica, acreditación y salud publica.
(24,29).
4.1.1.1.4. Construcción del Instrumento: Los datos provenientes de los grupos focales y las
entrevistas se ordenaron en forma sistemática y se construyó una matriz de dos
dimensiones: las personas o grupos en las filas y los aspectos o preguntas en las columnas.
Con la información obtenida se hará una lista de probables dominios y preguntas,
agrupando los similares y eliminando los que aparecen repetidos (30)
25
A partir de esta lista se elaboró un instrumento preliminar para la validación de apariencia,
contenido y constructo.
26
4.1.1.2. Análisis Factorial: El instrumento resultante fue sometido al análisis factorial para
establecer los factores y sus items (27,39,40,41).
Para la realización del análisis factorial, se estableció un tamaño de muestra que permitiera
tener alrededor de 5 medidas por cada variable del instrumento preliminar. Dicho
instrumento fue contestado por directores de EPS, IPS, decanos de facultades de medicina,
profesores de medicina, Directores de programas de posgrado, Presidentes de Asociaciones
científicas, estudiantes de posgrado y estudiantes de ultimo año de medicina. Se tomó la
base de datos del Ministerio de la Protección Social, de Ascofame y de la Asociación
Colombiana de Sociedades Científicas.
El instrumento se envió fuera de Bogotá a través de un sistema de correo con respuesta
prepagada, junto con un instructivo que explicaba el objetivo del proyecto, la importancia
de la participación, así como la forma en que debían responder. Se generaron estrategias
para recuperar la información, como llamadas telefónicas, mensajes por correo electrónico.
Dentro de Bogotá se ofreció la posibilidad de mensajería personalizada a través de entrega
y recolección certificada, se recogieron las encuestas entre los días 5 y 45 después de su
entrega.
Los cuestionarios fueron numerados de acuerdo a la base de datos, para poder tener un
control de las respuestas y la búsqueda activa de los no respondedores.
4.1.1.2.1. El análisis Factorial, se realizó con un paquete estadístico SPPS para windows
versión 11.2. Este análisis incluyó varios pasos fundamentales:
Paso 1: Elaboración de base de datos para SPSS. Estadística descriptiva de las variables
(items)
Paso 2: Establecer si se cumplían los supuestos para la realización de análisis factorial:
- Verificación de la matriz de correlación,
- Establecer si el determinante es diferente de 0,
- Realizar el test de Kaiser-Meyer-Olkin es un indicador de la fortaleza de la
correlación entre los items y el coeficiente de correlación parcial. Su valor va entre
0 y 1 y entre más cercano este a 1, más indicado estará el análisis factorial.
- Prueba de esfericidad de Bartlet: para descartar que la matriz de correlación sea una
matriz idéntica, es decir que no hay relación entre los items. Es una prueba de chi
27
cuadrado que tiene en cuenta el tamaño de muestra, el número de items en la matriz
y el determinante de la matriz de correlación.
Paso 3: Extracción de factores: La extracción de los factores es el paso más importante,
mediante el cual se obtiene el número de factores que pueden explicar la correlación entre
las variables. Los dos métodos recomendados son el método de componentes principales y
el método de factorización del eje principal. Existen otros métodos como el de máxima
verosimilitud y de cuadrado mínimos. Cuando se quiere relacionar un número grande de
variables y agruparlas en un número pequeño de factores, el método de componentes
principales puede ser el indicado. En este paso se acogió la recomendación de realizar un
análisis exploratorio: por lo cual se hizo la extracción de factores por tres métodos y se
escogió el que tuvo mejor ajuste al modelo conceptual.
Paso 4: Rotación de Factores: Puede realizarse mediante el método ortogonal: rotación
varimax, quartimax, equamax. La rotación ortogonal se basa en el principio que los factores
son independientes entre sí.
La rotación oblicua parte del supuesto que los factores están interrelacionados entre sí. Los
métodos más conocidos son Oblimin, Promax, Ortooblicua.
Una vez realizada la rotación se establecieron los items de cada factor, tomando aquellos
con una carga >0.4. Para aquellos items con cargas altas en dos o mas factores se realizó
un análisis de consistencia interna mediante Alpha de Cronbach, para decidir en cual factor
debían ubicarse. Los items con carga inferior a 0.3 en todos los factores fueron eliminados,
items con carga entre 0.3 y 0.4 se conservaron dependiendo de la importancia conceptual
que podían tener para la escala.
A partir de la matriz de factores rotados, se conservaron los factores de acuerdo con los
siguientes criterios:
o factores con eigenvalues >1.0,
o porcentaje de varianza extraída equivalente al 50% del total de la varianza,
o análisis del “scree plot” en búsqueda de los puntos en los cuales la pendiente
cambia en forma significativa.
Paso 5: Se nominaron los factores de acuerdo a los items que mayor peso tenían en cada
uno, de tal forma que la denominación identificara el contenido. Cuando los items
28
quedaron agrupados de una forma similar a como se había propuesto inicialmente, antes
del análisis factorial, se conservó la nominación del instrumento preliminar.
Se establecieron las cargas de cada factor, teniendo en cuenta que los pesos pueden ser
válidos solamente para la población en que se aplicó.
Como último paso se realizó la edición del Instrumento final para verificar su validez,
confiabilidad y calidad antes de su aplicación en la etapa II.
29
modificación del estilo de presentación. La escala de respuestas fue una escala de Likert
que tendía entre 5 y 7 posibilidades dependiendo de la pregunta (30,34)
4.1.3.1. Evaluación de Calidad: Este instrumento antes de su aplicación en la etapa II, fue
sometido a una prueba piloto con 20 profesionales de la salud. Esta prueba piloto tuvo
dos partes:
- En la primera parte cada participante recibió una versión del instrumento con el
cual evaluó la claridad, redacción, lenguaje, comprensión e interpretación tanto de
las instrucciones, como de la preguntas y la escala de respuesta incluida en el
cuestionario. Se les solicitó indicar las palabras cuyo significado era controvertido,
lo que se entendía en cada pregunta, si las preguntas y las respuestas eran
ambiguas, si se utilizaron modismos y sí las palabras empleadas llevaban un valor
o un peso implícito, la presencia de preguntas negativas y/o positivas, longitud de
las preguntas también fueron evaluadas. En algunos casos se pedió al entrevistado
que refraseara la pregunta en sus propias palabras.
30
Este instrumento adaptado fue nuevamente sometido a un estudio piloto para lenguaje,
comprensión y claridad, hasta llegar a la mejor versión, antes de su aplicación final.
Aunque era un instrumento autoadministrado, se entrenó una persona para que estuviera
presente durante la aplicación. Se escogió una muestra por conveniencia de 500 pacientes
de la población que asistió a consulta en 2 IPS y 2 consultorios particulares. El objeto de
esta aplicación era establecer la diferencia o similitud entre la opinión de los expertos o
líderes del sector salud y los pacientes, en relación a los aspectos determinantes de impacto
y a la importancia que estos podían tener.
4.2.2. Aplicación del Instrumento: Tiene por objetivo evaluar a los egresados javerianos y
validar los resultados que se obtengan.
Para su aplicación, se utilizaron varias formas de envío: correo electrónico con respuesta a
través de esta medio, envío por fax, correo certificado o a través de mensajería con entrega
y recolección de las encuestas.
El instrumento final fue una encuesta estructurada, auto administrada y con respuestas
cerradas en escala de Likert, con un espacio abierto, al final, para sugerencias. La encuesta
fue anónima y como única identificación tuvo un numero consecutivo, el cual fue ciego
para quienes analizaron las respuestas. Este código fue utilizado para buscar activamente
los no respondedores y poder garantizar un tamaño adecuado de muestra. Las estrategias
para mejorar respuesta fueron: se envío de mensajes recordatorios para estimular a la gente
a contestarla, visitas, personas que llevaron y recogieron las encuestas en el momento en
que se solicitara. Esto planteó una dificultad para sitios diferentes a la ciudad de Bogota,
en donde no fue posible implementar esta última estrategia.
31
CAPITULO 5.
PRESENTACIÓN DE RESULTADOS Y ANÁLISIS ESTADÍSTICO:
Para el análisis se crearon varias bases de datos:
o Una base de datos en STATA y otra en SPSS debidamente codificada que incluyó
todas las variables para la construcción, análisis factorial y validación del
instrumento, en la etapa I
o Una segunda base de datos para registro de la información obtenida de la
aplicación del instrumento final, durante la segunda II (evaluación del egresado)
o La tercera base de datos corresponde al instrumento aplicado a los pacientes.
32
Tabla No. 1. FLUJOGRAMA CONSTRUCCIÓN DEL INSTRUMENTO
PASO ACCION
1 Revisión de Instrumentos existentes
2 Grupos Focales
3 Entrevistas semi estructuradas y en profundidad
4 Construcción de matrices y contrastación de los contenidos
5 Lista preliminar de dominios e items a partir del análisis de las matrices
6 Construcción del instrumento preliminar
7 Validación por 20 jueces expertos: apariencia, contenido, constructo,
calidad de los items
Reproducibilidad del instrumento preliminar
8 Aplicación del instrumento líderes en salud, selección de la muestra
9 Elaboración bases de datos
10 Estadística descriptiva de las variables
11 Análisis factorial:
Supuestos para el análisis, extracción de factores, rotación de
factores
Retención de factores e items
Análisis de consistencia interna - confiabilidad
Nominación de factores
Peso de los factores
Instrumento final
12 Elaboración y aplicación del instrumento a pacientes y resultados
13 Edición del instrumento final para evaluación del egresado
14 Revisión del instrumento, calidad de items, reproducibilidad
15 Resultados de la aplicación del Instrumento – Evaluación del egresado.
El facilitador participó activamente guiando la discusión del grupo hacia los puntos de
controversia o de interés, induciendo al grupo a explorarlos a fondo durante la sesión para
el análisis posterior. Al finalizar la sesión se hizo un resumen de los aportes de los
33
participantes y se llego a un consenso sobre las conclusiones y puntos clave que se
consideraron era el producto de la reunión. Para asegurar que se cumplieran los objetivos
de la reunión el facilitador tenía un cuestionario guía que incluía los aspectos que se
esperaba se cubrieran durante la sesión. Todos las opiniones, conceptos o aspectos
enunciados fueron tenidos en cuenta dentro del análisis tanto las de consenso como las
opiniones diferentes ó extremas.
Los tópicos planteados para iniciar la discusión fueron: (Anexo No 2: Guía de trabajo para
los grupos focales)
o El significado de un “Instrumento para medir impacto académico y laboral de los
egresados de un programa de medicina”
o Aspectos o área que deben incluirse en ese instrumento
o Aspectos de mayor importancia
o A partir de estos aspectos planteados en cada grupo, tratar de profundizar en cada
uno de ellos
34
Tabla No. 2: Definición y Significado el Proyecto según los grupos focales
35
o Segundo tópico de la discusión: los aspectos ó categorías que deberían incluirse
en el instrumento. En el anexo No 3, se encuentra la matriz que consolida los
resultados del trabajo de los tres grupos. En esta parte se pidió a los participantes
que trataran de establecer los aspectos, factores o dominios que deberían incluirse
en un instrumento como este y a partir de ellos que trataran de profundizar y detallar
lo que debería tenerse en cuenta en cada factor. (Anexo No. 3: Matriz resultados
grupos focales).
Entrevistas:
Se realizaron en total 16 entrevistas distribuidas así:
Entrevistas Semi – Estructuradas: Se realizaron 9 entrevistas semi estructuradas: 6
Directores de programa y jefes de Educación médica (Samaritana, Cancerología,
Dermatológico, Bosque, Militar, Javeriana), 3 Directores Médicos de EPS
(Colmedica, Cafesalud, Humana), 2 Directores de IPS (Palermo, Hospital San
Cristóbal), 1 Industria Farmacéutica (Glaxo),
Entrevistas en Profundidad: En total 4: 1 Representante de Ascofame experto en
Educación Médica, 1 Ex decano de Facultad de Medicina, 1 representante del área
de docencia e investigación del Ministerio Salud, secretaría de salud de Bogotá, 1
Experto en Acreditación
Para las entrevistas se hizo una cita telefónica con cada persona, explicándole el objetivo de
la entrevista. Todas fueron realizadas por el Investigador principal, quien se desplazó al
sitio fijado por el entrevistado. Se utilizó un formato previamente elaborado para las
entrevistas semi-estructurados. Para las entrevistas en profundidad se fijaron unos tópicos
iniciales de discusión (Anexo No 4: Formato de entrevistas semi-estructuradas, Anexo No
5: Formato para entrevistas en profundidad).
36
opiniones se fueran validando entre sí, a manera de constructo. (Anexo No 6: Informe
consolidado de las entrevistas).
37
En el dominio “Otros determinantes” se incluyeron aquellos items que aparentemente no
tenían una ubicación clara en ninguno de los dominios, pero que consideraron importantes.
A partir de estos dominios se organizan los items resultantes del análisis de los grupos y las
entrevistas, como aparece en la Tabla No.4:
CONOCIMIENTOS
1. En ciencias básicas
2. En ciencias clínicas
3. Sobre ley 100 y sistema nacional de salud
4. Sobre la realidad socio - cultural del país y su entorno
5. Acerca del código de ética y responsabilidad médica
6. Sobre administración y gestión en salud
7. Sobre prevención de la enfermedad y promoción de la salud
8. De inglés como segunda lengua
9. En informática
10. En Humanidades
11. En Investigación Clínica
12. En Biotecnología
13. Sobre cultura general
14. Sobre uso racional de medicamentos
15. Sobre Guías de práctica clínica y de atención
16. Sobre elementos de comunicación oral y escrita
17. Conocimientos de fármaco-economía
DESTREZAS Y HABILIDADES
18. Capacidad para elaborar adecuadamente la historia clínica
19. Capacidad para elaborar correctamente una epicrisis
20. Habilidad en el desarrollo del examen físico y la identificación de signos clínicos
21. Juicio clínico
22. Capacidad de síntesis y análisis
23. Destreza y habilidad para realizar procedimientos diagnósticos y terapéuticos
24. Utilización adecuada del recurso en salud
25. Manejo de las herramientas de Internet
26. Uso racional de los recursos en salud
27. Manejo y aplicación de las estrategias de búsqueda de información médica
28. Facilidad de expresión oral y escrita
29. Capacidad para escuchar a otros
30. Capacidad para trabajar con el equipo de salud
31. Capacidad para relacionarse con el paciente
32. Capacidad para relacionarse la familia del paciente
38
33. Capacidad de gestión administrativa
34. Capacidad para relacionarse con los responsables de las políticas de salud del estado e
influir en ellas
35. Capacidad de analizar críticamente y aplicar nueva información
36. Capacidad para influir en la comunidad o en su entorno
37. Capacidad para relacionarse y manejar los medios de comunicación masiva (TV, radio)
38. Habilidades para participar en negociación y solución de conflictos
VALORES HUMANOS
39. Honestidad y honradez
40. Responsabilidad y cumplimiento
41. Amabilidad
42. Capacidad de sacrificio
43. Respeto hacia las personas
44. Respeto hacia las instituciones
45. Lealtad hacia sus colegas
46. Sensibilidad social
47. Capacidad de adaptación al medio
48. Mística en el ejercicio de la profesión
49. Actitud positiva ante el trabajo
50. Liderazgo
51. Capacidad de Reflexión y autocrítica
52. Compromiso con el paciente
53. Generosidad
54. Compromiso con la institución
VALORES ETICOS
55. Manejo correcto de la información sobre los pacientes (Secreto Profesional)
56. Registro veraz de la información médica
57. Información completa y adecuada al paciente o su familia
58. Honestidad e integridad en el ejercicio de la profesión
59. Respeto por la vida, dignidad y decisiones de los pacientes
60. Actitud correcta en situaciones de conflicto ético/legal
61. Proteger los derechos del paciente por encima de los intereses personales o económicos
62. Tomar decisiones costo-efectiva en beneficio del paciente, la Institución y la sociedad
63. Capacidad para evaluar y valorar riesgo /beneficio de intervenciones diagnósticas y
terapéuticas
OTROS DETERMINANTES
64. Presentación personal
65. Modales y comportamiento
66. Nivel socio – económico
67. Manejo de las situaciones de estrés
68. Personalidad del egresado
69. Estabilidad familiar
39
70. Universidad en la cual estudio medicina
71. Sentido de pertenencia hacia la universidad donde se formó
72. Sentido de pertenencia hacia su profesión como médico
73. Calidad de vida como médico
74. Participación permanente en educación continuada
75. Desempeño de la prueba de estado
76. Perfil del egresado
Dentro de los aspectos mencionados debemos tener en cuesta, como otro marcador de
impacto, los demográficos que van a caracterizar o definir la actividad que los médicos
desempeñan (Tabla No.5). Estos fueron incluidos en la aplicación del instrumento final en
la fase II, pero se consideró que no debían formar parte del instrumento para el análisis
factorial.
A partir del listado preliminar (Tabla No.4), se elaboró el Instrumento Preliminar que se
encuentra en el Anexo No. 7: Instrumento Preliminar. Este instrumento fue enviado a 20
expertos seleccionados entre los líderes en el sector salud:
o Decanos y ex decanos de facultades de medicina del país: 5,
o Directores de programas de postgrado: 3,
o Directores Médicos de IPS: 4,
o Directores EPS: 2,
o Industria Farmacéutica (Directores Médicos – Jefes de Investigación): 2,
o Asociaciones e Institutos: (Academia Nacional de Medicina, INAS Director
docencia e investigación): 2,
o Profesor Facultad de Medicina: 2
40
Este grupo de expertos recibió la versión del Instrumento Preliminar junto con una carta
que les explicaba el objetivo del proyecto, se aclaraba que esta era la fase inicial de
validación, la cual se hizo teniendo en cuenta que no existía un patrón de oro y por lo tanto
los expertos debían validar los planteamientos hechos en los grupos focales y las
entrevistas. Se utilizó una escala de Likert para la validez de apariencia, (si el instrumento
medía lo que se pretendía) y para la de contenido (si todos los aspectos importantes a su
juicio fueron incluidos). Los resultados de esta fase aparecen en las Tablas No.6 y No.7.
La evaluación de los expertos corroboró la validez de constructo establecida mediante la
triangulación de la matriz de los grupos focales y las entrevistas. Igualmente ellos
calificaron la importancia de los items, teniendo también la oportunidad de hacer
sugerencias para la versión final del instrumento que sería sometido al análisis factorial.
41
Tabla No. 7: Validez de Apariencia y Contenido del Instrumento – Consolidado
APARIENCIA CONTENIDO
Categoría de respuesta Numero % Número %
Completamente en desacuerdo 0 0
Parcialmente en desacuerdo 0 0
Parcialmente de acuerdo 0 0
De acuerdo 6 30% 4 20%
Completamente de acuerdo 14 70% 16 80%
No sabe 0 0
42
Tabla No. 8: Nivel de Importancia establecido por los jueces para el Instrumento
Preliminar – Items del dominio conocimientos
43
Tabla No. 9: Evaluación de la Calidad de los Items
Instrumento preliminar para el análisis factorial
(20 Evaluadores)
Los resultados (Anexo No.9) mostraron que el nivel de comprensión, la redacción y el tipo
de lenguaje no fueron adecuados para los items de evaluación global, personalidad, nivel
socio-económico, estabilidad familiar y calidad de vida.
44
instrumento, con el objeto de realizar un test de reproducibilidad (test re-test) y ver que tan
consistentes era las opiniones, con relación al nivel de importancia de los items, los
contenidos y los constructos planteados, en dos momentos en el tiempo.
Se realizó una prueba Wilcoxon para cada uno de los items y para el instrumento completo.
Los resultados para el dominio propuesto de conocimientos, se muestran en la Tabla No.
10 y para el resto del instrumento en el Anexo No.10: Reproducibilidad del Instrumento
Preliminar. La reproducibilidad del Instrumento fue muy buena, (z: 1.569, Prob>z 0.1169,
no se rechazó la Ho).
A partir de los resultados de esta prueba, se eliminaron los items no reproducibles (Nivel
socio-económico) y los items que en la evaluación de calidad tuvieron puntajes muy bajos
o fueron muy confusos y de poca importancia. Estos fueron: Personalidad, Estabilidad
familiar, calidad de vida como médico.
Los items de evaluación global para conocimientos, destrezas, valores humanos y valores
éticos tuvieron un porcentaje muy bajo de respuestas. Al evaluar la razón se encontró que
muchos de los expertos no entendieron que se trataba de una pregunta de evaluación global
para el dominio, por esto se limitaron a evaluar los demás items dentro del dominio.
Tampoco se pudo verificar su reproducibilidad por el bajo número de respuestas. Por lo
anterior se decidió suprimir estos items globales, además se consideró que generarían ruido
para el análisis factorial.
ANÁLISIS FACTORIAL:
El instrumento validado por los expertos, se denominó “Instrumento No.1”, el cual fue
aplicado para el análisis factorial (Anexo No. 11: Instrumento Preliminar para análisis
factorial). Este instrumento conservó los 5 dominios inicialmente propuestos e incluyó 67
de los 76 items iniciales. Para el tamaño de muestra se tomaron 5 medidas por cada item lo
cual significaba una muestra total esperada de 335 aplicaciones.
Para la selección de la muestra, se utilizó la base de datos del Ministerio de la Protección
Social donde están registradas todas las IPS, EPS, públicas y privadas del país. También se
utilizó el registro de Ascofame para las Facultades de Medicina y los programas de
posgrado.
45
Tabla No. 10: Reproducibilidad del Instrumento Preliminar
Test – retest: Prueba de Wilcoxon: Aplicación a 20 Expertos
La base de datos del Ministerio incluía 1500 entidades privadas y 1000 entidades públicas
(Anexo No. 12: Base datos del Ministerio de la Protección Social), en la revisión se
encontró que un número significativo de las instituciones figuraban como públicas y
privadas a la vez, por lo que la base quedó reducida a 980 Instituciones.
46
Se incluyeron las 52 Facultades de Medicina registradas en Ascofame, 15 presidentes de
Asociaciones Científicas, 20 estudiantes de medicina de ultimo año.
En las EPS e IPS el instrumento fue enviado a los Directores médicos o jefes de Atención
médica, en las facultades de Medicina a los decanos, directores de carrera, directores de
programas de posgrado y profesores.
Para todas las ciudades fuera de Bogotá, el Instrumento se envió a través de un sistema de
correo con respuesta prepagada, se privilegiaron las ciudades capitales y ciudades
intermedias, de acuerdo a su número de Instituciones de salud. En Bogotá el envío se hizo a
través de mensajería con entrega certificada y recolección directa a partir del 5 día de la
entrega y durante 45 días.
El análisis Factorial, se realizó con el paquete estadístico SPPS para windows versión 11.2.
Este análisis incluyó varios pasos fundamentales:
Paso 1: Las respuestas obtenidas fueron tabuladas en una base de datos de Excel y
procesadas en el programa SPSS para el análisis factorial.
Se incluyeron 330 mediciones, se eliminaron 5 por inconsistencias.
Paso2: Se Verificaron los supuestos para saber si el análisis factorial era procedente en esta
muestra. Los resultados obtenidos aparecen en la Tabla No. 11 e indican que se cumplieron
todos los supuestos y por lo tanto en este caso era factible realizar el análisis factorial para
la construcción del Instrumento final.
47
Tabla No. 11: Supuestos para el Análisis Factorial
SUPUESTO RESULTADO
Prueba de Kaiser Meyer Olkhin 0.906
(cercano a 1)
Prueba de esfericidad de Bartlet Chi cuadrado aproximado 12856,8
P significativa Global: 2211
Significancia: p = 0.000
Matriz de correlaciones: Las correlaciones La matriz demostró correlaciones
deben ser >0.2 y diferentes de 1.0 adecuadas entre las variables. (Anexo 13)
Determinante (diferente de 0) 2.921E-20
Tamaño de muestra 330
48
De los 15 factores extraídos por el método Componentes principales y Varimax, se
conservaron los 8 primeros, teniendo en cuenta que estos explicaban el 55% de la varianza
y sus eigen values eran mayores a 1.6. Los 7 factores restantes tenían un porcentaje muy
pequeño menor a 2.5% sobre el total de la varianza, lo cual puede verse en la Tabla No.12.
Gráfico de sedimentación
30
20
10
Autovalor
0
1 9 17 25 33 41 49 57 65
5 13 21 29 37 45 53 61
Número de componente
49
Tabla No. 12: Factores Extraídos según porcentaje de Varianza explicada
Los items se ordenaron de acuerdo con su peso, conservando en cada factor aquellos items
con peso >0.4. Se eliminaron los items con peso <0.3 porque no aportaban en forma
significativa, en ningún factor del Instrumento. Se conservaron los que tenían pesos entre
0.3 y 0.4 pero que a juicio del investigador se consideraban importantes, tales como:
habilidad y destreza en el examen físico cuyo peso en el factor VII fue de 0.377.
Conocimientos sobre administración y gestión tuvo un peso de 0.341 en el factor V y
Conocimientos sobre Ley 100 y Sistema nacional de salud con un peso de 0.311 en el
50
mismo factor. Los resultados para el Factor 1 pueden verse en la Tabla No. 13 y en el
Anexo No. 16 los resultados para el resto de los factores del Instrumento.
51
Tabla No. 14: CONFIABILIDAD DEL INSTRUMENTO Y SUS FACTORES
Parte B
Como muestra la tabla 14-B, el análisis de consistencia interna por factores, permitió ubicar
los items que estaban aportando a varios factores, en uno solo, sin afectar la consistencia
del factor.
Paso 5: Los factores se nominaron de acuerdo a su contenido, tomando los items que
tenían mayor peso en cada uno, de tal forma que la denominación asignada, sirviera para
identificar el contenido.
Para los items que quedaron agrupados de una forma similar a como se había propuesto
inicialmente en el “Instrumento Preliminar” antes del análisis factorial, se conservó la
nominación inicial del factor. No se consideró necesario dividir ningún dominio en sub-
categorías.
La nominación de los factores para el Instrumento final es la que aparece en la tabla 15.
52
Tabla No. 15: NOMINACIÓN DE LOS FACTORES
FACTOR No ITEMS NOMINACIÓN PROPUESTA
I 9 Aspectos Eticos
II 8 Valores Humanos
III 5 Informática
IV 7 Relación con el entorno
V 6 Humanística y sociales
VI 4 Comunicación
VII 5 Habilidades y destrezas clínicas
VIII 2 Juicio y Decisiones
Peso de los Factores: Es importante tener en cuenta que los pesos de los factores pueden ser
válidos solamente para la población en que se aplicó el instrumento para el factorial.
Se exploró el peso de los factores mediante un análisis de regresión logística, sin encontrar
diferencia significativas en las cargas. De acuerdo con los eigen values de cada factor, se
consideró que el primer factor podía tener un peso mayor que los restantes, los factores 2,
3, 4 que tendrían el mismo peso entre sí, seguidos del 5 y el 6 y los factores de menor
peso en el Instrumento serían el 7 y 8. Dada que las diferencias en el análisis no parecían
sustancialmente grandes y que se considera indicado no asignar pesos en estos
instrumentos, se decidió hacer una aplicación inicial del instrumento final, conservando el
mismo peso para todos los factores
53
Factor 1: Valores Éticos: 45 puntos
Factor 2: Valores Humanos: 44 puntos
Factor 3: Informática: 35 puntos
Factor 4: Relación con el entorno: 41 puntos
Factor 5: Humanística y sociales: 49 puntos
Factor 6: Comunicación: 24 puntos
Factor 7: Habilidades y destrezas clínicas: 35 puntos
Factor 8: Juicio y decisiones: 10 puntos
54
confiable.
55
5.2. RESULTADOS DEL INSTRUMENTO APLICADO A PACIENTES
Esta parte tuvo como objetivo contrastar las opiniones de los pacientes con respecto a los
factores más importantes como determinantes del impacto o desempeño del egresado, con
las opiniones del los líderes del sector salud.
El Instrumento preliminar resultado del análisis factorial, fue aplicado en forma piloto a 10
pacientes, encontrándose una gran dificultad en la comprensión de los items y en su
interpretación, lo cual hizo muy difícil que pudieran contestarlo. Se decidió hacer una
modificación del instrumento, tratando de conservar los dominios e items propuestos, se
redactándolos en un lenguaje más claro para los pacientes. Se hizo nuevamente una prueba
piloto para comprensión, la cual mostró que el instrumento podría ser aplicado fácilmente a
los pacientes. (Anexo No.21 Instrumento para los pacientes) El tiempo que gastaba un
paciente en responderlo fue aproximadamente 10 minutos. Aunque el Instrumento era
auto-administrado, se entrenó una persona que le explicó al paciente el objetivo del estudio,
lo estimuló a participar y estuvo presente mientras el paciente completaba sus respuestas
para recoger el instrumento diligenciado.
En el anexo 22 podemos ver que los pacientes privilegiaron todos los items relacionados
con los valores humanos, personales, éticos, la relación médico paciente y los aspectos de
comunicación bien sea con el paciente o con su familia. Estos aspectos fueron más
importantes como determinantes de impacto, que la universidad de origen y los
conocimientos generales del médico. Aspectos como dominio de segunda lengua,
56
universidad de procedencia, conocimiento del sistema de salud, vinculación académica o
institución en la que trabaja no fueron referidos como muy importantes por los pacientes.
En la tabla No.17A podemos ver que el 59% de los pacientes no sabe de que universidad es
el último médico que lo atendió y este aspecto tampoco es un factor determinante en la
selección. Los motivos para escoger el médico en gran parte están determinados por la EPS
(46.37%) y en segundo lugar por las referencias que tienen sobre el médico (38.11%).
Aspectos como la universidad de origen no son tenidos en cuenta en el momento de la
selección (8.64%). (Tabla No. 17B)
Estos resultados deben mirarse con cuidado, pues un alto porcentaje de la muestra de l
pacientes, correspondió a vinculados al plan obligatorio de salud, donde en la mayoría de
los casos no es posible para el paciente seleccionar su médico. Pero por otro lado es válido
pensar que lo que le da la calidad a un médico (médico reconocido en su área, médico del
cual tengo buenas referencias) es en gran parte el sello que le imprime la universidad de
origen, así de alguna manera la universidad de procedencia tendría un importancia tácita en
la selección del médico por el paciente.
Al contrastar la opinión de los pacientes con los resultados del análisis factorial, vemos
que en los dos casos los aspectos éticos y los valores humanos fueron los de mayor peso e
importancia como determinantes de impacto.
57
Tabla No.17B Motivos de los pacientes para escoger su médico
58
RESULTADOS
ETAPA II: EVALUACIÓN DEL EGRESADO JAVERIANO
5.3. APLICACIÓN DEL INSTRUMENTO FINAL.
El Instrumento Final fue enviado a todas las Instituciones de salud, IPS, EPS del registro
del Ministerio de Protección social, a las Facultades de Medicina y Programas de Posgrado
del país.
Se anexó al instrumento una hoja para los datos demográficos en la cual se pedía a los
encuestados que indicaran si tenían egresados javerianos de pregrado vinculados a su
Institución o programa, en que porcentaje sobre el total de médicos vinculados, que tipo de
cargos o labor desempeñaban. Luego se solicitó que contestarán el instrumento de
evaluación, con base en los javerianos vinculados a la Institución o programa.
Se enviaron 1067 instrumentos, se recibieron 255 respuestas, de las cuales 109 indicaron
que no tenían médicos javerianos vinculados, quedando para el análisis solamente 146
instrumentos.
La tabla No. 18 muestra el total de médicos evaluados de acuerdo al tipo de vinculación.
Este número correspondería al 30% del total de egresados del programa.
Tipo de Respuesta No de
Instituciones
TOTAL DE RESPUESTAS 255
CON MEDICOS JAVERIANOS VINCULADOS 146
SIN TIENEN MEDICOS JAVERIANOS 109
VINCULADOS
59
Para el análisis de los resultados de la aplicación, fue necesarios tener en cuenta que cuando
los lideres en el sector salud, contestaban “no sabe”, esto no sumaba puntos para el puntaje
final, lo cual podía llevar a sub-estimar los resultados obtenidos. Es claro que quien
contestó “no sabe”, no estaba dando una calificación mala, ni buena en ese momento. Por
esta razón se hizo el análisis de cada una de las aplicaciones del instrumento, calculando
cual sería el puntaje máximo esperado en cada caso, sin considerar los “no sabe”.
Para el análisis final se estableció cual era el puntaje promedio esperado en la muestra y el
puntaje promedio obtenido para la escala y por factor, resultados que podemos apreciar en
la tabla No. 19.
Los resultados muestran que el puntaje promedio esperado fue de 266 y el promedio
obtenido fue de 209. Se encontró que el factor 3: Informática y el Factor 5. Humanística y
Sociales, fueron los factores con menor calificación con relación a la esperada. El Factor
1: Aspectos Éticos y el Factor 8: Juicio y Decisiones fueron los mejor evaluados en los
egresados Javerianos
Factor I 42 37 88%
Factor II 42 34 82%
Factor III 31 23 73%
Factor IV 39 30 78%
Factor V 46 31 68%
Factor VI 23 19 82%
Factor VII 34 27 81%
Factor VIII 9 8 84%
*El puntaje esperado fue calculado para cada factor, eliminando las respuestas
“no sabe” ya que estas no suman en el puntaje final.
60
Se hizo una clasificación de los puntajes obtenidos en la aplicación de los instrumentos,
asumiendo que si el puntaje máximo esperado era de 266, toda calificación inferior al 50%
de este valor (133) se consideraría como mala, por encima de ese valor se distribuirían en
regular (134-160), aceptable (161-186), buena (187-211) y excelente (>212).
Se encontró que el 80% de los evaluadores calificaron el Desempeño del Javeriano entre
bueno y excelente y solamente el 7.4% lo califica menos que regular, tabla No.20
PUNTAJE n %
< 80 (Pésimo) 2 1.3
81 – 133 (Malo) 4 2.7
134 – 160 (Regular) 5 3.4
161 – 186 (Aceptable) 18 12.5
187 – 211 (Bueno) 43 30
> 212 (Excelente) 72 50
Total 144 100
También es posible observar en la Tabla No.21 la calificación que los líderes del sector
salud (evaluadores) le dieron a los egresados en cada item de los factores. Esta tabla incluye
únicamente el Factor 2: Valores Humanos. En este factor el porcentaje de líderes que no
pudo evaluar a los egresados javerianos varió entre 3.5 y 7.6% según el item.
La evaluación para los demás factores se encuentra en el Anexo No.20.
61
Tabla No. 20. RESULTADOS EVALUACIÓN EGRESADO JAVERIANO
Factor 2 : VALORES HUMANOS
USTED DIRIA QUE LOS Pésimo Deficien- Regula- Acepta- Bueno Muy Excelentes No sabe
tes res bles Bueno
CONOCIMIENTOS DE LOS
MEDICOS JAVERIANOS SON:
Sobre uso racional de medicamentos 2.8 4.9 11.8 44.4 27.1 5.6 3.5
son
Sobre guías de práctica clínica y su 0.7 2.8 16.1 43.1 29.9 9 3.5
aplicación, son
Ver anexo No. 20 para los demás factores
Si miramos adicionalmente la Tabla No.22 que registra la calificación que los lideres le
dieron a la Carrera de Medicina de la Javeriana en forma general, encontramos que el
94.5% le dio una calificación superior a buena y solamente el 4.9% dijo no saber cual era la
calidad del programa. Estos resultados son consistentes con lo observado en el puntaje
obtenido con la aplicación del Instrumento de evaluación, con los resultados obtenidos en
la auto evaluación, con el informe de pares para la re- acreditación y con los resultados de
las últimas versiones de los exámenes de estado, donde hemos estado en el grupo superior.
62
Tabla No. 22. CONCEPTO GENERAL SOBRE LA CARRERA DE MEDICINA DE
LA UNIVERSIDAD JAVERIANA
Una de las limitaciones en la aplicación del Instrumento fue el porcentaje tan bajo de
respuesta, a pesar de las estrategias diseñadas para mejorar la captura de la mismas. Esto
pudo deberse a que quien recibió el instrumento no estaba interesado en participar, no
quiso comprometerse con la evaluación o bien no tenía egresados Javerianos vinculados y
decidió no registrarlo.
Por otro lado el envío de los instrumentos no se hizo dirigido a las Instituciones que
tuvieran médicos javerianos vinculados, el haberlo hecho hubiera podido mejorar el
porcentaje de respuesta
Otros aspectos que pudieron influir en el porcentaje bajo de respuestas en esta etapa fueron:
que en algunas instituciones las coordinaciones médicas o las sub-direcciones científicas
están a cargo de administradores en salud, que las instituciones no tienen canales adecuados
de comunicación, no hay planes de trabajo ni de evaluación que permitan tener un
conocimiento profundo de los médicos vinculados por parte de las directivas. Esto pudo
llevar a que con frecuencia, no se tuvieran todos los elementos para calificar a los egresados
63
y contribuir con el alto porcentaje de no respondedores o de respuestas “no sabe”.
Otro aspecto es que no hay un registro claro, ni conocimiento al interior de las Instituciones
sobre la Universidad de origen de sus médicos, lo cual hace difícil evaluar a un grupo en
particular.
Sería interesante y relevante hacer una aplicación del Instrumento dirigida a Instituciones y
programas de posgrado con un alto porcentaje de Javerianos vinculados, para minimizar los
sesgos en las respuestas, bien sea porque se sobreestime o subestime la calificación,
basándose en un grupo muy pequeño de javerianos en una Institución o programa.
64
CAPITULO 6.
ANÁLISIS Y CONCLUSIONES.
A partir de los resultados de este trabajo podemos señalar varios aspectos:
o El concepto de “impacto” es definido por los expertos para este instrumento, en
forma similar a como definen profesionalismo los autores de instrumentos
publicados previamente en la literatura. La búsqueda en la literatura y los
resultados obtenidos señalan que el “impacto” depende directamente del
“profesionalismo” y este a su vez es un determinante del impacto.
o El análisis exploratorio del significado de “impacto” en este trabajo y para el grupo
de expertos consultados, hace concluir que el término “desempeño profesional”
define y explica claramente lo que ellos entienden por “impacto del egresado”
o El concepto de desempeño aparece como un determinante muy importante del
impacto y a su vez como un equivalente a profesionalismo, de acuerdo con este
estudios y con las publicaciones de la literatura.
o Los aspectos (dominios o factores) señalados por los expertos como determinantes
de impacto y los items incluidos por factor en el instrumento diseñado y validado en
este trabajo, son muy similares a los incluidos en la evaluación de profesionalismo
en los instrumentos existentes.
o A partir de los resultados obtenidos, para el instrumento diseñado se definirá
impacto como la marca o la huella que deja el desempeño profesional de los
egresados de un programa y será equivalente al concepto de profesionalismo
definido para instrumentos previamente diseñados en otros países
o El análisis de los resultados permite establecer que el término “desempeño” se
ajusta más al alcance y dimensiones de este trabajo que el término “Impacto”.
o Los aspectos éticos y los valores humanos, constituyen los factores con mayor peso
en el instrumento diseñado y por lo tanto se constituyen en los mejores indicadores
de impacto ó profesionalismo de los egresados de un programa de medicina.
o Tanto los expertos como los pacientes coincide en señalar los aspectos éticos,
valores humanos y aspectos de comunicación como los mayores determinantes del
impacto y por lo tanto del buen desempeño
65
o Llama la atención en los resultados obtenidos, que los conocimientos científicos en
las diferentes áreas, no son uno de los factores de mayor peso, como
tradicionalmente se ha considerado y se refleja en los diseños curriculares de los
programas de medicina en general. En este estudio los conocimientos en ciencias
básicas no tuvieron un peso significativo (>0.3) en ninguno de los factores.
o Aun cuando los conocimientos no hayan sido explícitamente un factor de gran peso,
consideramos que su importancia va implícitamente ligada a la calidad del ejercicio
profesional y por lo tanto a la posibilidad de tener un desempeño más ético y
humano. La ausencia de conocimientos pueden llevar a un deterioro en los valores
éticos, humanos y de comunicación.
o Otro hallazgo llamativo fue, que los aspectos relacionados con Investigación
tampoco fueron un marcador importante de impacto - desempeño. Dado que para el
análisis factorial se alcanzó el tamaño de muestra esperado, una explicación a este
hallazgo es que los respondedores hayan provenido en un alto porcentaje de
instituciones con pocos investigadores, con poca producción académica, ó de
instituciones que no privilegian la investigación. Dada la importancia conceptual de
este factor, consideramos que debería incluirse en el instrumento final, como un
ítem del factor III.
o Llama la atención que la Universidad de origen no aparece como un determinante
de impacto en el instrumento final, sin embargo aquí es válida la consideración que
el sello de calidad de la Universidad de origen, va implícito en los factores
incluidos.
o Aunque el porcentaje de respuestas fue muy bajo para el número de instrumentos
aplicados, se alcanzó el tamaño de muestra necesario para el análisis factorial. Los
resultados obtenidos de la aplicación para el análisis factorial, pudieron estar
sesgados en cuanto a la importancia que se le dio a cada ítem, dado que existe un
número muchísimo mayor de instituciones asistenciales EPS e IPS que de
instituciones académicas en el país y estas pueden tener percepciones o valores
diferentes.
66
o El mayor número de instituciones asistenciales que académicas en el país,
determinó a su vez que fueran las primeras las que evaluaran un mayor número de
egresados del programa de medicina.
o Dado que el Instrumento diseñado es auto administrado, es difícil precisar en la
aplicación final para la evaluación, si quien contesta, al evaluar el impacto puede
distinguir entre egresados de pregrado y posgrado. Si la diferencia no es clara,
podría sesgar los resultados en forma positiva si el impacto de los estudiantes de
posgrado es mejor que la del pregrado y en forma negativa en el caso contrario.
o El instrumento construido es un instrumento válido, reproducible y confiable para
ser utilizado en la evaluación de los egresados de un programa de medicina.
o La similitud de nuestro instrumento con los desarrollados y descritos para medir
profesionalismo, podría ser una forma de validez de criterio para el nuevo
instrumento.
o El instrumento diseñado y validado es un instrumento evaluativo con 8 factores y 47
items, un puntaje máximo de 283, una escala de respuestas de Likert, con un tiempo
estimado para responderlo de 15 minutos en forma auto administrada.
o El presente estudio no permite establecer si el instrumento diseñado tiene
propiedades discriminativas o de sensibilidad al cambio.
o La aplicación del Instrumento en la evaluación del “Impacto” del egresado
Javeriano, lo califica como bueno y excelente en el 80% de los casos. Solamente el
7.4% de los evaluadores lo califican como menos que regular. El 94.4% califica el
programa de Medicina de la Universidad Javeriana como bueno, muy bueno o
excelente. Estos resultados coinciden con la calificación de los ECAES y los
resultados de la auto evaluación.
o Dentro de los factores evaluados en el impacto /desempeño del médico Javeriano a
partir del instrumento diseñado, los de mayor puntaje fueron en su orden: Valores
éticos, juicio clínico y decisiones y valores humanos. Los factores con puntaje más
bajo fueron: Humanística y sociales e Informática.
o Es importante señalar la fortaleza percibida por los evaluadores, en dos de los
factores con mayor peso como determinantes de buen impacto / desempeño en los
egresas javerianos: Los valores éticos y humanos.
67
RECOMENDACIONES:
o Se cambiará en el nombre del Instrumento la palabra “Impacto” por “Desempeño”
ya que esta corresponde de una forma más clara al alcance de este trabajo y a los
resultados obtenidos. Puede ser más comprensible para los evaluadores y hacer más
útil y universal el uso del instrumento
o Sería importante hacer una segunda aplicación del instrumento ampliando la
muestra e identificando las instituciones en las cuales se encuentran vinculados un
mayor número de médicos Javerianos, de tal forma que la base poblacional
evaluada sea más representativa del total de egresados
o Se propone para como parte de esta línea de investigación, evaluar la sensibilidad
al cambio del instrumento, mediante su aplicación al menos cada 5 años para poder
hacer seguimiento adecuado y dinámico, evaluando si la mejoría o deterioro en la
calidad del programa detectados en los procesos de auto evaluación, son a su vez
detectados por el Instrumento. Esta medida sería un complemento para el proceso
de extensión de la acreditación y un elemento más que permita a las directivas del
programa hacer ajustes para mejorar o fortalecer la calidad y lograr mayor
competitividad.
o Como parte de esta línea también se propone determinar la capacidad discriminativa
del instrumento entre programas de mayor o menor impacto. Lo cual se haría
mediante la aplicación del instrumento a facultades ubicadas en rangos diferentes
de acuerdo a su acreditación y a su desempeño en el ECAES.
o Evaluar si los resultados obtenidos en esta aplicación del instrumento ameritan
ajustes curriculares, para mejorar las falencias y reforzar las fortalezas que fueron
percibidas por empleadores, pacientes, profesores de posgrado, permitiendo un
mayor impacto y una mejor imagen de un programa de medicina.
o Los resultados obtenidos de la encuesta a los pacientes, obliga a reflexionar sobre
la importancia que los aspectos éticos y humanos deben tener en el currículo, como
una estrategia más para mejorar la calidad y el desempeño.
68
o El instrumento diseñado será enviado a todos los programas de Medicina del país
para que pueda ser utilizado por quienes lo consideran, como un instrumento de
medida que permita hacer seguimiento y evaluación de sus egresados.
69
CAPITULO 7.
BIBLIOGRAFÍA
70
8. Veloski J, Fields S, Boex J, Blank L. Measuring Professionalism: A review of
studies with instruments reported in the literature between 1982 and 2002. Acad
Med 2005:80(4):366-370
13. Project of the ABIM Foundation, ACP-ASIM Foundation and European Federation
of Internal Medicine. Medical Professionalism in the New Millennium: A
physician Charter. Ann Intern Med 2002;136(3):243-246
71
17. The Medical School Objectives Writing Group. Learning Objectives for Medical
Student Education. Guidelines form Medical School: Report I of the Medical
School Objectives Project. Acad Med 1999;74(11)13-18
18. Qualitative Evaluation and Research Methods. Michael Quinn Pat ton. Second
Edition. SAGE publications 1990
19. Psychological Testing. Anne Anastasi, Third Edition The Mac Millan Company,
Collier-Macmillan Limited, London
24. Qualitative Research in Health Care. Catherine Pope and Nicholas Mays. British
Medical Journal. Second Edition 2000
72
26. INRUD Social Scientist Working Group. Focus Group Discussion Method. In
Qualitative Methods for Investigating Drug Use Problems, Boston Management
Sciences for Health, 1994: 52-75
30. Health Measurement Scales. Second Edition. Streiner & Norman. Oxford
University Press. Second Edition 1995. Chapter 5: Selecting Items, pag 54-66.
Chapter 7: From Items to scale, pag 85-102. Chapter 8: Reliability, pag 104-126.
Chapter 10: Validity, pag 144-161.
73
33. Teoria Psicométrica. Nunnally J, Bernstein I. Tercera Edición. Mc Graw Hill.
1995. Parte 4: Análisis Factorial, capítulos 11, 12, 13. Pag 501-666
34. Sanchez R, Gomez C. Conceptos Básicos sobre validación de escalas. Rev Col
Psiquiatria 1998;27:121-130
35. Bland JM, Altman G. A note on the use of intraclass correlation coefficient in the
evaluation of agreement between two methods of measurement. British J Med
1990;20(5):337-340.
36. Teoria de los tests. David Magnusson. Biblioteca Técnica de Psicología Editorial
Trillas 1969. Capítulo 9: Métodos prácticos para estimar la confiabilidad. Pag 133-
152.
38. Bland JM, Altman G. Statistical Methods for assessing agreement between two
methods of clinical measurement. Lancet 1986;February 307-310.
39. Factor Analysis Statistical Methods and Practical Issue. Jae-On Kim Charles W
Muller. Sage University Paper 1978
40. Introduction to Factor Analysis. What it is and how to do it. Jae-On Kim, Charles W
Muller. Sage Publications, 1978 University paper.
41. Making Sense of Factor Analysis. Pett Marjorie, Lackey Nancy, Sullivan John.
Sage Publications. 2003. ISBN 0-7619-1949X (cloth), 0-7619-1950-3(pbk)
74
ANEXOS
75
ANEXO No. 1
Tabla resumen estudios publicados para evaluar
profesionalismo
76
ANEXO No.2
GUIA DE TRABAJO PARA LOS GRUPOS FOCALES
77
ANEXO No. 3
MATRIZ RESULTADOS DE LOS GRUPOS FOCALES
78
ANEXO No. 4
FORMATO PARA ENTREVISTAS SEMIESTRUCTURADAS
79
ANEXO No. 5
FORMATO PARA ENTREVISTAS EN PROFUNDIDAD
80
ANEXO No.6
INFORME CONSOLIDADO RESULTADOS DE LAS
ENTREVISTAS
81
ANEXO No. 7
INSTRUMENTO PRELIMINAR PARA VALIDACION
82
ANEXO No.8
NIVEL DE IMPORTANCIA ESTABLECIDO POR LOS
JUECES PARA EL INSTRUMENTO PRELIMINAR
83
ANEXO No. 9
EVALUACION DE LA CALIDAD DE LOS ITEMS EN EL
INSTRUMENTO PRELIMINAR
84
ANEXO No. 10
REPRODUCIBILIDAD – INSTRUMENTO PRELIMINAR
85
ANEXO No. 11
INSSTRUMENTO No.1 PRELIMINAR
86
ANEXO No. 12
BASE DE DATOS MINISTERIO DE LA PROTECCION
SOCIAL PARA APLICACIÓN DEL INSTRUMENTO
87
ANEXO No. 13
MATRIZ DE CORRELACIONES DE LOS ITEMS
DETERMINANTE
88
ANEXO No. 14
COMPARACION DE LOS TRES METODOS DE
EXTRACCION DE FACTORES
Análisis de Componentes Principales
Máxima Verosimilitud
Factorización del eje principal
89
ANEXO No. 15
VARIANZA TOTAL EXPLICADA: PORCENTAJE DE
VARIANZA ACUMULADA EIGEN VALUE
ANÁLISIS FACTORIAL
90
ANEXO No. 16
TABLA DE FACTORES E ITEMS RETENIDOS
91
ANEXO No. 17
INSTRUMENTO FINAL POR FACTORES E
INSTRUMENTO PARA APLICACIÓN
EVALUACIÓN DE LOS EGRESADOS
92
ANEXO NO. 18
EVALUACION DE LA CALIDAD DE LOS ITEMS
INSTRUMENTO FINAL
93
ANEXO No. 19
REPRODUCIBILIDAD DEL INSTRUMENTO FINAL
94
ANEXO No. 20
RESULTADOS EVALUACION EGRESADO JAVERIANO
POR FACTORES
95
ANEXO No. 21
INSTRUMENTO PARA PACIENTES
96
ANEXO No. 22
RESULTADO OPINION DE LOS PACIENTES
97