ANALISIS ROC

1. El Anlisis ROC (Receiver operating characteristics) es una metodologa desarrollada para analizar
un sistema de decisin.

2. Tradicionalmente se ha usado en mbitos de deteccin de seales y, en las ltimas dcadas, se

ha utilizado mucho en Medicina.

3. En Medicina el Anlisis ROC permite evaluar la calidad de un procedimiento diagnstico.

Podramos decir que el Anlisis ROC se ha transformado actualmente, en Medicina, en una
tecnologa para evaluar y analizar las peculiaridades de un sistema diagnstico.

4. El Anlisis ROC trabaja con las nociones de Sensibilidad y Especificidad. En el apartado dedicado
a Estadstica y Medicina he escrito un artculo titulado Sensibilidad, Especificidad, Valor predictivo
positivo y Valor predictivo negativo. Sera interesante revisar all estos cuatro conceptos. Sin
embargo, como el Anlisis ROC bsicamente trabaja con los dos primeros: la Sensibilidad y la
Especificidad, voy a revisar ahora, nicamente, las definiciones de estos dos conceptos.

5. Veamos el siguiente grfico ya comentado en el artculo citado:

6. Puede observarse que cada rectngulo separa dos grupos: uno de personas con la enfermedad
(E) diagnosticada y otro sin ella (NE). Al mismo tiempo con todos ellos se ensaya una prueba
diagnstica. Los que dan positivo (P) en esta prueba son los del cuadro interior coloreado. Y
llamaremos N a los que han dado negativo en la prueba diagnstica que son todos los que no caen
dentro del rectngulo coloreado.

7. La Sensibilidad es el cociente: P/E; o sea, la proporcin de positivos que tenemos entre los que
tienen la enfermedad. En el dibujo anterior es la proporcin que ocupa el grupo de los positivos en el
interior del grupo de los que tienen la enfermedad.

8. Como puede verse en los cuatro rectngulos del dibujo, segn el mtodo diagnstico podemos
tener sensibilidades muy distintas. Evidentemente interesa un mtodo diagnstico con alta
sensibilidad, que la mayor parte de enfermos con esa patologa den positivo para la prueba
diagnstica.

9. La Especificidad mide la proporcin de negativos que hay en el grupo de los que no padecen la
enfermedad que estudiamos. La Especificidad ser, pues, el cociente: N/NE. La Especificidad
tambin interesa que sea alta. Interesa que quien no est enfermo nos d negativo en la prueba,
evidentemente.

10. Si volvemos a mirar el dibujo anterior podremos ver distintos posibles mtodos diagnsticos y su
calidad. Como se puede ver acompaando a la flecha que indica alto o bajo se ponen unos valores
porcentuales que son aproximados: 5% 95%.

11. En el dibujo puede observarse que el primer mtodo diagnstico (el de la izquierda) nos marca la
situacin ideal: alta sensibilidad y alta especificidad. Observemos que casi todos los positivos estn
en E. Y observemos tambin que casi todos los de E, los que tienen la patologa, dan positivo. Los
de E que dan negativo son los llamados falsos negativos. Los de NE positivos son denominados
falsos positivos. Los falsos negativos son el complementario, el contrapunto, de la sensibilidad. Los
falsos positivos lo son de la especificidad.

12. El segundo mtodo diagnstico esquematizado es un ejemplo de mala tcnica diagnstica. Da

positivo cuando no hay enfermedad y da negativo cuando hay enfermedad. En este caso tenemos
baja tanto la sensibilidad como la especificidad. Casi todos son falsos positivos o falsos negativos.

13. Tampoco es bueno lo que sucede en el tercer caso. Aqu casi siempre da positiva la tcnica, haya
o no enfermedad. En este caso la sensibilidad es alta pero la especificidad muy baja. Esto tampoco
es bueno para una tcnica diagnstica.

14. En el cuarto caso la tcnica casi nunca da positiva. Tenemos baja sensibilidad, aunque, eso s,
alta especificidad. Tampoco es buena esta situacin.

15. En el Anlisis ROC suele manejarse un espacio que viene dado por la Sensibilidad (S) y 1-
Especificidad (1-E). Tradicionalmente se trabaja con este valor: 1-E y voy a seguir aqu,
evidentemente, esta tradicin. Este espacio es muy importante. Vemoslo bien. Veamos el grfico
siguiente:
16. En el eje de las abscisas se sita, como puede verse, el valor de 1-E y en el eje de las ordenadas
se sita el valor de S.

17. Es muy interesante darse cuenta de las zonas de este grfico. Suele dibujarse una diagonal: la
que va del punto (0, 0) al punto (1, 1).

18. Observemos en el siguiente grfico unos cuantos puntos y veamos, tambin, la combinacin de
Sensibilidad y de Especificidad que cada uno de ellos representa:
19. Observemos que la situacin ideal es estar cerca del punto (0, 1); o sea, del vrtice superior
izquierdo, que es donde hay, al mismo tiempo, mucha Sensibilidad y mucha Especificidad. Y
observemos, tambin, que el tringulo inferior indica un mtodo diagnstico desastroso: sera peor
que tomar las decisiones al azar.

20. El grfico siguiente es tambin una representacin de diferentes puntos en el espacio ROC pero
haciendo ahora, para cada punto, una representacin mediante un dibujo como el presentado al
explicar las nociones de sensibilidad y especificidad:
21. Ante un mtodo diagnstico suele darse un valor de Sensibilidad y de Especificidad. Es muy
habitual leer en un libro de Medicina, en la parte dedicada a mtodos diagnsticos de una determinada
patologa, que una prueba diagnstica concreta tiene, por ejemplo, una sensibilidad del 98% y una
especificidad del 75%, y cosas como esta.

22. Este tipo de informacin puntual nos dara un punto en el espacio diseado en el Anlisis ROC
que hemos dibujado antes. Y es una informacin interesante y muy til para valorar una prueba
diagnstica y para compararla con otras que tratan tambin de diagnosticar una determinada
enfermedad.

23. Pero el Anlisis ROC va ms all de dar un nico punto. El objetivo bsico del Anlisis ROC es
dibujar una curva. Dibujar la llamada curva ROC e incluso calcular un rea bajo dicha curva: la llamada
AUC (Area under curve). Que es un valor que va de 0 a 1, como veremos luego.

24. La curva ROC de una situacin diagnstica determinada consiste en dibujar los distintos pares de
valores de S y de 1-E que tendramos si furamos cambiando el criterio de decisin. De esta forma,
se analiza, para todos los posibles criterios de decisin, de un mtodo diagnstico, cules son los
valores de S y de 1-E. Esto es lo interesante, pues, de este anlisis: que dibuja el mapa de todos los
resultados que podramos tener ante todos los posibles criterios de decisin en una tcnica
diagnstica concreta. Esto es, realmente, un muy interesante anlisis de un procedimiento
diagnstico.
25. Pensemos que en la mayor parte de pruebas diagnsticas al final se trata de decidir dentro de un
ms o menos amplio nmero de situaciones posibles cules de ellas nos llevan a decir que tenemos
enfermedad o que no la tenemos: que es diabtico o que no lo es, que tiene la tuberculosis o que no
la tiene, etc.

26. Suele denominarse cutoff al umbral de decisin para decantarse por una afirmacin u otra. Es
cambiando el cutoff, cambiando el criterio de decisin, como podemos ir calculando la curva ROC.
En la medida que vayamos cambiando el criterio de decisin iremos obteniendo distintos pares de
valores (S, 1-E). Al final, juntando estos valores, obtendremos una curva: la curva ROC.

27. Para dibujar la curva ROC buscamos unos valores reales, una muestra, unas personas de las que
tengamos toda la informacin: debemos saber, en nuestro caso, la altura y el sexo de cada una de
ellas. En el caso de estar trabajando en el diagnstico de una patologa hemos de partir de una serie
de personas con y sin la patologa a estudiar y a las que les aplicamos, a todas, el mtodo diagnstico.

28. Esto de partir de valores reales, de una muestra, para poder establecer un procedimiento, es algo
que est siempre presente en Estadstica. Lo hemos visto, por ejemplo, en todas las tcnicas de
Regresin. Necesitamos siempre una muestra para poder evaluar con ella la calidad de un
procedimiento, para evaluar y estimar cmo irn las cosas cuando nos enfrentemos al reto de tener
que diagnosticar.

29. Por lo tanto, en la valoracin de la calidad de un mtodo diagnstico hacemos lo mismo, pues,
que hacemos en la Regresin: tomar una muestra de valores donde lo tengamos todo y as podamos
hacer una valoracin de la calidad de un mtodo diagnstico. Es como hacer un trabajo de laboratorio
previo a enfrentarse con la realidad, como ensayar algo en una planta piloto, como hacer pruebas a
un nuevo coche antes de salir al mercado.

30. Veamos un ejemplo. Supongamos que queremos clasificar como hombre o mujer a una
determinada persona de la que slo tenemos la altura. Queremos establecer un valor, un cutoff, un
umbral, por encima del cual pronosticaremos, diagnosticaremos, que aquella persona es un hombre
y por debajo del cual diremos que es una mujer:
31. Observemos que tenemos una muestra de 5 mujeres y de 5 hombres de los que tenemos su
altura. Y que estn solapados. Hay mujeres en la muestra ms altas que algunos hombres, por lo
tanto, establecer un mtodo diagnstico de hombre en base a una altura, a un cutoff altura, nos
generar algn error, no es un procedimiento perfecto.

32. Veamos cmo lo calculamos: Observemos que vamos cambiando el cutoff, vamos a buscar todos
los posibles cutoff que nos daran lugar a resultados diferentes. Es lo que vamos haciendo en el
ejemplo propuesto.

33. Para cada caso se calcula la S, la E y la 1-E. Y cada pareja de valores (S, 1-E), para cada cutoff
posible, se va dibujando en el grfico ROC. Y al final se juntan los puntos en una curva: la curva ROC.
Que en el grfico aparece en azul.

34. Miremos algn caso concreto de los que se adjuntan en esta tabla de valores. Por ejemplo, el
primero. Si se elige como cutoff, como punto de decisin, menor que 160 cm, entonces todos los
hombres quedarn bien clasificados como hombres: tendremos una sensibilidad del 100%, o de 1,
en tanto por uno. Pero el problema es que la especificidad es horrible, porque las cinco mujeres
quedaran tambin clasificadas como hombres: Esto nos da una especificidad del 0%, por esto el
punto est arriba y a la derecha, en el punto (1, 1), porque tiene un valor S=1 y un valor 1-E=1, al ser
la E=0.

35. Cojamos otro caso. El segundo: Si el cutoff es un valor mayor que 160 pero menor que 163
entonces los cinco hombres seguirn estando bien clasificados, y entre las mujeres cuatro seguirn
estando clasificadas como hombres. La sensibilidad es del 100% y la especificada es, ahora, del 20%.
Por esto el punto ahora est en el (1, 0.8).

36. Si vamos subiendo el cutoff dentro de todos los intervalos posibles entre valores de nuestra
muestra acabaremos viendo que los puntos obtenidos son los representados y que la curva ROC es
la dibujada.

37. El rea bajo esta curva ROC es el AUC. Al tener el cuadrado un rea mxima de 1, el valor de
AUC va del 0 al 1. En nuestro caso el rea sera la remarcada bajo la curva ROC:
38. Cuanto ms prximo a 1 sea esa rea significa que es mejor mtodo diagnstico, evidentemente.
Significa que estamos ante un mtodo diagnstico con ms posibilidades de discernir este
enfermedad y no enfermedad. Por lo tanto, veamos cmo de izquierda a derecha en el siguiente
grfico vamos perdiendo capacidad en los diferentes mtodos diagnsticos:
39. Las curvas posibles son muchas. Observemos, por ejemplo, las dos siguientes, que tendran una
misma AUC pero un perfil de curva diferente:

40. Observemos que el ejemplo que he puesto de clculo de la curva ROC es a efectos de
comprensin. Pero as se ve bien cmo se calculan esas curvas en casos reales de mtodos
diagnsticos. Por ejemplo, supongamos el caso real del diagnstico de diabetes en funcin del
resultado analtico de glucosa en sangre despus de 2 horas de una sobrecarga de 75 gramos de
glucosa. Si ante una situacin diagnstica como esta, con una muestra de pacientes amplia, furamos
cambiando el cutoff de la glucosa, construiramos la curva ROC de esta importante prueba diagnstica
en diabetes mellitus. Suele darse un cutoff de 200 mg/dL para el diagnstico. Si tuviramos una
muestra con pacientes diagnosticados de diabetes y con personas libres de esa enfermedad y les
aplicramos ese mtodo diagnstico y furamos cambiando, entonces, de valores de cutoff,
obtendramos la curva ROC de este mtodo diagnstico.
41. La forma de la curva tiene que ver con lo segregados que estn los enfermos y los no enfermos
respecto al criterio seguido en el procedimiento diagnstico. Veamos el siguiente grfico que ilustra
esta afirmacin:
42. Observemos a la izquierda tres situaciones bien distintas, donde tenemos una medida de alguna
variable, como podra ser la cantidad de alguna medida usada como criterio diagnstico. El grupo de
enfermos y el grupo de no enfermos, en el caso de arriba, estn muy separados, esto ir, lgicamente,
asociado a una curva ROC con AUC prxima a 1, como puede verse. En el caso del medio la
separacin entre ambos grupos no es tan buen y ello va asociado de una curva con menor AUC.
Finalmente en el caso de abajo los grupos estn muy solapados. En este caso la capacidad
diagnstica se reduce muchsimo y esto se refleja en una curva ROC muy mala, con una AUC muy
baja.

43. Esto es lo interesante, pues, del Anlisis ROC: poder, con estas herramientas, establecer una
medida de calidad de un procedimiento diagnstico. Tener un dibujo de su comportamiento y una
medida de su calidad.

44. Veamos en la siguiente fotografa un grfico de un artculo en una importante revista mdica
donde se usa el Anlisis ROC para evaluar mtodos de pronstico de infarto de miocardio:

45. Hay algo importante que no he dicho hasta ahora de estas curvas ROC. Observemos que estas
curvas las construimos en base a una muestra. Por lo tanto, la curva ROC que obtenemos es una
estimacin de la curva real, como siempre en Estadstica. Que si la muestra es pequea es posible
que no sea significativa, que no sea distinta a la que podramos obtener al azar.

46. Se pueden construir, pues, intervalos de confianza de estas curvas ROC. El AUC tambin puede
ser o no significativo, puede construirse un intervalo de confianza tambin de l. Etc. Estamos, pues,
ante un caso de inferencia y, por lo tanto, como tal, sometido a todas las limitaciones y procedimientos
que la inferencia nos aporta y que hemos ido viendo en temas anteriores.