Documento descargado de http://http://zl.elsevier.es el 17/10/2013.

Copia para uso personal, se prohbe la transmisin de este documento por cualquier medio o formato.

CONFERENCIA CLNICA
Editor: F. Cardellach Caso: 55-2002
47.948

Anlisis multivariante en investigacin biomdica: criterios para la inclusin de variables

Erik Cobo
Departamento de Estadstica e Investigacin Operativa. Universitat Politcnica de Catalunya. Barcelona.

Los modelos de regresin mltiple, sea lineal, Cox o logstica, son muy populares en la investigacin biomdica por la posibilidad que ofrecen para controlar el efecto de terceras variables. Sin embargo, a menudo los investigadores, autores y lectores se preguntan qu criterios se deben seguir para decidir qu variables incluir en el modelo. Estas lneas pretenden aportar algunas claves. Para ello, en primer lugar se recuerda la necesidad de considerar aquellas variables relevantes que podran determinar la variable respuesta que se est analizando, ya que su olvido podra originar que se confundieran entre s los efectos de variables que se presentan juntas o correlacionadas1,2. En segundo lugar, se exponen los modelos de regresin mltiple y las propiedades estadsticas que debe cumplir la estimacin obtenida en un estudio. A continuacin, mediante dos ejemplos, se muestran las dificultades, los retos y las trampas que puede presentar el anlisis multivariante. Finalmente se exponen 4 criterios que se debe tener en cuenta a la hora de seleccionar las variables que se incluirn en un modelo. Necesidad del ajuste Supngase que, por el motivo que sea, la evolucin de los pacientes ingresados en un determinado centro es mejor que la evolucin de los pacientes de otro. Por ejemplo, en el primer centro (C1), la razn (u odd) entre evolucin favorable (Y+) y desfavorable (Y) est 2 a 1 (es decir, los que evolucionan favorablemente doblan a los que no lo hacen: 2); mientras que en el segundo centro (C2) est 1 a 2 (es decir, los que evolucionan favorablemente son la mitad de los que no lo hacen: 1/2). El cociente de estas dos razones (u odds ratio) vale 4 (2/ 1/2 = 4), indicando que en el centro C1 la razn entre evolucin favorable y evolucin no favorable es 4 veces superior que en el centro C2:
Y+ Y Razn

vestigador mantendr igual la razn entre tratados y controles en ambos centros. Por ejemplo, disear un estudio como el siguiente, en el que el idntico equilibrio entre tratados y controles en ambos centros se traduce por una OR igual a 1:
X=A X=B Razn

C1 C2

90 90

90 90

1a1 1a1

Razn de razones = OR = 1

Es decir, en este ejemplo, el tratamiento esta balanceado entre centros, ya que la razn tratados con A frente a tratados con B es idntica en ambos. Si no existieran diferencias entre los tratamientos, se podra observar, en cada centro, una situacin como la siguiente:
C1 Y+ Y Razn

X=A X=B
C2

60 60 OR = 1
Y+

30 30 IC del 95% = 0,5-1,9

Y

2a1 2a1
Razn

X=A X=B

30 30 OR = 1

60 60 IC del 95% = 0,5-1,9

1a2 1a2

C1 C2

120 60

60 120

2a1 1a2

Razn de razones = odds ratio (OR) = 4

Es decir, la respuesta depende del centro y en C1 se curan 4 veces ms. Si se desea comparar cierto tratamiento (X = A) con un control (X = B) en estos centros, un buen inPalabras clave: Regresin. Anlisis multivariante. Ajuste. Confusin. Diseos observacionales y experimentales.
Conferencia celebrada el 21-3-2002 en el Hospital Clnic de Barcelona. Correspondencia: Dr. E. Cobo. Departament dEstadstica i Investigaci Operativa. Universitat Politcnica de Catalunya. Pau Gargallo, 5. 08028 Barcelona. Correo electrnico: erik.cobo@upc.es

En ambos centros por separado, el tratamiento no tiene efecto: en el centro 1, ambos tratamientos (X = A y X = B) tienen la misma razn 2 a 1 entre evolucin positiva (Y+) y negativa (Y-), conduciendo a una OR de 1, que indica que el tratamiento no tiene efecto. Y lo mismo en el centro 2; aunque la tendencia es ahora hacia una evolucin negativa 1 a 2, dado que esta tendencia se observa por igual en ambos grupos, tampoco existe relacin (OR = 1) entre tratamiento y evolucin. Si este investigador quisiera presentar los resultados comparativos de los tratamientos sin distinguir el centro en el que se han obtenido, obtendra los siguientes datos, concluyendo tambin que no existe relacin entre tratamiento y evolucin:
Y+ Y Razn

X=A X=B

90 90 OR = 1

90 90 IC del 95% = 0,7-1,5

1a1 1a1

Es decir, estudiando ambos centros a la vez, el tratamiento tampoco muestra efecto alguno. En resumen, como era deseable, este investigador cuidadoso obtiene los mismos resultados cuando realiza el anlisis teniendo en cuenta la tercera variable centro (OR = 1), que cuando no la considera (OR = 1).

230

Med Clin (Barc) 2002;119(6):230-237

Documento descargado de http://http://zl.elsevier.es el 17/10/2013. Copia para uso personal, se prohbe la transmisin de este documento por cualquier medio o formato.

COBO E. ANLISIS MULTIVARIANTE EN INVESTIGACIN BIOMDICA: CRITERIOS PARA LA INCLUSIN DE VARIABLES

Qu pasara si el investigador no hubiera previsto la posibilidad de que diferentes hospitales puedan tener diferentes preferencias en cuanto al tratamiento? En el primer centro, las preferencias de sus mdicos les llevan a tratar a 5 pacientes con X = A por cada caso tratado con X = B (razn: 5 a 1), mientras que en el segundo las preferencias son justo al revs (razn: 1 a 5), lo que conduce a un desequilibrio global que la razn de razones (odds ratio) cuantifica en 25:
X=A X=B Razn

X Z Y

X Y

C1 C2

150 30 OR = 25

30 150

5a1 1a5

Fig. 1. Relacin espuria entre X e Y originada por no considerar la variable Z relacionada con ambas.

Ahora, el tratamiento no est balanceado entre centros: en C1 se usa el tratamiento A 25 veces ms que en el centro 2. Las consecuencias de este mal diseo son muy importantes. Si este investigador realizara el anlisis ajustando por centro, como en el modelo siguiente observara una OR de 1, indicativo de que no existe relacin entre tratamiento y evolucin:
C1 Y+ Y Razn

X=A X=B
C2

100 20
OR = 1

50 10
IC del 95% = 0,4-2,3

2a1 2a1
Razn

Y+

X=A X=B

10 50 OR = 1

20 100 IC del 95% = 0,4-2,3

1a2 1a2

Una vez ms, al estudiar ambos centros por separado, el tratamiento no tiene efecto. Sin embargo, si por brevedad o descuido, este investigador no tiene en cuenta el centro del que proceden los datos y estudia nicamente la tabla conjunta, y obtendr una OR de 2,5 con un intervalo de confianza de 1,6 a 3,8, que indica asociacin entre tratamiento y evolucin:
Y+ Y Razn

X=A X=B

110 70 OR 2,5

70 110 IC del 95% = 1,6-3,8

11 a 7 7 a 11

Al estudiar ambos centros juntos, el tratamiento parece tener un efecto que en realidad no tiene. En resumen, este diseo poco elaborado conduce a diferentes resultados cuando el anlisis tiene en cuenta la tercera variable centro (OR = 1) y cuando no la considera (OR = 2,5). Las consecuencias de un mal diseo y un mal anlisis eran imaginables. Aqu no engaa la intuicin: si el tratamiento se estudia ms en el centro 1, que tiene mejores resultados, y el control en el centro 2, que tiene peores resultados, esta comparacin estar sesgada a favor del tratamiento. La fuerte relacin entre los tratamientos en comparacin y la tercera variable provoca que se confundan sus efectos: un investigador poco atento podra atribuir al tratamiento una diferencia en el efecto que es explicable por el centro. Por supuesto, un buen investigador no cometera este error, ya que habra considerado la variable centro en el anlisis de los datos y presentara los resultados ajustando por centro. O mejor an, lo habra previsto en el diseo del estudio, como el investigador anterior, y podra presentar los resultados sin necesidad de recurrir al ajuste. Para esquematizar el diferente papel que desempean las variables en estudio conviene asignarles sistemticamente las letras que las simbolizan. La respuesta se suele representar por Y, el tratamiento o la causa en estudio por X y las terceras variables relacionadas con la respuesta (covariantes) por Z. As, esquemticamente puede decirse que, cuando X y Z son independientes (es decir, estn equilibradas o balanceadas), hay la misma conclusin al ajustar por Z que al olvidar Z. En cambio, si X y Z no son independientes, no se obtiene la misma conclusin al ajustar o controlar por Z que al olvidarla. Una representacin grfica de este fenmeno puede verse en la figura 1: cuando no se tiene en cuenta la variable Z, aparece una relacin espuria

TABLA 1 Opciones para el ajuste

Opcin Fase Nombre Ventajas Inconvenientes

Restriccin

Diseo Anlisis

Criterios de inclusin Anlisis de un subgrupo Bloques (apareamiento) Estratificacin (apareamiento) Modelado Covariancia, regresin, otros

Control completo Barato Simple de disear Simple de analizar Potencia Eficiencia Sin premisas Directa Clculo simple Factible con pocos casos Redondea efectos menores Permite predicciones Permite variables continuas Permite varias variables

Reduce la generabilidad Limitado nmero de variables Posible confusin residual (si las restricciones son amplias) Pierde flexibilidad Coste Dispersin de casos en estratos Diferentes estratificaciones Difcil sumarizacin Muchas premisas Eleccin del modelo Eleccin de variables Interpretacin Parametrizacin del software

Anlisis por subgrupos

Diseo Anlisis

Modelado estadstico

Diseo Anlisis

Adaptada de Kleinbaum et al3.

Med Clin (Barc) 2002;119(6):230-237

231

Documento descargado de http://http://zl.elsevier.es el 17/10/2013. Copia para uso personal, se prohbe la transmisin de este documento por cualquier medio o formato.

COBO E. ANLISIS MULTIVARIANTE EN INVESTIGACIN BIOMDICA: CRITERIOS PARA LA INCLUSIN DE VARIABLES

entre las dos variables con las que Z est relacionada, X e Y. En otras palabras ms habituales: si no se tiene en cuenta la variable Z, sta confunde al estudiar la relacin entre X e Y; o tambin: los efectos de X y Z en Y estn confundidos. Para que exista confusin deben darse dos condiciones: a) la tercera variable Z debe ser predictora de la respuesta Y, y b) Z y X deben estar correlacionadas (ser colineales). Dado que la relacin ZY es fija y viene predeterminada, nuestro diseo no puede romperla y los esfuerzos se dirigen a anular la colinealidad, bien sea con un buen diseo, bien sea en el anlisis posterior mediante el ajuste estadstico. stas son, pues, las ventajas del ajuste en el anlisis: complementan al diseo del estudio en el control de las terceras variables Z. Las opciones disponibles para controlarlas3 se resumen en la tabla 1. Estas posibilidades, as como las ventajas que ofrece la asignacin al azar del tratamiento, ya fueron comentadas con anterioridad4. A continuacin se expone cmo realiza este ajuste el modelo de regresin. Regresin mltiple En un modelo de regresin mltiple se predice una cierta respuesta (outcome) mediante la combinacin de una serie de variables independientes. En funcin de la respuesta, hay tres grandes grupos de modelos: en el modelo lineal, la respuesta es una variable cuantitativa, como la presin arterial sistlica; en el modelo logstico, la respuesta es una dicotoma, como el hecho de curar o no curar, y en el modelo de riesgos proporcionales de Cox, la respuesta es el tiempo hasta cierto acontecimiento de inters. Sea cual sea el modelo utilizado, el objetivo de estas lneas es considerar qu variables incluir como predictoras. No se abordan, en cambio, los detalles tcnicos de estos modelos5-7. Significado independiente de los coeficientes Para estudiar el significado de las variables incluidas en un modelo de regresin mltiple, se utilizar el modelo lineal, que tiene la forma siguiente: Yi = 0 + 1X1i + 2X2i + ... + KXKi + i donde Y representa la respuesta de inters y las X representan diferentes variables que ayudan a predecir o caracterizar el valor de esta respuesta Y. Se ver ms adelante la importancia de si estas variables predictoras deben etiquetarse como X (p. ej., el tratamiento anterior) o como Z (p. ej., el centro anterior). Sea cual sea el tipo de variables, el atractivo de este modelo es que se puede estudiar el efecto del aumento de una sola de estas variables, a la vez que se dejan igual, sin modificar, todas las restantes. Cul sera el cambio en la respuesta Y cuando la variable X1 aumenta una unidad y todas las dems variables permanecen constantes? Ntese que el cambio asociado a la respuesta Y ser, precisamente, de 1 unidades. En general, Y aumenta 1 veces el incremento experimentado por la variable X1. Por ello, se puede decir que los coeficientes i representan la variacin esperada en la respuesta Y por un aumento unitario en la variable Xi que le acompaa, mientras permanecen fijas todas las dems variables. Esto es lo que significa independientemente. De aqu el gran atractivo de estos modelos: se pueden dejar fijas las terceras variables Z, para as controlar o anular su posible efecto y poder estimar la relacin de la variable de inters X habiendo suprimido las posibles interferencias de las terceras variables Z. Veamos tres ejemplos de cmo se interpretan, en palabras, los resultados de un modelo de regresin multivariante. En el primero, Pichini et al8 investigan la influencia del hbito

tabquico de la embarazada (X) en las medidas somatotrpicas del recin nacido (Y) teniendo en cuenta otras caractersticas (Z). Y concluyen: El habito tabquico [] se asoci [] de forma negativa con medidas somatotrpicas del recin nacido []. Tras ajustar por otras caractersticas de las madres y del recin nacido, esta asociacin negativa se confirm. En el segundo, Martn et al9 analizan los ingresos por problemas relacionados con la medicacin (PRM = Y) y dicen: al realizar el anlisis multivariante, las variables que han presentado una relacin independiente con la presencia de ingreso por PRM han sido los antecedentes de ingreso por PRM y el nivel socioeconmico. En el tercero, de forma similar, Real et al10 concluyen: El anlisis de regresin logstica demostr que [] fueron significativamente independientes en el modelo. As, a pesar de que estas variables pueden estar correlacionadas entre s, el modelo de regresin permite hablar del efecto de una ellas aislado, o independiente, del efecto de las otras. Eficiencia estadstica de las estimaciones Para llegar a sus conclusiones, los autores antes mencionados han debido recoger un volumen razonable de datos en los que estimar sus modelos. El reto de la inferencia estadstica consiste precisamente en realizar la estimacin de los coeficientes del modelo en las mejores condiciones posibles. Los autnticos, pero desconocidos, valores del modelo en toda la poblacin de pacientes reciben el nombre de parmetros y se representan por la letra griega . En cambio, los conocidos, pero intrascendentes, resultado de la muestra, se denominan estimaciones y se representan por la letra latina b. As, el modelo de regresin lineal que se observara en un estudio concreto se representa: Yi = b0 + b1X1i + b2X2i +... + bKXKi + ei Como es imposible disponer de todos los pacientes, incluidos los futuros, se debe confiar en que las estimaciones muestrales b cumplen ciertas propiedades estadsticas. Las dos fundamentales son: a) la ausencia de sesgo, es decir, que apunten en la direccin correcta del valor poblacional que se desea estimar, y b) que los valores obtenidos en diferentes muestras oscilen poco alrededor del valor poblacional, lo que suele requerir muestras de cierto tamao. El error tpico o estndar de la estimacin cuantifica esta oscilacin y se puede considerar como el nivel de ruido introducido por el proceso de muestreo. Ejemplo: prediccin de la cifra de linfocitos CD4 a las 12 semanas de tratamiento antirretroviral. Se dispone del nmero de linfocitos CD4 a las semanas 0, 4, 8 y 12 de 19 pacientes sometidos a tratamiento antirretroviral. Para empezar, en un ejemplo de un modelo con una sola variable, se predice el valor de los linfocitos CD4 observado a las 12 semanas de iniciado el tratamiento a partir de los valores iniciales o basales obtenidos en la semana 0. Las estimaciones proporcionan el modelo siguiente: CD4Sem12 = 52,56 + 1,03 CD4Sem0 + ei Los errores tpicos de estos estimadores han sido, respectivamente, 23,87 y 0,10. As, se sabe que la seal aportada por el valor 52,56 se debe matizar por un ruido de 23,87, y que la seal de la pendiente, 1,03, debe ser matizada por un ruido debido al proceso de estimacin de 0,10. Este modelo es fcilmente interpretable: un aumento de una unidad (1,00) de linfocitos CD4 en la semana 0 va acompaado de un aumento de 1,03 (EE = 0,10) en la semana 12. Por otro lado, indepen-

232

Med Clin (Barc) 2002;119(6):230-237

Documento descargado de http://http://zl.elsevier.es el 17/10/2013. Copia para uso personal, se prohbe la transmisin de este documento por cualquier medio o formato.

COBO E. ANLISIS MULTIVARIANTE EN INVESTIGACIN BIOMDICA: CRITERIOS PARA LA INCLUSIN DE VARIABLES

800 700 Linfocitos CD4 (106/l)

Fig. 2. Recuento de linfocitos CD4 de 19 pacientes al inicio (0) y a las 4, 8 y 12 semanas de iniciado el tratamiento antirretroviral.

600 500 400 300 200 100 0 0 4 Semanas 8 12

dientemente del valor basal, todos los linfocitos CD4 estn aumentados en 52,56 (EE = 23,87) unidades en la semana 12. Fuera cual fuera el valor basal, los linfocitos CD4 aumentan en 52,56 (EE = 23,87) unidades a las 12 semanas. Se obtienen, as, unos resultados coherentes y fcilmente interpretables. Los resultados de repetir este modelo univariante que intenta predecir los valores a las 12 semanas a partir de los linfocitos CD4 de las 4 semanas, por un lado, y de los de las 8 semanas, por otro, son muy similares. Ntese que el cociente entre la seal (el valor del estimador) y el ruido (su error tpico) es en todos ellos superior a 10, lo que apunta a la importancia de estos coeficientes. En cambio, el modelo de regresin mltiple, que incluye simultneamente los linfocitos CD4 de las 0, 4 y 8 semanas es: CD4Sem12 = 22,04 + 0,31 CD4Sem0 + 0,58 CD4Sem8 + 0,06 CD4Sem12 + ei En la tabla 2 puede observarse que las seales respectivas, los coeficientes, han disminuido. Se ver que su interpretacin es, ahora, ms complicada. Por otro lado, los errores tpicos de estimacin de los coeficientes de las tres variables han aumentado mucho: 0,25, 0,17 y 0,29. Tanto que se podra prescindir de algunos de los coeficientes. Para la semana 0 hay una seal, b1 = 0,31, y un ruido, EE(b1) = 0,25, casi tan grande como la seal. Y el de la semana 12, b3 = 0,06, incluso queda muy por debajo de su ruido de estimacin, EE(b3) = 0,29. Slo el de la semana 8, b2 = 0,58, contina siendo relativamente superior a su ruido, EE(b2) = 0,17: es el nico en el que la prueba de significacin sera significativa. Qu ha pasado? Hasta qu punto este nuevo modelo, con tres variables, es mejor que los anteriores con una sola? Consecuencias de la correlacin entre variables independientes La estimacin del modelo de los linfocitos CD4 presenta dos dificultades desde el punto de vista estadstico, ambas derivadas de la elevada correlacin o colinealidad entre las variables introducidas como predictoras. La primera dificultad es la de su significado. El coeficiente asociado a los linfocitos CD4 de la semana 8 significa la variacin en el nmero de linfocitos CD4 a la semana 12 independientemente de los linfocitos CD4 a las semanas 0 y 4, es decir, asumiendo que

estos ltimos permanecen constantes. Pero, realmente podemos imaginar un incremento en los linfocitos CD4 de una de estas semanas sin que aumenten los otros?, puede darse esta situacin? Dado que el nmero de linfocitos CD4 a las 0, 4 y 8 semanas representa la misma variable, han debido repartirse su capacidad predictiva: de hecho, los tres coeficientes suman, prcticamente, el valor 1 (0,31 + 0,58 + 0,06 = 0,95), al que se acercaba antes cada variable por separado. As, por un lado, se debe interpretar cada coeficiente recordando que las otras variables estn, fijas, en el modelo, pero por otro, se sabe que si una de estas variables cambia, tambin lo harn las otras. En resumen, introducir variables demasiado similares dificulta la interpretacin de sus coeficientes. La segunda dificultad que se ha visto es que el error tpico de estimacin se ha hecho unas 3 veces superior. Dado que este error depende de la raz cuadrada del tamao muestral, un error 3 veces superior equivale al que hubiramos obtenido en una muestra 9 veces inferior, es decir, de unos dos casos en lugar de 19. Y quin se cree los resultados de una muestra de dos casos? La paradoja es que se dispone de menos informacin a pesar de tener ms variables. Es un problema muy grave, por tanto, al que hay que estar muy atento. Y por qu sucede? Por una razn muy simple: el error tpico de estimacin de los coeficientes de regresin es menor cuanto mayor es el rango de variabilidad de la variable independiente; si se quiere saber cmo aumenta el peso al aumentar la altura, hay mayor precisin cuanto ms amplia sea la perspectiva y mayor rango de alturas se estudie. En el ejemplo de los linfocitos CD4, la figura 2 indica que la variabilidad de stos oscila desde casi 0 hasta casi 800, pero cuando se deja fijo el valor de TABLA 2 Prediccin de la cifra de linfocitos CD4 a las 12 semanas a partir del nmero observado en las semanas 0, 4 y 8. Modelos univariantes y multivariante
Semana R2 (%) Univariante b SE(b) R2 (%) Multivariante b SE(b)

0 4 8

86,1 92,4 89,0

1,02 0,86 0,92

0,10 0,06 0,08

93,1

0,31 0,58 0,06

0,25 0,17 0,29

R2: descenso porcentual en el error de prediccin; b: estimacin del coeficiente de regresin (seal); SE(b): error tpico de estimacin de b (ruido).

Med Clin (Barc) 2002;119(6):230-237

233

Documento descargado de http://http://zl.elsevier.es el 17/10/2013. Copia para uso personal, se prohbe la transmisin de este documento por cualquier medio o formato.

COBO E. ANLISIS MULTIVARIANTE EN INVESTIGACIN BIOMDICA: CRITERIOS PARA LA INCLUSIN DE VARIABLES

los linfocitos CD4 de una semana concreta, las de la semana siguiente son casi constantes: su variabilidad se ha reducido drsticamente. As, esta reduccin de perspectiva aumenta la incertidumbre de la estimacin. En resumen, si las variables de las que se quiere tener una interpretacin independiente no son en absoluto independientes, aumentan los errores tpicos de las estimaciones y los coeficientes del modelo pierden significado. Se quiere realmente conocer el cambio que corresponde a un incremento de una unidad en los linfocitos CD4 de la semana 4 cuando se dejan fijos los de la semana 8? Realmente pueden aumentar los linfocitos CD4 de una de estas semanas sin que aumenten los de las otras? Puede darse esta situacin? Por ello, el mejor consejo que se puede dar es que se piense cuidadosamente antes de introducir variables en un modelo. En el siguiente y ltimo apartado se comentan 4 claves que deben ayudar a decidir qu variables se incluyen en el modelo. Claves para la inclusin de variables en el modelo Primera clave: el objetivo es predecir o intervenir? En primer lugar, es importante considerar la finalidad del modelo: se desea predecir, adivinar acontecimientos futuros, o se pretende intervenir sobre su curso? En la primera finalidad, se utiliza el valor de una variable para acercarse al valor de otra. Ntese que no se precisa relacin de causaefecto4,11. Por ejemplo, se puede reducir la incertidumbre sobre la mortalidad por cncer de un pas conociendo el nivel de uso de ordenadores, ya que ambas variables van asociadas al desarrollo de un pas. Sin embargo, no se propondr intervenir sobre el uso de la informtica para hacer descender la mortalidad por cncer. Cuando el objetivo es predecir, es ms importante cuantificar la capacidad predictiva del modelo (cunto se reduce la incertidumbre?) que interpretar el significado concreto de un coeficiente del modelo de regresin. Si el objetivo es ms ambicioso y se pretende intervenir sobre una variable para cambiar el valor de otra, es necesario que exista relacin de causa-efecto. En sta, hay dos preguntas muy diferentes: cul es el efecto de esta causa?, y cul o cules son las causas de este efecto? Un ejemplo de la primera sera: si me tomo una aspirina, se me ir el dolor de cabeza?, mientras que de la segunda sera: se me ha ido el dolor de cabeza, es porque me he tomado una aspirina?. La farmacologa clnica y la epidemiologa prospectiva suelen abordar preguntas del primer tipo, ms concretas, en tanto que la farmacoepidemiologa y la epidemiologa retrospectiva se concentran en preguntas del segundo tipo, cuya formulacin es mucho ms exploratoria. Segunda clave: cul es el papel de cada variable en el modelo? Adems de la respuesta Y en estudio, existe una serie de variables independientes que se introducen en el modelo. Si el objetivo es predecir, todas ellas tienen un papel idntico, simtrico. En cambio, si el objetivo es intervenir, conviene distinguir entre las causas potenciales (X) y los meros atributos o condiciones (Z). Las variables X representan las variables potencialmente intervenibles, para las que se desea saber si, cambiando su valor, se puede modificar el curso de los acontecimientos que representa la respuesta Y. Dado que se pretende cambiar el valor de X, ste debe depender, al menos potencialmente, de nosotros. As, un tratamiento farmacolgico o un consejo diettico pueden ser considerados como X. Conviene distinguir si el efecto de esta causa X podra ser beneficioso o no. Si la expectativa es de un efecto

positivo, es tico plantear un experimento en seres humanos; por ejemplo, un ensayo clnico sobre un nuevo frmaco. En cambio, en aquellas causas potenciales cuyos efectos cabe esperar que sean negativos, difcilmente sera tico asignar un voluntario a este txico X. Slo ser posible obtener informacin a partir de estudios observacionales. Finalmente, adems de la causa X y de la respuesta Y, estn las terceras variables Z. Usualmente se trata de condiciones o atributos de los casos como, por ejemplo, el gnero o la edad. Dado que su valor no es determinable o asignable por el clnico, sino que las unidades ya se presentan con dicho valor, su nica utilidad prctica es predictiva. Por poner un ejemplo muy simple, es bien sabido que la esperanza de vida es mayor en las mujeres, pero no tiene sentido aconsejar a un paciente varn que cambie de gnero. Ntese que el paciente llega al mdico con un valor previo en estos atributos. Y el mdico no se plantea cambiar estos valores. Su pregunta es: En este paciente de estas caractersticas, qu se puede hacer?. As, las variables Z se incluyen en el modelo porque son condiciones previas sobre las que se estudia el efecto de la hipottica causa. Estudios previos deben haber establecido la relevancia de las variables Z como predictoras de la respuesta y, por tanto, como posibles elementos de confusin. Estos conocimientos previos son los que aconsejan incluirlas en el modelo, por lo que en el estudio confirmatorio del efecto de la causa X en la respuesta Y se puede obviar la prueba de hiptesis sobre la significacin estadstica de las variables Z y concentrar los riesgos estadsticos de error en el autntico objetivo del estudio: la relacin entre X e Y dadas las condiciones Z. Ntese que sta es, precisamente, la interpretacin de los coeficientes de regresin: 1 representa el cambio que se obtendra en la respuesta Y por cada incremento manipulado de una unidad en el efecto X1 a nivel constante de las dems variables. Ejemplo 1: sndrome de Down y madres aosas. Antes de introducir la tercera clave conviene aplicar las dos previas en sendos ejemplos muy cotidianos. La probabilidad de tener un hijo con el sndrome de Down es aproximadamente de uno cada 600 embarazos en la poblacin general, pero asciende hasta uno cada 60 en las mayores de 36 aos. Ahora bien, y la edad del padre? Ntese la elevada correlacin (colinealidad) entre la edad de los padres: por un lado, se sabe que a mayor edad de uno, cabe esperar mayor edad del otro; por otro, y al igual que suceda con los linfocitos CD4, si se deja fija la edad de uno de los padres, disminuye considerablemente la variabilidad de la edad del otro. Cul es el objetivo de establecer esta relacin entre la edad de los padres y el riesgo de sndrome de Down: intervenir o predecir? Si lo que se pretende es cambiar la edad de la madre o del padre para disminuir el riesgo, se trata de una intervencin, pero si se desea seleccionar aquellos embarazos con elevada probabilidad de sndrome de Down, entonces el objetivo es predecir. Si el objetivo fuera intervenir, para poder establecer la necesaria relacin causal, la mejor respuesta vendra de un diseo experimental en el que se estudiara la edad de cada uno de los padres dejando equilibrada la del otro. Por ejemplo, se aparearan tanto las madres de 20 como las de 40 aos, por igual, con padres de 20 y de 40 aos. Este diseo no sera tico, por supuesto, pero es que adems no tendra sentido prctico en nuestro entorno sociocultural. Se plantea una madre o un padre buscar una pareja independientemente de su propia edad? Si una posible madre decidiera adelantar su edad de maternidad, tambin est adelantando la edad de su pareja. Puede existir una pregunta cientfica sobre si envejecen los gametos femeninos, los masculinos o ambos, pero en nues-

234

Med Clin (Barc) 2002;119(6):230-237

Documento descargado de http://http://zl.elsevier.es el 17/10/2013. Copia para uso personal, se prohbe la transmisin de este documento por cualquier medio o formato.

COBO E. ANLISIS MULTIVARIANTE EN INVESTIGACIN BIOMDICA: CRITERIOS PARA LA INCLUSIN DE VARIABLES

tro entorno no es una pregunta con implicaciones cara a una intervencin. Si se acepta que el objetivo es identificar aquellos embarazos con una probabilidad de sndrome de Down lo suficientemente elevada para compensar los riesgos de exploraciones complementarias cruentas, se puede escoger, para hacer la prediccin, aquella variable que sea ms barata, ms temprana en el tiempo, ms fiable (en el sentido de obtener valores ms similares en sucesivas determinaciones) e incluso ms fcil de interpretar. En todas estas propiedades, la edad de la madre antecede a la del padre. Ejemplo 2: presin sistlica o diastlica? Otra pregunta habitual implica a las presiones arteriales sistlica y diastlica: para determinar la importancia relativa de las presiones arteriales sistlica y diastlica en la prediccin del riesgo de ictus, en el Copenhagen City Heart Study12 las incluyeron en modelos de regresin mltiple. Ambas estuvieron significativamente relacionadas con un incremento del riesgo de ictus. Sin embargo, al introducirse simultneamente en el modelo, el patrn de relacin entre la presin sistlica y el riesgo de ictus permaneci estable, mientras que el de la diastlica se diluy13. Los investigadores suelen introducir ambas variables en el modelo, y su elevada colinealidad conduce a estimaciones inestables de los parmetros. En unas investigaciones, el modelo estadstico selecciona una de ellas, y en otras investigaciones, la otra. La discusin est servida. Est fallando el mtodo estadstico o la formulacin de la pregunta? Ahora el objetivo pretende ir ms all de la prediccin; se pretende tambin modificar el riesgo de ictus interviniendo sobre la presin arterial. Ciertamente, se pretende intervenir sobre la presin arterial para disminuir el riesgo de ictus, pero se puede reducir la presin arterial sistlica (PAS) dejando fija la diastlica (PAD)? O recprocamente, se puede bajar la PAD dejando fija la PAS? El mismo original12 presenta datos de 10 ensayos clnicos sobre frmacos antihipertensivos, todos ellos aleatorios. En la tabla 3 y la figura 3 se indica el descenso alcanzado por cada uno de ellos en ambas presiones alteriales. Puede verse claramente que, mientras se est bajando una de las presiones, no se deja fija la otra. Por tanto, en ausencia de un tratamiento que permita modificar slo una de ellas sin alterar la otra, introducir ambas variables en un modelo de regresin mltiple carece de sentido. No estamos defendiendo que se deba renunciar a recoger toda esta informacin, sino que debe formularse la pregunta en trminos ms apropiados. Si a un clnico le preocupa la presin arterial en general, el consejo de Cox14 es que estudie el promedio de ambas, conocido como presin arterial media, ya que recoge toda la informacin sobre la cantidad de presin contenida en ambas variables. Y si lo que le preocupa al clnico es que pueda variar una presin mientras la otra permanece fija, el consejo del estadstico ser que emplee la diferencia entre ambas presiones. Entre los argumentos favorables destaca la casi independencia entre estas nuevas variables, con lo que se solucionan los problemas derivados de la alta correlacin que tienen la sistlica y la diastlica. Tercera clave: tienen las variables significado independiente? As pues, si las variables que se introducen guardan entre s una elevada correlacin o colinealidad, es difcil creer que se pueda modificar una de ellas dejando fijas las dems. Para solucionar tanto los problemas prcticos sobre el significado de los coeficientes como los tericos sobre el incremento de la variancia de la estimacin, se debe reducir la dimensin del problema, bien eliminando alguna de las variables, bien definiendo una combinacin que retenga la in-

25

15

5 10 20 30

r = 0,973 40

Fig. 3. Correlacin del descenso de la presin arterial sistlica y diastlica (ambas en mmHg) en 10 ensayos clnicos12.

formacin relevante. Se ha comentado el ejemplo de la presin arterial media y de la presin arterial diferencial. Otro ejemplo, muy similar al del nmero de linfocitos CD4, son las determinaciones mltiples en farmacocintica para conocer la concentracin plasmtica de sucesivos momentos a lo largo del tiempo. El investigador no comunica los valores observados en cada determinacin, sino que los transforma en nuevas variables con significados ms interesantes, ya que le informan de la velocidad de absorcin, de la velocidad de eliminacin o de la cantidad de frmaco en la sangre. Existen diferentes tcnicas estadsticas para proponer estas nuevas variables mediante combinacin de las variables originales15,16, que deben siempre ser complementadas con el criterio clnico que les proporcione significado17. Y por supuesto, lo comentado aqu sobre el ajuste durante el anlisis tambin se aplica al ajuste durante el diseo: en un estudio apareado de casos y controles, qu variables se deben aparear y cules no? Si se est estudiando el efecto del hbito tabquico, debe dejarse fijo el consumo de alcohol? La respuesta depende de si se dispone de una intervencin sanitaria que permita disminuir un hbito sin modificar el otro. Cuarta clave: el estudio es exploratorio o confirmatorio? La cuarta clave hace referencia a la perspectiva cientfica desde la que se analizan los datos: en un plano puramente exploratorio, generador de ideas, o bien en un plano confirmatorio. Es bien sabido que la evidencia que aporta una nica muestra puede ser utilizada bien para construir una teora o bien para contrastarla, pero no para ambos propsitos11. Desde una perspectiva exploratoria es lcito analizar los datos con cualquier herramienta de anlisis e incluyendo cualquier tipo de variables. Todo vale: se torturan los datos en busca de nuevas ideas o de nuevas hiptesis. En cambio, desde una perspectiva confirmatoria, se pretende sancionar una hiptesis previa, bien sea ratificndola y elevndola al rango de teora, bien sea rechazndola y abandonndola. Ahora, la hiptesis previa debe estar perfectamente documentada en el protocolo del estudio, donde se justifica todo el diseo y todo el anlisis. Como anlisis TABLA 3 Reducciones medias de la presin arterial sistlica (PAS) y diastlica (PAD) en 10 ensayos clnicos aleatorizados de antihipertensivos12
Reduccin media (mmHg)

PAS PAD

43 27

31 19

25 12

18 10

20 8

18 11

12 4

20 8

14 7

10 4,5

Med Clin (Barc) 2002;119(6):230-237

235

Documento descargado de http://http://zl.elsevier.es el 17/10/2013. Copia para uso personal, se prohbe la transmisin de este documento por cualquier medio o formato.

COBO E. ANLISIS MULTIVARIANTE EN INVESTIGACIN BIOMDICA: CRITERIOS PARA LA INCLUSIN DE VARIABLES

Muestra A

Conocimiento previo Anlisis exploratorio

Muestra B Hiptesis Anlisis confirmatorio

casos. Y si lo que se quiere es realizar una intervencin, debe tenerse muy claro qu se puede modificar (X) y en qu condiciones (Z). Si una variable no puede variar a nivel fijo de otra, no tiene sentido introducir ambas en el modelo de regresin. Puede pensarse en una transformacin de ambas, como se hace con las determinaciones de los valores farmacocinticos. Con ello no pretendo afirmar que establecer una nueva dimensin sea fcil, dado que implica un cambio del punto de vista. Y es ms arriesgado, no hay duda. Sin embargo, la autntica investigacin es aquella que puede resultar en un cambio de paradigma, en un cambio de variables con las que conceptualizar el entorno. Nada ms lejos del popular ponlas todas y que elija el programa. Agradecimientos

Teora
Fig. 4. Objetivo del anlisis estadstico segn la existencia previa de hiptesis.

estadstico, ahora slo vale lo especificado en el protocolo. Cualquier desviacin le hace perder su carcter confirmatorio y lo convierte en exploratorio. Para recordar la diferencia entre ambas perspectivas, podemos decir que en la exploratoria el modelo se ajusta a los datos (qu modelo, ms simple, se ajusta mejor a estos datos?), mientras que en la confirmatoria los datos deben ajustar el modelo (estos datos, confirman o rechazan el modelo previo?). En la figura 4 se esquematiza el momento del conocimiento cientfico en el que se emplea cada perspectiva de anlisis. Conclusin Se han comentado 4 claves que pretenden ayudar a definir las variables que se introducirn en el modelo. En resumen, primera clave: se pretende modificar el valor de una variable mediante una intervencin, o bien basta con predecir el valor de esta variable para poder anticipar otras medidas?; segunda clave: especialmente en el caso de una intervencin, qu papel desempea cada variable en el anlisis?, sobre qu variables se desea realizar la intervencin?, cules representan simplemente atributos previos que definen las condiciones de la investigacin?; tercera clave: hasta qu punto las variables introducidas en el modelo tienen significado independiente?, y cuarta clave: si se pretende que las conclusiones tengan la credibilidad de un estudio confirmatorio, el anlisis debe seguir fielmente lo especificado en el protocolo. En la tabla 4 se pretende resumir estas recomendaciones. Si se desea predecir, eljanse aquellas variables que permitan realizar ms cmodamente esta caracterizacin previa de los TABLA 4 Cuatro claves para la inclusin de variables
1. Objetivo del estudio 2. Papel de las variables Respuesta Y: variable cuyo valor se desea Independientes: variables que

Debo agradecer a la Direccin de Docencia del Hospital Clnic de Barcelona su invitacin para dar esta charla y a tres instituciones que en los dos aos previos me permitieron ir depurndola: el Institut Municipal de la Salut de Barcelona, el Servei dEstadstica de la Universitat Autnoma de Barcelona y la Fundaci de Lluita contra la sida, del Hospital Universitari Germans Trias i Pujol. Entre las personas que con generosidad me han aportado sus crticas, quiero destacar a los doctores Francesc Cardellach, Llus Jover, Guadalupe Gmez y Jos Antonio Gonzlez. Los Dres. Alejandro de la Sierra e Ilonka Zsolt me proporcionaron la bibliografa sobre los datos acerca de la presin arterial. Los datos sobre los linfocitos CD4 provienen del Dr. Bonaventura Clotet. La idea de preparar este tema surgi a raiz de una pregunta de la Dra. Carme Borrell.

Dr. Josep M. Grau: Qu estudios son mejores: los experimentales o los observacionales? Dr. Erik Cobo: Clsicamente se ha considerado el ensayo clnico como el patrn oro en investigacin. De todas maneras, hay metaanlisis18-20 que ofrecen resultados similares a los estudios experimentales y observacionales. Sin embargo, quiero resaltar tres diferencias entre ambos; en primer lugar, la necesidad de un protocolo en los estudios experimentales, con una hiptesis previa perfectamente especificada, garantiza el carcter confirmatorio de las conclusiones; en segundo lugar, los estudios experimentales suelen acompaarse de un diseo depurado que controla, mediante el ajuste, las terceras variables conocidas, y, por ltimo, que adems de estas variables conocidas, los diseos experimentales tambin permiten controlar, mediante la asignacin aleatoria, las terceras variables desconocidas. De estas tres ventajas, la nica que es inherente a la experimentacin es la tercera. Si se acepta que las variables desconocidas puedan tener menor relevancia, un estudio observacional con un buen protocolo y un buen diseo puede y debe ser muy informativo.

Prediccin Disponer de un modelo predictivo ... Anticipar ... Se utilizan para realizar la prediccin

Intervencin Interpretar los coeficientes para estimar el efecto de la intervencin ... Modificar ... Se pretende intervenir: X ... Se desea controlar (Z: atributos, condiciones, covariantes relacionadas con la respuesta Y

3.

Son realmente independientes? (Colinealidad) Perspectiva exploratoria o confirmatoria

Reduzca la dimensin del problema Use variables que tengan significado independiente Use variables tempranas, baratas, fiables Condicione slo por variables previas Busque siempre la reproducibilidad de los resultados Si el estudio es confirmatorio, siga fielmente el protocolo Ratifique la capacidad de prediccin en una nueva muestra Complemente con criterios de Hill si no puede asignar X

4.

236

Med Clin (Barc) 2002;119(6):230-237

Documento descargado de http://http://zl.elsevier.es el 17/10/2013. Copia para uso personal, se prohbe la transmisin de este documento por cualquier medio o formato.

COBO E. ANLISIS MULTIVARIANTE EN INVESTIGACIN BIOMDICA: CRITERIOS PARA LA INCLUSIN DE VARIABLES

Dr. Emili Ros: Existen muchos programas de estadstica a disposicin de los investigadores y los resultados que proporcionan no siempre son idnticos: cul aconsejara? En segundo lugar, cuando se construye un modelo estadstico, el hecho de introducir o eliminar una variable con frecuencia cambia significativamente los resultados: qu tipo de ajuste sera el aconsejado? Dr. E. Cobo: Programas, ciertamente, hay muchos. Unos son mejores en algunos aspectos y otros en otros. Los diferentes resultados entre ellos suelen deberse a matices muy especficos que, por cuestiones comerciales, tan slo se detallan en manuales tcnicos. Por ello, mi consejo es solicitar ayuda a un experto en metodologa estadstica, que podr aconsejar y orientar en cada caso particular. En cuanto al tipo de ajuste, lo mejor es especificar claramente las variables clnicamente relevantes en la fase de diseo. De esta manera, se puede hablar de anlisis confirmatorio. De lo contrario, lo que se descubra en la fase de anlisis tendr slo un valor tentativo, exploratorio. Dr. Esteban Poch: Cuando se dispone de muchas variables como, por ejemplo, factores de riesgo de una enfermedad, qu es mejor, introducir en el modelo nicamente las variables que son significativas en el anlisis bivariante o, por el contrario, introducirlas todas a la vez y que el programa estadstico seleccione las ms significativas? Dr. E. Cobo: Efectivamente, una prctica habitual es introducir en el modelo las variables que han resultado previamente significativas. Esto sera perfectamente correcto en un estudio exploratorio, que terminara proponiendo hiptesis que deberan ser ratificadas en estudios posteriores. Aun en esta situacin, conviene recordar el ejemplo de los linfocitos CD4. Todas son significativas a nivel bivariante, pero al introducirlas todas surgen los problemas ya comentados, que deberan resolverse con un cambio o una seleccin previa de las variables. Por otro lado, si la preocupacin es controlar las variables que son posibles confusoras, quiero insistir en que en la fase de diseo deberan identificarse en el protocolo las variables relevantes por las que se desea ajustar; stas son las nicas que deberan analizarse y las nicas que deberan quedar en el modelo. Si acaso, lo que tiene poder de conviccin es que, tanto si se introduce como si no se introduce una variable en el modelo, el efecto estimado de la causa en estudio cambia poco. Cabe recordar tambin que si se controla una variable confusora en la fase de diseo (p. ej., mediante los criterios de inclusin) se disminuye la necesidad de ajustes posteriores. Dr. Alejandro de la Sierra: Actuando as, con frecuencia las condiciones para incluir a un paciente son tan estrictas que los estudios no se pueden llevar a cabo por falta de pacientes. Dr. E. Cobo: Efectivamente, unos criterios de inclusin muy estrictos pueden comprometer la seleccin de pacientes para el ensayo. Deben equilibrarse con cuidado los procedimientos de ajuste que se emplean. Lo que debe hacerse en estas circunstancias es plantear al estadstico la posibilidad de emplear tcnicas que permitan equilibrar los grupos sin necesidad de recurrir a criterios de inclusin ms restrictivos. Existe un procedimiento llamado minimizacin21 que pretende obtener el mximo equilibrio entre los grupos en comparacin. Dr. Josep Ters: Un problema que hay que tener en cuenta es que los estudios muy controlados en la fase de diseo con frecuencia no son representativos de la poblacin general a la que se deber aplicar el resultado.

Dr. E. Cobo: Es cierto, aunque en mi opinin, y ste es un tema realmente opinable, es ms importante tener una idea clara de lo que en realidad ocurre, aunque sea en una poblacin muy restringida, que tener una idea confusa de lo que quiz pueda ocurrir en una poblacin ms general. Luego ya se ver si estos resultados obtenidos en la pequea poblacin son generalizables, pero al menos se habr logrado dar un primer paso. Por otro lado, existen diseos muy interesantes que siguen tambin a los pacientes que rehsan la distribucin aleatoria y permiten comparar si el efecto observado en los pacientes que la aceptan es el mismo que el observado en los pacientes que la declinan. Si me lo permiten, intentar contestar a una pregunta que se plantea con relativa frecuencia: el ajuste final que proporcionan los modelos de regresin mltiple puede sustituir al engorroso ajuste previo en la fase de diseo? En mi opinin, no hay que cerrar la puerta al mensajero y no debe considerarse ms fcil el ajuste futuro que el presente. Quiz el mtodo de control pueda adoptarse ms adelante, pero no la decisin sobre qu variables ajustar y cmo hacerlo. Atrasar esta decisin resta credibilidad y potencia al estudio; cuanto antes se consideren las posibles dificultades, de mayor margen de maniobra se dispondr para solucionarlas de la forma ms eficiente posible.

REFERENCIAS BIBLIOGRFICAS 1. Cobo E, Buekens P. Necesidad y limitaciones del ajuste. Med Clin (Barc) 1990;95:702-8. 2. Irala J, Martnez-Gonzlez MA, Guillm-Grima F. Qu es una variable de confusin? Med Clin (Barc) 2001;117:377-85. 3. Kleinbaum D, Kupper L, Morgenstern H. Epidemiologic research: principles and quantitative methods. New York: Van Nostrand, 1982. 4. Cobo E. Necesidad y limitaciones de la asignacin aleatoria. Med Clin (Barc) 2000;111:73-7. 5. Draper N, Smith H. Applied regression analysis. 3rd ed. New York: Wiley, 1998. 6. Kleinbaum D. Logistic regression: a self-learning text. New York: Springer-Verlag, 1996. 7. Kleinbaum D. Survival analysis: a self-learning text. New York: SpringerVerlag,1996. 8. Pichini S, Puig C, Garca-Algar O, Pacifini R, Figueroa C, Vall O, et al. Efectos neonatales del hbito tabquico durante el embarazo y determinantes sociodemogrficos en Barcelona. Med Clin (Barc) 2002;118:53-6. 9. Martn MT, Codina C, Tuset M, Carn X, Nogu S, Ribas J. Problemas relacionados con la medicacin como causa del ingreso hospitalario. Med Clin (Barc) 2002;118:205-10. 10. Real J, Valls M, Ascaso P, Basanta ML, Viguer A, Ascaso J, et al. Factores asociados con el ingreso hospitalario de pacientes diabticos con ulceracin en el pie. Med Clin (Barc) 2001;117:641-4 11. Chalmers AF. What is this thing called science? 3rd ed. Buckingham: Open University Press, 1999. 12. Nielsen WB, Lindestrom E, Vestbo J, Jensen GB. Is diastolyc hipertensin an independent risk factor for stroke in the presence of normal systolic blood pressure in the middles-aged and elderly? Am J Hypertens 1997;10:634-9. 13. He J, Whelton PK. Elevated bood pressure as a risk factor for cardiovascular and renal disease. Hypertension 1999;17(Suppl 2):7-13. 14. Cox DR. Causality: some statistical aspects, J R Statist Soc (A) 1992; 115:291-301. 15. Lebart L, Morineau A, Piron M. Statistique exploratoire multidimensionnelle. Paris: Dunnod, 1995. 16. Aluja T, Morineau A, Aprender de los datos: el anlisis de componentes principales. Barcelona: EUB, 1999. 17. Mathews JNS, Altman DG, Campbell MJ, Royston P. Analysis of serial measurements in medical research. BMJ 1990;300:230-5. 18. Britton A, McPherson K, McKee M, Sanderson C, Black N, Bain C. Choosing between randomised and non-randomised studies: a systematic review. Health Technol Assessment 1998;2:I-iv,1-124. 19. Benson K, Hartz AJ. A comparison of observational studies and randomized, controlled trials. N Engl J Med 2000;342:1878-86. 20. Concato J, Shah N, Horwitx RI. Randomized controlled trials, observational studies, and the hierarchy of research designs. N Engl J Med 2000; 342:1887-92. 21. Kenjo Y, Antoku Y, Akazawa K, Handa E, Kinukawa N, Nose Y. An easily customized, random allocation system using the minimization method for multiInstitutional clinical trials. Comput Meth Program Biomed 2000; 62:45-9.

Med Clin (Barc) 2002;119(6):230-237

237