Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
El paradigma de la verosimilitud
por
JESS BESCOS SINDE
Universidad de Castilla-La Mancha
RESUMEN
El uso de las probabilidades de error de los procedimientos estadsticos de contrastacin como medida de la evidencia en favor o en
contra de las hiptesis sometidas a prueba en un contraste es, cuando menos, equvoco.
El enfoque de Neyman-Pearson a la contrastacin de hiptesis
responde a la necesidad de seguir un curso de accin tras la realizacin de un contraste (aceptar o no la hiptesis considerada), con lo
que excluye la posibilidad de que el soporte de los datos para evaluar
la idoneidad de hiptesis alternativas sea insuficiente.
Este artculo trata de destacar que la medida de evidencia adecuada para evaluar el soporte relativo de hiptesis rivales es la funcin de verosimilitud (o la razn de verosimilitud), entendida en los
trminos originalmente acuados por Fisher, quien defini el cociente
de verosimilitud como la preferencia relativa de los datos por las hiptesis consideradas en cada situacin concreta.
Adems de cuestiones de tipo lgico, se presentan los resultados
de una simulacin sencilla que muestran como, bajo ciertos requisitos
expresados en trminos de preferencia relativa medida a travs de la
razn de verosimilitud, el mecanismo de contrastacin de Neyman-
113
114
ESTADSTICA ESPAOLA
1. INTRODUCCIN
En el corazn de la teora de Neyman-Pearson para la determinacin de un
contraste ptimo, se encuentra el concepto de evidencia estadstica que se defiende en este artculo: la recogida en la funcin de verosimilitud de la muestra. Sin
embargo, en las interpretaciones habituales de los contrastes de hiptesis, el
concepto de evidencia barajado se relaciona con las denominadas probabilidades
de los errores de tipo I y tipo II, o a travs de los denominados p-valores cuya
utilizacin ha sido cuestionada repetidamente en la literatura estadstica (Lindsey
(1999) y Nelder (1999)).
En el presente artculo se sealan las principales inconsistencias lgicas de las
interpretaciones usuales del enfoque NP, y se pergean las lneas principales del
paradigma de la estadstica paramtrica que es consecuencia lgica de aceptar el
principio de verosimilitud. Tal aceptacin se produce de manera implcita cuando
los experimentos se disean en atencin al concepto de desvianza, o cuando se
contrastan hiptesis recurriendo a la razn de verosimilitud o sus equivalentes
asintticos: multiplicadores de Lagrange o test de Wald. Por ello parece adecuado
revisar los fundamentos de este paradigma, denominado de la verosimilitud, tratando de mejorar la comprensin de los mtodos prcticos derivados del mismo.
El articulo est estructurado en 5 apartados.
En el primero se presenta la notacin a emplear y se repasan las lneas bsicas
del enfoque de Neyman-Pearson de la contrastacin de hiptesis.
En el segundo apartado y a travs de un ejemplo sencillo se explica el papel de
la funcin de verosimilitud en la contrastacin de hiptesis, y se refiere el denominado Principio de Verosmilitud para, a continuacin discutir tericamente cmo tal
principio puede resultar incompatible con la interpretacin habitual de la contrastacin en el paradigma Neman-Pearson.
El tercer apartado se destina a proporcionar criterios para la interpretacin, a
efectos prcticos, del diferente sustento evidencial para las hiptesis en consideracin en un contraste, cuando tal sustento se expresa como cociente de verosimilitudes, y no como probabilidades de error del test.
114
EL PARADIGMA DE LA VEROSIMILITUD
115
El cuarto apartado presenta los resultados de una simulacin que ilustra las
consideraciones tericas de los apartados anteriores.
Por ltimo, el quinto apartado se destina a las principales conclusiones y a exponer las lneas que garantizan la utilidad del principio de verosimilitud a la hora de
contrastar hiptesis.
115
116
ESTADSTICA ESPAOLA
errneas. Pero tal y como seala Birnbaum (1962), adems del problema de tomar
una decisin acertada, est el problema inferencial de cmo debe ser la interpretacin de las observaciones en trminos de evidencia a favor de las hiptesis en
juego.
A pesar de que el enfoque original de Neyman-Pearson se centra exclusivamente en el problema decisorio, los desarrollos ulteriores y dominantes en la literatura estadstica han abordado el problema inferencial otorgando a las probabilidades de error del contraste un significado en trminos de evidencia relativa. As es
usual en la prctica estadstica entender que si se han predeterminado probabilidades de error (, ) suficientemente pequeas digamos (0.05, 0.05)-, y las observaciones ulteriores conducen al rechazo de H1 a favor de H2 , tal rechazo se realiza
sobre una supuesta evidencia fuerte o moderadamente fuerte en tal sentido,
mientras que si dichas probabilidades de error toman los valores (0.1;0.2), la evidencia con la que se rechazara H1 se considera moderada, sino dbil.
Otra interpretacin usual en la literatura consiste en atender a los valores de y
observados (o slo al observado denominado p-valor del contraste), interpretndolos en idntico sentido al sealado anteriormente: valores bajos para ambos
(,) significaran fuerte sustento evidencial del resultado del contraste.
Pues bien, uno de los propsitos de este artculo es poner de relieve que tal interpretacin es lgicamente inconsistente, lo que no constituye una novedad: Pratt
(1961 y 1977), Birnbaum (1962, 1970, 1977), Royall (1997).
En primer lugar, la forma de la regin crtica viene dada por la desigualdad,
{p1(x) / p(2(x) < k}
[1]
116
EL PARADIGMA DE LA VEROSIMILITUD
117
[2]
y si hay otro ms potente que el obtenido como consecuencia de aplicar (1) y (2),
necesariamente ha de corresponder a otra probabilidad .
En definitiva, cul es el concepto de evidencia implcitamente manejado en el
anterior razonamiento?. Es decir, qu se emplea como portador de la informacin
de los datos para dilucidar entre las diferentes hiptesis? Es claro que la funcin de
verosimilitud.
1
1
=
maxl(x, p) 30 12 12 12 18
1
{p}
12 30 30
p12 (1 p)18
12 12
12
1
30
30
18
117
118
ESTADSTICA ESPAOLA
118
EL PARADIGMA DE LA VEROSIMILITUD
119
I( ) = : Lnl(x, ) Lnl x, Lnk
[3]
119
120
ESTADSTICA ESPAOLA
modelo entre los disponibles para que nos ayude a comprender cmo pueden ser
generados los datos
Admitido este axioma, es relativamente fcil comprender por qu la interpretacin de las probabilidades de error de un contraste como medida de la evidencia
pueden entrar en contradiccin con el principio de verosimilitud y, consecuentemente, no debe otorgarse a tales probabiliades un significado evidencial.
En primer lugar, puesto que en general, es la probabilidad en la cola de la distribucin bajo H2, resulta que cuanto ms potente sea el test (menor ) menos
compatibles resultaran los datos con H2 y, por tanto, ms dbil ser la evidencia
relativa de H2 contra H1, puesto que la verosimilitud es proporcional a la probabilidad de las observaciones bajo cada una de las hiptesis. Tomemos un ejemplo de
Pratt (1977, pag 65) : si x es N(0,1) bajo H1 y N(,1) bajo H2 , y x=1.645 (=0.05),
entonces H2 es ms plausible si =2 (=0.36) que si =4 (=0.009).
Adems, dado que la relacin entre las probabilidades de error observadas de
un contraste y la razn de verosimilitud es (Pratt, 1977):
1 1
(x )
120
121
EL PARADIGMA DE LA VEROSIMILITUD
()
()
Evidencia
0.37 - 1
Pequea
0.05 - 0.37
Positiva
0.007-0.05
Fuerte
<0.007
Muy Fuerte
Por su parte, Royall (1996) define una escala de soporte evidencial por comparacin a un experimento que denomina cannico y que resumimos a continuacin.
Supongamos que se tienen dos hiptesis sobre las proporciones de la composicin
de colores de las bolas que integran una urna. Las dos hiptesis son: todas blancas y la mitad blancas, respectivamente. Para dilucidar entre ellas se extraen
bolas de la urna con reposicin, removiendo antes de cada extraccin.
(5) Kass y Raftery (1995) Bayes factors. Journal of the American Statistical Association,
90, 773-795
121
122
ESTADSTICA ESPAOLA
Supongamos que se extrae una bola que resulta ser blanca, a continuacin otra
blanca. Si en la tercera extraccin la bola resulta blanca, se podr caracterizar tal
situacin como evidencia bastante fuerte en favor de todas blancas frente a la
mitad blancas. La razn de verosimilitud es 2 3 = 8 .
A partir de este ejemplo construye la tabla siguiente razonando de este modo: si
observamos b blancas, la razn de verosimilitud en favor de todas blancas sobre
la mitad blancas es igual a 1 (12 ) , o 2b . Por tanto una verosimilitud relativa de k
b
10
20
50
100
1000
3.3
4.3
5.6
6.6
10.0
5. UN EJEMPLO SIMULADO
Para ilustrar convenientemente la incoherencia del paradigma NP con la interpretacin de la evidencia en trminos de la razn de verosimilitud -corazn de dicho
paradigma- hemos elaborado el siguiente ejemplo. Tomamos observaciones procedentes de una poblacin N(,2), donde la media es desconocida considerando dos
hiptesis alternativas para la varianza, H1: 2=16 y H2 : 2=49. Se consideran
muestras de tamao 20 y la regla de contraste (regin crtica) viene determinada
por
C = X :
2
_
x x > 482,28
[4]
122
EL PARADIGMA DE LA VEROSIMILITUD
123
n 1 2
Ln
2 s 2
s 2
1+
Se aplica esta funcin, particularizndola para las dos hiptesis sobre la varianza, a cada una de las muestras, y se obtiene la razn de verosimilitud p2(x)/p1(1x),
como (x) = Exp[L(22)-L(21)].
Elegimos considerar el valor 8 de la razn de verosimilitud, como nivel de evidencia bastante fuerte -tres extracciones consecutivas de bolas blancas en el
experimento cannico de Royall- de modo que si >8 se considera evidencia fuerte
en favor de H2; si <1/8 se considera evidencia fuerte en favor de H1; y si toma
valores intermedios, se considera evidencia dbil para dilucidar entre las dos
hiptesis.
A cada una de las muestras se les aplic la regla de contrastacin derivada del
paradigma NP, tal y como se formul en (4).
La tabla de la pgina siguiente resume los principales resultados de esta simulacin y muestra como, bajo el concepto de evidencia subyacente en el cociente de
verosimilitud, las decisiones derivadas de la aplicacin de la regla NP, son incoherentes. En concreto, lo ms relevante es que muchas decisiones-NP se toman con
un nivel de evidencia dbil. Esto es especialmente importante si consideramos
que a la hora de contrastar hiptesis no sabemos, a diferencia de este ejemplo,
cul de ellas es cierta, si es que alguna lo es. Y que el verdadero problema consiste
en dilucidar qu hiptesis es relativamente ms compatible con la observacin.
(6) Tomar la media de la poblacin como 20, se ha hecho por conveniencia, para poder
generar las muestras. De hecho para realizar las inferencias a partir de la funcin de
verosimilitud, y fijar las probabilidades de error de tipo I y II, se ha operado considerando
desconocida.
(7) La idoneidad de esta eleccin descansa en que esta funcin de verosimilitud es robusta para distintos valores de la media . Tsou (1995)
123
124
ESTADSTICA ESPAOLA
Rechazo H1
segn NP
Evidencia fuerte
errnea en contra
de H1
Evidencia fuerte a
favor de H1
Evidencia
Dbil
1
2
3
4
5
6
7
8
9
10
5
2
4
3
5
4
6
7
4
5
1
0
0
0
0
0
0
4
1
2
85
93
88
84
79
90
84
81
87
87
14
7
12
16
21
10
16
15
12
11
Total
Porcentaje
45
0,045
8
0,008
858
0,858
134
0,134
124
125
EL PARADIGMA DE LA VEROSIMILITUD
Evidencia fuerte en
contra de H1
Evidencia fuerte
errnea en contra
de H2
Evidencia
Dbil
1
2
3
4
5
6
7
8
9
10
96
95
94
96
98
97
96
97
95
100
88
90
84
87
91
88
84
91
86
93
2
3
3
3
1
1
1
1
2
0
10
7
13
10
8
11
15
8
12
7
Total
Porcentaje
964
0,964
882
0.882
17
0,017
101
0,101
6. CONCLUSIONES
Como conclusines principal podemos sealar que la supuesta base evidencial
resultante de trabajar con una regla cuyo comportamiento medio es ptimo segn
cierto criterio (probabilidades de error en el paradigma NP) no es vlida. Si bien en
la simulacin anterior, se observa que al operar con probabilidades de error pequeas, es muy infrecuente que se presenten situaciones con evidencia fuerte errnea" - frecuencia del 8 por mil bajo H1 y del 1,7% bajo H2 - , la frecuencia de aparicin de evidencia dbil es muy superior: por encima del 10% bajo las dos hiptesis. Por lo tanto, de la mera aplicacin de la regla de decisin dictoma (NP) no se
puede garantizar, ni siquiera en trminos de frecuencia aceptable a largo plazo en
sucesivas repeticiones del muestreo, que la observacin soporte fuertemente tal
decisin.
Si se quiere hacer compatibles ambas visiones es necesario enfocar el problema precisamente en el orden inverso al empleado por Neyman-Pearson. Primero
determnese qu nivel de evidencia -en trminos del cociente de verosimilitud- se
desea para discernir entre diferentes hiptesis y, luego podremos, eventualmente y
siempre que interese, determinar las probabilidades de error.
Ahora bien, si empleamos la razn de verosimilitud como medida de la evidencia, sera tranquilizador, a la hora de disear un experimento, estar en condiciones
125
126
ESTADSTICA ESPAOLA
de determinar el tamao muestral necesario para discernir entre hiptesis verdaderas e hiptesis falsas con cualquier nivel de exigencia (en trminos de la razn
de verosimilitud) y con casi seguridad. En otras palabras, supongamos que X se
distribuye de acuerdo con pB, (una hiptesis que consideramos cierta) y que pA es
otra distribucin de probabilidad (la hiptesis falsa); dada una constante k>0
podemos afirmar:
1
( )
k
Pr p A X
pB (X) k
[5]
p (X) p (X)
B
k 1k
[6]
(xi ) pB (xi )
converge a cero
i=1
126
127
EL PARADIGMA DE LA VEROSIMILITUD
REFERENCIAS
BIRNBAUM, A. (1962). On the Foundations of Statistical Inference, Journal of the
American Statistical Association, 57, 269-326
BIRNBAUM, A. (1970). Statistical Methods in Scientific Inference (Letter), Nature,
225,1033
BIRNBAUM, A. (1977). The Neyman-Pearson Theory as Decision Theory, and as
Inference Theory; with a Criticism of the Lindley-Savage argument for Bayesian
Theory, Synthese 36, 19-49
EDWARDS, A.W. (1972). Likelihood. Cambridge University Press.
FISHER, R.A. (1973). Statistical Methods and Scientific Inference, Hafner Press,
London
HUDSON. D.J. (1971). Interval Estimation from the Likelihood Function, Journal of
the Royal Statistical Society, B33, 256-262
LINDSEY, J.K. (1996). Parametric Statistical Inference, Clarendon Press, Oxford
LINDSEY, J.K. (1999). Statistical Heresies. The Statistician 48, 1-40
NELDER, J.A. (1999). Statistics for the Milenium. The Statistician 48, 257-269
PRATT, J.W. (1961). Review of Testing Statistical Hypotheses by E.L Lehmann,
Journal of the American Statistical Association, 56, 163-167
PRATT, J.W. (1977). Decisions as statistical evidence and Birnbaums confidence
concept. Synthese 36, 59-69
ROBBINS, H. (1970). Statistical Methods related to the law of the iterated logaritmh.
Annals of mathematical Statistics, 41, 1397-1409
127
128
ESTADSTICA ESPAOLA
LIKELIHOOD PARADIGM
SUMMARY
The use of error probabilities of statistical hypothesis testing procedures as a measure of the strengh of evidence is, at least, equivocal.
The Neyman-Pearson approach is concerned with using the observations to make a choice between the hypothesis under consideration, and the evidencial interpretations of the data fall outside the scope of this theory.
This paper remarks that the concept of evidence is embodied in the
law of likelihood, as it was originally conceived by Fisher: datas preference function over the parametric space.
In addition to logical considerations, this paper includes the results
of a simple simulation showing that, under certain requierements expressed in terms of relative preference measured through the likelihood ratio between rival hypothesis, the Neyman Pearsons device fails
due to the fact that it supports hypothesis that are weakely based on
evidence.
128