ESTADÍSTICA BAYESIANA

Jennyfer Portilla Yela

Correo:
Jennyfer.portilla@correounivalle.edu.co

Universidad del Valle

Santiago de Cali
2019
 Distribución a priori no informativa
Se suele decir que la razón para usar distribuciones a priori no informativas es “Dejar que los
datos hablen por sí mismos", de modo que las inferencias no se vean afectadas por
información externa a la información actual (Datos).

Una idea es la distribución a priori débilmente informativa, que contiene cierta información,
suficiente para "regularizar" la distribución posteriori, es decir, para mantenerla
aproximadamente dentro de límites razonables, pero sin intentar capturar completamente el
conocimiento científico sobre el parámetro subyacente.

Existen varias métodos de construcción de distribuciones a priori no informativas:

*Método de Bayes-Laplace (Principio de razón insuficiente).

*Método de Jeffreys.
 Método de Bayes-Laplace (Principio de razón insuficiente)
Este principio dice que sino hay información para diferenciar entre los diferentes valores
del parámetro 𝛉, se debe dar la misma probabilidad de ocurrencia a todos los valores. Este
principio implica usar como distribución a priori una distribución Uniforme para 𝜃. Así:

1
1. Si Θ = 𝜃1 , 𝜃2 , … , 𝜃𝑛 entonces 𝜋 𝜃 = .
𝑛

1
2. Si 𝜃 ∈ 𝑎, 𝑏 entonces 𝜋 𝜃 = .
𝑏−𝑎

3. Si Θ = 𝜃1 , 𝜃2 , … entonces 𝜋 𝜃 ∝ 1.

4. Si 𝜃 ∈ −∞, ∞ entonces 𝜋 𝜃 ∝ 1.

Los casos 3 y 4 implican distribuciones a priori impropias. La distribución a priori impropia

no importa tanto, lo importante es que exista la distribución a posteriori y que sea propia.
 Método de Bayes-Laplace (Principio de razón insuficiente)
Ejemplo: Una moneda cargada se lanza n veces. Suponga que 𝑋𝑖 toma el valor de 1 si cae
por cara y 0 si cae por sello, en el i-ésimo lanzamiento. No se tiene ni idea que tan cargada
está la moneda, entonces se considera una distribución a priori Uniforme para 𝜃, de tal
manera que:
𝜃 ∈ 0,1 entonces 𝜋 𝜃 = 1

Sea t el número de caras en los n lanzamientos. Encuentre la distribución a posteriori para

𝜃 (De forma exacta).
 Método de Bayes-Laplace (Principio de razón insuficiente)
𝑛
𝑛−σ𝑛
𝐿 𝜃 𝑥1 , 𝑥2 , … , 𝑥𝑛 = 𝜃 σ𝑖=1 𝑥𝑖 1 − 𝜃 𝑖=1 𝑥𝑖

𝐿 𝜃 𝑥1 , 𝑥2 , … , 𝑥𝑛 = 𝜃 𝑡 1 − 𝜃 𝑛−𝑡

𝜃𝑡 1 − 𝜃 𝑛−𝑡
∗1 𝜃𝑡 1 − 𝜃 𝑛−𝑡
𝜋 𝜃 𝑥1 , 𝑥2 , … , 𝑥𝑛 = 1 = 1
‫׬‬0 𝜃 𝑡 1−𝜃 𝑛−𝑡 ∗ 1 𝑑𝜃 ‫׬‬0 𝜃 𝑡 1 − 𝜃 𝑛−𝑡 𝑑𝜃

Γ(𝑎 + 𝑏) 𝑎
𝜃 𝑡 1 − 𝜃 𝑛−𝑡
𝑓 𝑥 = 𝑥 1−𝑥 𝑏−1
0<𝑥<1 𝜋 𝜃 𝑥1 , 𝑥2 , … , 𝑥𝑛 =
Γ 𝑎 Γ(b) Γ 𝑡 + 1 Γ(𝑛 − 𝑡 + 1)
Γ(𝑡 + 1 + 𝑛 − 𝑡 + 1)
1
න 𝑓 𝑥 𝑑𝑥 = 1
0
1 Γ(𝑡 + 1 + 𝑛 − 𝑡 + 1) 𝑡 𝑛−𝑡
Γ(𝑎 + 𝑏) 𝜋 𝜃 𝑥1 , 𝑥2 , … , 𝑥𝑛 = 𝜃 1−𝜃
න 𝑥 𝑎−1 1 − 𝑥 𝑏−1
𝑑𝑥 = 1 Γ 𝑡 + 1 Γ(n − t + 1)
Γ 𝑎 Γ(b) 0

1
Γ 𝑎 Γ(𝑏)
න 𝑥 𝑎−1 1 − 𝑥 𝑏−1
𝑑𝑥 =
0 Γ(𝑎 + 𝑏)

Γ(𝑡 + 1 + 𝑛 − 𝑡 + 1) 𝑡+1 −1 𝑛−𝑡+1 −1

𝜋 𝜃 𝑥1 , 𝑥2 , … , 𝑥𝑛 = 𝜃 1−𝜃
Γ 𝑡 + 1 Γ(n − t + 1)

𝜃|𝑥1 , 𝑥2 , … , 𝑥𝑛 ∼ 𝐵𝑒𝑡𝑎 (𝑡 + 1, 𝑛 − 𝑡 + 1)
 Método de Bayes-Laplace (Principio de razón insuficiente)
El principal problema de emplear una distribución Uniforme como distribución a
priori no informativa es que la distribución Uniforme no es invariante bajo
reparametrizaciones, es decir, sino se cuenta con información sobre 𝜃 entonces
tampoco sobre 𝜙 = 𝑔(𝜃) (Una transformación uno a uno).

Ejemplo: Suponga que se quiere estimar 𝜃 (Proporción de archivos incompletos de

estudiantes de la Universidad del Valle), para 𝜃 no se tiene ninguna información.
Bajo el principio de razón insuficiente la distribución a priori para 𝜃 será:

𝜋 𝜃 = 1 𝜃 ∼ 𝑈𝑛𝑖𝑓𝑜𝑟𝑚𝑒(0,1)

Suponga ahora que más que estar interesado en 𝜃 directamente estamos interesados
𝜃
en una función uno a uno de 𝜃, digamos 𝜙 = log .
1−𝜃

Se supone que si nada sabemos sobre 𝜃 nada sabemos sobre 𝜙.

 Método de Bayes-Laplace (Principio de razón insuficiente)
Resultado: Sea 𝜙 = 𝑔(𝜃) una transformación de 𝜃 inyectiva y 𝜋 𝜃 es una distribución
uniforme entonces:
𝑑𝜃
𝜋 𝜙 =𝜋 𝜃 𝜙
𝑑𝜙
Entonces 𝜋 𝜙 debería ser la distribución a priori para 𝜙, la cual no necesariamente será
una distribución uniforme cuando 𝜋 𝜃 lo es.

𝜃
Retomando el ejemplo anterior, si 𝜙 = log 1−𝜃
y 𝜋 𝜃 = 1 entonces:

𝜃 𝑒𝜙
𝜙 = log
1−𝜃 𝜋 𝜙 =1
1 + 𝑒𝜙 2

𝜃
𝑒𝜙 = 𝑒𝜙
1−𝜃
𝜋 𝜙 = 𝜙 ∈ (−∞, ∞)
1 + 𝑒𝜙 2
𝑒𝜙
𝜃=
1 + 𝑒𝜙 𝜙 ∼ 𝑙𝑜𝑔𝑖𝑠𝑡𝑖𝑐𝑎 𝑒𝑠𝑡𝑎𝑛𝑑𝑎𝑟 (𝜇 = 0, 𝜎 2 = 1)
𝑑𝜃 𝑒𝜙 La distribución de 𝜙 no cumple el principio de razón insuficiente. La
=
𝑑𝜙 1 + 𝑒𝜙 2
ignorancia sobre 𝜃 no implica la ignorancia sobre 𝜙.
 Método de Jeffreys
La carencia de invarianza de la distribución a priori derivada del principio de la razón
insuficiente, ha conducido a la búsqueda de una distribución a priori no informativas, las
cuales sean invariantes ante transformaciones del parámetro, ya que por ejemplo, Jeffreys
dice: “Cualquier parametrización arbitraria del modelo debe de llevar a los mismos
resultados”. Se han dado muchas sugerencias para resolver este problema. Harold Jeffreys
desarrollo un método que cumple este principio basado en la medida de información de
Fisher.

Definición: Sea 𝑓 𝑥 𝜃 la densidad de X dado 𝜃. La información de Fisher es definida

como:

Forma de medir la cantidad de información que una

𝜕 2 log 𝑓 𝑥 𝜃
𝐼 𝜃 = −𝐸 variable aleatoria (Datos) tiene sobre un parámetro
𝜕𝜃 2 desconocido 𝜃.

Si 𝜽 es un vector de p parámetros entonces 𝐼 𝜽 será una matriz de dimensión pxp, así:

𝜕 2 log 𝑓 𝑥 𝜃
𝐼 𝜃 = −𝐸
𝜕𝜃𝑖 𝜕𝜃𝑗
 Método de Jeffreys
Entonces la distribución a priori no informativa de Jeffreys será:

• Si tenemos un parámetro:
𝜋(𝜃) ∝ 𝐼 𝜃

• Si tenemos varios parámetros:

𝜋(𝜽) ∝ det 𝐼 𝜽

En el caso de varios parámetros (Multiparamétricos) el método de Jeffreys suele ser muy

controversial, por lo cual a menudo en la práctica se asume independencia a priori entre
los parámetros de naturaleza diferente (Parámetros de localización y escala) y se usa el
método de Jeffreys para especificar distribuciones por separado.

La distribución a priori por el método de Jeffreys es impropia para muchos modelos de

probabilidad. Este método de construcción de distribuciones a priori es muy criticado ya
que la distribución a priori es obtenida a partir del modelo generador de datos y los datos
mismos.
 Método de Jeffreys
Ejemplo: Sea Y una variable aleatoria con función de distribución Bernoulli de parámetro
𝜃. Encuentre la distribución a priori de Jeffreys para 𝜃.

𝑌 ∼ 𝐵𝑒𝑟𝑛𝑜𝑢𝑙𝑙𝑖(𝜃)

𝑃 𝑌 = 𝑦 𝜃 = 𝜃𝑦 1 − 𝜃 1−𝑦

log 𝑃 𝑌 = 𝑦 𝜃 = log 𝜃 𝑦 1 − 𝜃 1−𝑦

) = log 𝜃 𝑦 + log 1 − 𝜃 1−𝑦

log 𝑃 𝑌 = 𝑦 𝜃 = 𝑦𝑙𝑜𝑔 𝜃 + 1 − 𝑦 log 1 − 𝜃

𝜕 log 𝑃 𝑌 = 𝑦 𝜃 𝑦 1−𝑦
= −
𝜕𝜃 𝜃 1−𝜃

𝜕 2 log 𝑃 𝑌 = 𝑦 𝜃 𝑦 1−𝑦
=− 2−
𝜕𝜃 2 𝜃 1−𝜃 2
 Método de Jeffreys
Ejemplo: Sea Y una variable aleatoria con función de distribución Bernoulli de parámetro
𝜃. Encuentre la distribución a priori de Jeffreys para 𝜃.

𝜕 2 log 𝑃 𝑌 = 𝑦 𝜃 𝑦 1−𝑦
=− −
𝜕𝜃 2 𝜃2 1−𝜃 2

𝜕 2 log 𝑃 𝑌 = 𝑦 𝜃 𝑦 1−𝑦 𝑦 1−𝑦

𝐸 =𝐸 − 2− =𝐸 − 2 −𝐸
𝜕𝜃 2 𝜃 1−𝜃 2 𝜃 1−𝜃 2

𝜕 2 log 𝑃 𝑌 = 𝑦 𝜃 𝐸 𝑦 𝐸(1 − 𝑦)
𝐸 =− 2 −
𝜕𝜃 2 𝜃 1−𝜃 2

𝜕 2 log 𝑃 𝑌 = 𝑦 𝜃 𝜃 1−𝜃 1 1
𝐸 =− 2 − =− −
𝜕𝜃 2 𝜃 1−𝜃 2 𝜃 1−𝜃

𝜕 2 log 𝑃 𝑌 = 𝑦 𝜃 1 1 1
−𝐸 = + =
𝜕𝜃 2 𝜃 1 − 𝜃 𝜃(1 − 𝜃)
 Método de Jeffreys
Ejemplo: Sea Y una variable aleatoria con función de distribución Bernoulli de
parámetro 𝜃. Encuentre la distribución a priori de Jeffreys para 𝜃.

𝜕 2 log 𝑃 𝑌 = 𝑦 𝜃 1 1 1
−𝐸 = + =
𝜕𝜃 2 𝜃 1 − 𝜃 𝜃(1 − 𝜃)

1
𝜋(𝜃) ∝
𝜃(1 − 𝜃)

1 1
− −
𝜋 𝜃 ∝ 𝜃 2 1−𝜃 2

1 1
𝜋 𝜃 ∝ 𝜃 2−1 1−𝜃 2
−1

1 1
𝜃 ∼ 𝐵𝑒𝑡𝑎 𝑎 = , 𝑏 =
2 2
 Método de Jeffreys
Ejemplo: Suponga que se tiene una variable aleatoria normal con 𝜇 y 𝜎 desconocidas.
Calcule la distribución a priori de Jeffreys para 𝜇, 𝜎 .

1 1 𝑥−𝜇 2
−
𝑓 𝑥 𝜇, 𝜎 = 𝑒 2 𝜎2
2𝜋𝜎

1 2
1 2
log 𝑓 𝑥 𝜇, 𝜎 = − log 2𝜋𝜎 − 2 𝑥 − 𝜇
2 2𝜎

𝜕 2 log 𝑓 𝑥 𝜇, 𝜎 𝜕 2 log 𝑓 𝑥 𝜇, 𝜎
−𝐸 −𝐸
𝜇 𝜕𝜇 2 𝜕𝜎𝜕𝜇
𝐼 =
𝜎 𝜕 2 log 𝑓 𝑥 𝜇, 𝜎 𝜕 2 log 𝑓 𝑥 𝜇, 𝜎
−𝐸 −𝐸
𝜕𝜇𝜕𝜎 𝜕𝜎 2
 Método de Jeffreys
Ejemplo: Suponga que se tiene una variable aleatoria normal con 𝜇 y 𝜎 desconocidas.
Calcule la distribución a priori de Jeffreys para 𝜇, 𝜎 .

𝜕 log 𝑓 𝑥 𝜇, 𝜎 1 𝜕 2 log 𝑓 𝑥 𝜇, 𝜎 1
= 𝑥−𝜇 =−
𝜕𝜇 𝜎2 𝜕𝜇2 𝜎2

2
𝜕 log 𝑓 𝑥 𝜇, 𝜎 1 𝑥−𝜇 𝜕 2 log 𝑓 𝑥 𝜇, 𝜎 1 3 𝑥−𝜇 2
=− + = 2−
𝜕𝜎 𝜎 𝜎3 𝜕𝜎 2 𝜎 𝜎4

𝜕 2 log 𝑓 𝑥 𝜇, 𝜎 2 𝑥−𝜇
=−
𝜕𝜇𝜕𝜎 𝜎3

𝜕 2 log 𝑓 𝑥 𝜇, 𝜎 1 1
−𝐸 = −𝐸 − 2 = 2
𝜕𝜇 2 𝜎 𝜎
𝜕 2 log 𝑓 𝑥 𝜇, 𝜎 2 𝑥−𝜇 2
−𝐸 = −𝐸 − 3
= 3
𝐸 𝑥−𝜇 =0
𝜕𝜎𝜕𝜇 𝜎 𝜎
𝜕 2 log 𝑓 𝑥 𝜇, 𝜎 1 3 𝑥−𝜇 2 2
−𝐸 = −𝐸 2 − =
𝜕𝜎 2 𝜎 𝜎4 𝜎2
 Método de Jeffreys
Ejemplo: Suponga que se tiene una variable aleatoria normal con 𝜇 y 𝜎 desconocidas.
Calcule la distribución a priori de Jeffreys para 𝜇, 𝜎 .

𝜕 2 log 𝑓 𝑥 𝜇, 𝜎 𝜕 2 log 𝑓 𝑥 𝜇, 𝜎 1
−𝐸 −𝐸 0
𝜇 𝜕𝜇 2 𝜕𝜎𝜕𝜇 𝜎2
𝐼 = =
𝜎 2
𝜕 log 𝑓 𝑥 𝜇, 𝜎 2
𝜕 log 𝑓 𝑥 𝜇, 𝜎 2
−𝐸 −𝐸 0
𝜕𝜇𝜕𝜎 𝜕𝜎 2 𝜎2

𝜇
𝜋(𝝁, 𝝈) ∝ det 𝐼
𝜎

1 2
𝜋(𝝁, 𝝈) ∝ ∗ 2 −0
𝜎2 𝜎

2
𝜋(𝝁, 𝝈) ∝
𝜎2
1
𝜋(𝝁, 𝝈) ∝ 2
𝜎
 Método de Jeffreys
Ejercicio: Para cada caso encuentre la distribución a priori de Jeffreys:

1. Suponga que se tiene una variable aleatoria normal con 𝜇 desconocida y 𝜎

conocida.
2. Suponga que se tiene una variable aleatoria normal con 𝜇 conocida y 𝜎
desconocida.
 Ejercicios
1. Encuentre las distribuciones a priori de Jeffreys para:
• Distribución Binomial.
• Distribución Poisson.
2. Considere el número de goles marcados por Colombia en la Copa América,
estos son:

Copa América Número de goles marcados Número de partidos jugados

2015 1 4
2016 7 6

a. Utilizando una distribución a priori no informativa bajo el principio de razón

insuficiente y método de Jeffreys, encuentre la distribución a posteriori para el
número promedio de goles por partido en el torneo del 2015, para ella
identifique el promedio y varianza.
b. Use las distribuciones a posteriori obtenidas en el punto a. como distribución a
priori para estimar el número promedio de goles por partido en el torneo del
2016, para ella identifique el promedio y varianza.