Algoritmos

Bayesianos
Karina Figueroa

Preliminares
Aprendizaje

cul es la mejor hiptesis (ms probable)

dados los dato?
Red

Bayesiana (RB)

Red de creencia
Clasificacin

de una RB

Aprendizaje Estructural.
Obtener la estructura de la red

Aprendizaje Paramtrico
Dada la estructura, obtener las probabilidades
asociadas

Probabilidades conjuntas
P(A,

B)
Probabilidad de
ambas A y B.
P(A,B)<P(A|B)

P(A|B)

Probabilidad
condiciona.La
probabilidad de
A, dado B.

Probabilidades.
Condicional.

Cul es la prob.de
que la 2 canica
sea roja dado que
la 1 es azul?
P(R2|R1)?
Conjunta

Cul es la prob.de
que la 1 sea roja
y la 2 azul?
P(R1 y R2)?

Red Bayesiana
Una

red bayesiana es un grafo

dirigido acclico que consta de:
Un conjunto de nodos, uno por cada
variable aleatoria del mundo
Un conjunto de arcos dirigidos que
conectan los nodos
Cada nodo tiene una probabilidad
condicional asociada
Cada arco X a Y indica una influencia
directa de X sobre Y

Ejemplo: red Bayesiana

Padre

hijo

hijo

Ejemplo de una RB

Razones para usar un RB

Diagnstico

Del efecto a la causa

P(Dolor | Caries)
Prediccin

De la causa al efecto
P(Caries | Dolor)

Teorema de Bayes
Regla

de Bayes

P(D | h) P(h)
P(h | D) =
P(D)
h

es la hiptesis o clase

Ej. Juega tenis o no

conjunto de valores para los

atributos
Ej. temperatura, humedad, etc.

Teorema de Bayes
P(h)

probabilidad a priori de una de

las clases
P(D) probabilidad a priori de que los
atributos tengan ciertos valores
P(D|h) probabilidad a priori de que
los atributos tengan ciertos valores
dado que la instancia pertenece a
una clase
P(h|D) es la probabilidad a
posteriori de que una instancia
pertenezca a cierta clase

Probabilidades.
P(h).

Fcil

Porcentaje de ejemplos de entrenamiento

pertenecientes a una clase
P(D).

Fcil en valores discretos

Probabilidad de que los atributos tengan

un cierto conjunto de valores
P(temp=calor, humedad=alta,
viento=poco)
P(D|h).

No tan fcil

Muy semejante a la P(D), pero slo se

consideran las que son instancias de h.

Ejemplo

Probabilidad de influencia
directa

Variable
aleatoria
P(B)

P(E)

A
J
P(J | A)

P(A | B, E)

Prob.cond.
P(M | A) dado sus
padres

Red Bayesiana representa la probabilidad de

dependencia/independencia entre las variables
aleatorias

Tipos de conexiones
Linear
a

Converging
a

Diverging
b

Dependientes dado E

Independientes

Independientes

Aplicacin de una RB
Doctor's
Note

Power
Failure

Computer
Crash

Student
Ill

Computer Crash
Frequent
Absence

Paper
Late

Clocks
Slow

Make up
Excuse

Student
Disinterested

Dog Ate It
Dog
Ate It

Hungry
Dog

Lives
in Dorm

Ejemplo
Predecir

la probabilidad de que un cierto

paciente est afectado por una enfermedad
Se realiza un anlisis de sangre al paciente con
resultado positivo (de acuerdo con el test, el
paciente sufre la enfermedad)
Qu hiptesis tiene mayor probabilidad:
afectado o no afectado?
Se conocen de antemano los siguientes datos

0.8% de la poblacin est afectada por la

enfermedad
Si una persona est afectada, el test ofrece un
resultado positivo en un 98% de los casos (2% tasa
de error)
Si una persona no est afectada, el test ofrece
resultado negativo en un 97% de los casos (3% tasa
de error)

Qu hiptesis tiene mayor

probabilidad: afectado o no
afectado?
P(afectado | test _ positivo) =

P(test _ positivo | afectado) P(afectado)

P(test _ positivo)

P(test _ positivo | no _ afectado) P(no _ afectado)

P(no _ afectado | test _ positivo) =
P(test _ positivo)

Comparar

numeradores
Conclusin?

Conclusiones
Condiciones

Disponer de un gran nmero de ejemplos de

entrenamiento
Se dipone de algn conocimiento inicial sobre el
problema a resolver

Ventajas

Cada nuevo ejemplo puede aumentar o disminuir la

estimacin de una hiptesis (flexibilidad incrementalidad)
Conocimiento a priori se puede combinar con datos
para determinar la probabilidad de las hiptesis
Da resultados con probabilidades asociadas
Puede clasificar combinando las predicciones de
varias hiptesis
Sirve de estandar de comparacin de otros
algoritmos

Problemas

En

una RB con
37 nodos se
necesitan
calcular:
137,438,953,472
valores

Teorema de Bayes
Puede

ser muy complicado

calcular las probabilidades
dependientes
Una solucin propuesta, y muy
comn en la prctica, es
considerar probabilidades
independientes: Nave Bayes
P(A,B) = P(A) P(B)
Para sucesos independientes