Redes Bayesianas: o que so, para que servem, algoritmos e exemplos de aplicaes.

Inteligncia Artificial Profa.: Ins Dutra Roberto Ligeiro

Resumo
Introduo. Raciocinando sobre incertezas. Clculo de Probabilidades. Aplicando a regra de bayes. Redes Bayesinas. Inferncia em redes bayesinas. Aplicaes. Consideraes finais. Referncias.

Introduo
Sistemas que agem racionalmente
Raciocnio Lgico Raciocnio Probabilstico
Situaes onde no se conhece todo o escopo do problema. Redes Bayesianas (incio da dcada de 90)
Teoria de probabilidades Teoria de Grafos

Raciocinando sobre incertezas

A principal vantagem de raciocnio probabilstico sobre raciocnio lgico fato de que agentes podem tomar decises racionais mesmo quando no existe informao suficiente para se provar que uma ao funcionar[Russel] Alguns fatores podem condicionar a falta de informao em uma base de conhecimento:
Ignorncia Terica Impossibilidade

Raciocinando sobre incertezas

Utilizar conectivos que manipulem nveis de certeza e no apenas valores booleanos.
Eu tenho probabilidade 0.8 fazer um bom trabalho de IA . A probabilidade de um trabalho de IA ser bom 0.7. A probabilidade de um bom trabalho de IA tirar A 0.9. Quais so as minhas chances tirar A?

Grafos podem representar relaes causais entre eventos.

Raciocinando sobre incertezas

Eu posso ouvir a ignio, mas nada acontece. Podem existir vrias razes para o problema. O rdio funciona, ento a bateria est boa. A causa mais provvel que a gasolina tenha sido roubada durante a noite ou que a mangueira esteja entupida. Tambm pode ser que seja o carburador sujo, um vazamento na ignio ou algo mais srio. Para descobrir primeiro eu verifico o medidor de gasolina. Ele indica tanque, ento eu decido limpar a mangueira da gasolina .
Estados:
Funcionando?{sim,no} Mangueira Limpa?{sim,no} Gasolina?{sim,no} Medidor{vazio, ,cheio}

Considere o domnio:Pela manha meu carro no ir funcionar.

Raciocinando sobre incertezas

Gasolina? + Medidor + + Funcionando? Mangueira limpa?

Funo RP-Agente(percepo) retorna ao { Esttico: conjunto de sentenas probabilsticas a respeito do problema. Calcula novas probabilidades para o estado atual baseado na evidncia disponvel incluindo a percepo atual e a ao anterior. Calcula as probabilidades para as possveis aes, dado a descrio das aes e as probabilidades atuais. Seleciona a ao com a maior expectativa. Retona ao. }

Clculo de Probabilidades
Probabilidade incondicional
A probabilidade P(a) de um evento a um nmero dentro do intervalo [0,1]. P(a) = 1 sss a certo. Se a e b so mutuamente exclusivos, ento: P(a b) = P(a) +

P(b).

Probabilidade condicional
Probabilidade condicional P(a|b) = x, pode ser interpretada como: Dado o evento b, a probabilidade do evento a x. P(b|a) = P(a|b)P(b)/P(a) - Regra de Bayes.

Tabela de Conjuno de probabilidades

P(A|B)=P(A,B)/P(B) Tabela n x m, representada pela probabilidade de cada configurao (ai,,bi)
Representam todo o domnio Para valores booleanos teramos 2n entradas

Clculo de Probabilidades
Tabela de Conjuno de probabilidades
P(X) = (a1, ..., an); ai 0; ai = 1, onde ai a probabilidade de X estar no estado ai, P(X=ai).
b1 a1 a2 0.4 0.6 b2 0.3 0.7 b3 0.6 0.4

Tabela1. P(X|Y)

Se P(Y) = <0.4,0.4,0.2>, aplicando P(A|B)=P(A,B)/P(B)

b1 a1 a2 0.16 0.24 b2 0.12 0.28 b3 0.12 0.08 Tabela2. P(X,Y)

Com esta tabela pode-se ainda calcular P(X) e P(Y|X)

Aplicando a Regra de Bayes

Diagnstico mdico:
dos casos. Porm, o mdico tambm conhece algumas probabilidades incondicionais que dizem que, um caso de meningite atinge 1/50000 pessoas e, a probabilidade de algum ter torcicolo de 1/20.
Aplicando a rede de Bayes:
P(M|T) = (P(T|M)P(M))/P(T) = (0.5 x 1/50000)/(1/20) = 0.0002

um mdico sabe que a meningite causa torcicolo em 50%

Por que no calcular estatisticamente P(M|T) ? Surto de meningite => P(M) aumenta. P(M|T) ?

Redes Bayesianas
Uma Rede Bayesiana consiste do seguinte:
Um conjunto de variveis e um conjunto de arcos ligando as variveis. Cada varivel possui um conjunto limitado de estados mutuamente exclusivos. As variveis e arcos formam um grafo dirigido sem ciclos (DAG). Para cada varivel A que possui como pais B1, ..., Bn, existe uma tabela P(A| B1, ..., Bn).

Redes Bayesianas
Exemplo Voc possui um novo alarme contra ladres em casa. Este alarme muito confivel na deteco de ladres, entretanto, ele tambm pode disparar caso ocorra um terremoto. Voc tem dois vizinhos, Joo e Maria, os quais prometeram telefonar-lhe no trabalho caso o alarme dispare. Joo sempre liga quando ouve o alarme, entretanto, algumas vezes confunde o alarme com o telefone e tambm liga nestes casos. Maria, por outro lado, gosta de ouvir msica alta e s vezes no escuta o alarme. Estados:
Ladro Terremoto Alarme Joo Maria

Redes Bayesianas
Se conhecemos a probabilidade da ocorrncia de um ladro e de um terremoto, e ainda, a probabilidade de Joo e Maria telefonarem. Podemos Calcular P(Alarme|Ladro,Terremoto):
Ladro Terremoto P(Alarme|Ladro,Terremoto) Verdadeiro Verdadeiro Verdadeiro Falso Falso Verdadeiro Falso Verdadeiro Falso 0.95 0.95 0.29 0.001 Falso 0.050 0.050 0.71 0.999

Redes Bayesianas
Podemos construir a seguinte rede:
L P(L) V .001 Ladro Terremoto T P(T) V .002

Alarme

L V V F F

T V F V F

P(A) .95 .95 .29 .001

J P(J) V .90 F .05

JooLig

M P(M) V .70 F .01

MariaLig

Redes Bayesianas
Considere que se deseja calcular a probabilidade do alarme ter tocado, mas, nem um ladro nem um terremoto aconteceram, e ambos, Joo em Maria ligaram, ou P(JMALT).
P(JMALT) = P(J|A)P(M|A)P(A|LT)P(L ) P(T ) = 0.9 x 0.7 x 0.001 x 0.999 x 0.998 = 0.00062

Redes Bayesianas
Mtodo para construo de redes bayesianas:
Escolha um conjunto de variveis Xi que descrevam o domnio. Escolha uma ordem para as variveis. Enquanto existir variveis: Escolha uma varivel Xi e adicione um n na rede. Determine os ns Pais(Xi) dentre os ns que j estejam na rede e que tenham influncia direta em Xi. Defina a tabela de probabilidades condicionais para Xi

Redes Bayesianas
Mtodo para construo de redes bayesianas:
MariaLig: raiz. JooLig: Se Maria ligou, ento, provavelmente, o alarme tocou. Neste caso, MariaLig influencia JoaoLig. Portanto, MariaLig pai de JoaoLig. Alarme: Claramente, se ambos ligaram, provavelmente o alarme tocou. Portanto, Alarme influenciado por JooLig e MariaLig. Ladro: Influenciado apenas por Alarme. Terremoto: Se o alarme tocou, provavelmente, um terremoto pode ser acontecido. Entretanto, se existe um Ladro, ento as chances de um terremoto diminuem. Neste caso, Terremoto influenciado por Ladro e Alarme. MariaLig JooLig

Alarme

Ladro

Terremoto

Redes Bayesianas
Mtodo para construo de redes bayesianas:
Compactao de ns
Se cada n dependesse de todos os outros, teramos uma tabela de probabilidade de 2n entradas para variveis booleanas -(assim como tabela de conjuno de probabilidades). Localidade estrutural Padro de relacionamento entre os ns. Uma varivel aleatria influenciada por no mximo k outras (seu pais na rede). Por isto: P(MariaLig|JoaoLig,Alarme,Terremoto,Ladro) =

P(MariaLig|Alarme)

Para uma rede com 20 ns: 2n = ~1milho Considerando k = 5 => 640

Inferncia em redes bayesianas

Independncia condicional
Sabemos que um n independente de seus predecessores dado seu pai na rede. Porm, para realizao de inferncias necessrio saber mais a respeito da relao entre os ns. necessrio saber se um conjunto de ns X independente de outro conjunto Y, dado que um conjunto de evidncias E (X d-separado de Y ) Se todo caminho no dirigido entre um n em X e um n em Y d-separado por E, ento X e Y so condicionalmente independentes dada a evidncia E.

Inferncia em redes bayesianas

Independncia condicional
Trs possibilidades:
z z z X Y E

Inferncia em redes bayesianas

A tarefa bsica de uma inferncia probabilstica computar a distribuio de probabilidades posterior para um conjunto de variveis de consulta (query variables) =>P(Query|Evidence). Para o exemplo anterior
Ladro constitui uma boa varivel de consulta. JooLig, MariaLig seriam boas variveis de evidncia.

Inferncia em redes bayesianas

Exemplo:
P(C=F) P(C=T) 0.5 0.5 Cloudy

Dado que a grama est molhada, qual a probabilidade de ter chovido?

Rain

Sprinkler C F T P (S=F) P(S=T) 0.5 0.5 0.9 0.1 WetGrass

C F T

P(R=F) P(R=T) 0.8 0.2 0.2 0.8

SR FF TF FT TT

(W=F) P(W=T) 1.0 0.0 0.1 0.9 0.1 0.9 0.01 0.99

Dado que a grama est molhada, qual a probabilidade de o regador ter sido ligado?

Inferncia em redes bayesianas

Neste caso, S e R tornam-se dependentes dado que o n W, a evidncia, filho de ambos, ou seja, no S e R no so d-separados. Assim, para o calculo de P(S|W) deve-se considerar P(R) e vice-versa. A equao seria (1 = T e 0 = V):
P(S=1|W=1) = P(S=1,W=1)/P(W=1) = c,r (P(C=ci, S=1,R= ri, W=1)/P(W=1)) = 0.2781/0.6471 P(R=1|W=1) = P(R=1,W=1)/P(W=1) = c,s (P(C = ci, S = si,R =1, W=1)/P(W=1)) = 0.4581/0.6471
Onde (W = 1):

P(W=1) = c,r,s P(C = ci, S = si,R = ri, W=1) = 0.6471

Inferncia em redes bayesianas

Inferncias podem ser realizadas sobre redes Bayesianas para:
Diagnsticos: Dos efeitos para as causas. Dado JoaoLig, Causas: De causas para efeitos. Dado Ladro, P(JoaoLig|

P(Ladro|JoaoLig) Ladro)

Inferncia em redes bayesianas

Algoritmo para inferncias
Pode ser NP-Hard, dependendo de como o problema foi modelado. Para uma classe de redes possui sempre tempo linear: redes simplesmente conexas.
E+x
U1 U
m

E-x
Z1
j

Zn
j

Y1

Yn

Inferncia em redes bayesianas

Estratgia geral:
Expressar P(X|E) em relao a E-x, E+x. Computar a contribuio de E+x atravs de seus efeitos em Pais(X), e ento transportar tais efeitos para X. 3. Computar a contribuio de E-x atravs de seus efeitos em Filhos(X), e ento transportar tais efeitos para X. Note que computar os efeitos nos filhos de X uma recurso do problema de computar os efeitos em X. 1. 2.

Chamadas recursivas a partir de X por todos seus arcos.

Termina em ns de evidncia, razes e folhas da rvore. Cada chamada recursiva exclui o n que a chamou, desta forma, a rvore coberta apenas uma vez.

Inferncia em redes bayesianas

Inferncia em Redes Bayesianas Multiconectadas
Transforma probabilisticamente (no topologicamente) a rede em uma rede simplesmente conexa. Conditioning Faz uma transformao na rede instanciando variveis em valores definidos, e ento, e ento produz uma rede simplesmente conexa para cada varivel instanciada. Stochastic simulation Usa a rede para gerar um grande nmero de modelos concretos de um domnio. A partir destes modelos o algoritmo calcula uma aproximao de uma inferncia.

Clustering

Aplicaes
problemas nas glndulas linfticas. Map Learning, Ken Basye 1990. Brown University Este projeto combina problemas de diagnostico e teoria de deciso. Um rob deve percorrer um labirinto, procurando aprender os caminhos percorridos e, ao mesmo tempo, explorar caminhos desconhecidos. AutoClass, NASAs Ames Research Center, 1998 - Sistema de explorao e aquisio de conhecimento espacial. Este projeto est desenvolvendo uma rede bayesiana que permita a interpolao automtica de dados espaciais oriundos de diferentes observatrios e planetrios espalhados pelo mundo. Lumiere, Microsoft Research, 1998 O projeto pretende criar um sistema que possa automaticamente e inteligentemente interagir com outros sistemas, antecipando os objetivos e necessidades dos usurios.

Pathfinder, Heckerman 1990. Stanford Sistema para diagnsticos de

Consideraes Finais
Redes bayesianas constituem uma forma natural para representao de informaes condicionalmente independentes. Boa soluo a problemas onde concluses no podem ser obtidas apenas do domnio do problema. Inferncias sobre redes bayesinas.
Podem ser executadas em tempo linear. NP-hard para maioria dos casos. Aplicao de tcnicas.

Referncias
Charniak, Eugene. Bayesians Networks without Tears. IA Magazine, 1991. Darwiche, Adan & Huang, Cecil. Inference in Belief Networks: A procedural guide. International Journal of Approximate Reasoning, 1994. Jensen, V. Finn. Bayesian Networks and Decision Graphs. Springer-Verlag,2001. Murphyk, P. Kevin. A Brief Introduction to Graphical Models and Bayesian Networks. http://www.cs.berkeley.edu/~murphyk/Bayes/bayes.html Niedermayer, Daryle. An Introduction to Bayesian Networks and their Contemporary Applications.1998. Russel, J. Stuart & Norvig, Peter. Artifical Intelligence: A modern Approach.Prentice Hall.