Natureza da Informao

Semana 4: Teoria da informao

David Correa Martins Jr

david.martins@ufabc.edu.br

Como medir a quantidade de

informao?

Entropia de Boltzmann
S=k log W

Inscrio na lpide de
Boltzmann: S = k log W
Boltzman no especificou a
base do logaritmo.
Contudo a frmula
independe da base porque:

S = k log a W =
log b W
k
k
=
log b W =
log b a log b a
= k log b W

Entropia de Boltzmann (metfora da sinuca)

Entropia de Boltzmann: mede o
quo uniforme os molculas de um
gs se distribuem ao longo de um
ambiente
Suponhamos um tabuleiro de
sinuca (ambiente) com quatro bolas
de cores diferentes (molculas).
O tabuleiro est dividido em duas
partes: a parte direita e a parte
esquerda.
Existem 16 possveis formas de
colocar as bolas

E
E
E
E
E
E
E
E
D
D
D
D
D
D
D
D

E
E
E
E
D
D
D
D
E
E
E
E
D
D
D
D

E
E
D
D
E
E
D
D
E
E
D
D
E
E
D
D

E
D
E
D
E
D
E
D
E
D
E
D
E
D
E
D

0
0
0
0
0
0
0
0
1
1
1
1
1
1
1
1

0
0
0
0
1
1
1
1
0
0
0
0
1
1
1
1

0
0
1
1
0
0
1
1
0
0
1
1
0
0
1
1

0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
1

16 possibilidades ou combinaes ou estados possveis

S3=kLog(6)

S4=kLog(4)

S2=kLog(4)

S1=kLog(1)

1/16

S5=kLog(1)

4/16

6/16

4/16

1/16

 Se quisermos calcular a entropia de todo o

conjunto de possveis combinaes (16) e
decidirmos utilizar na frmula de Boltzman,
com k=1 e a base do logaritmo igual a 2, a
entropia termodinmica seria:

S = k log2W = 1 log216 = 4

Entropia do arranjo da coluna central do histograma

16 combinaes

E
E
E
E
E
E
E
E
D
D
D
D
D
D
D
D

E
E
E
E
D
D
D
D
E
E
E
E
D
D
D
D

E
E
D
D
E
E
D
D
E
E
D
D
E
E
D
D

E
D
E
D
E
D
E
D
E
D
E
D
E
D
E
D

0 0 0

6 com 2 bolas na direita

e 2 na esquerda

0 0 1
0 1 0
0 1 1
1 0 0
1 0 1

Somente precisamos de 3
bits para nomear as 6
possveis combinaes

 Se quisermos calcular a entropia do arranjo

onde tm duas bolas a direita e duas a
esquerda (6 combinaes):

S = k log2W = 1 log26 =
log106 0,7782
=
= 2,585
log102 0,3010

Entropia de Boltzmann (Termodinmica)

Entropia de Shannon (Informao)

Claude Elwood Shannon (1916-2001)

Trabalhava nos
Laboratrios Bell
Quanta informao pode
passar por uma linha de
telefone?
Inventou o termo bigit ou
bit
Toda informao pode ser
representada por uma
cadeia de bits

Modelo de sistema de comunicao

Modelo completo

Entrada
(smbolos)

Codificador
de fonte

(Arrays
de bits)

Sada

Decodificador
de fonte
(Arrays
(smbolos)

de bits)

ys
ra t s
Ar bi

Canal
ruidoso

ys s
a
r it
Ar e b
d

Codificador
de canal

de

Modelo de sistema
que lida com informao
Smbolos de uma entrada so
codificados em bits,
Bits so enviados por um canal
at um receptor e
So decodificados em smbolos

(Ar
Compressor de rays
bits
)

Expansor

Decodificador
de canal

ys
a
r
(Ar bits)
de

Componentes

Fonte (entrada)


Modelar em termos de distribuies de

probabilidade
Funo da fonte: prover um cdigo a um conjunto
de smbolos

Experimento


Ex.: jogar moeda ou dado

Observao de aes
Representao de um objeto


Ex.: caracteres de texto, pixels de imagem

Fonte

Consideraremos nmero finito de smbolos



E mutuamente exclusivos

S um pode ser escolhido a cada instante

Cada escolha = um resultado



Objetivo: rastrear a sequncia de resultados

Fonte

Sabendo o resultado, como denot-lo?



Fornecendo sua denominao (codificao)

E se no sabemos ainda o resultado, ou

estamos incertos sobre ele?


Como expressar conhecimento sobre ele se h

incerteza?

Usar probabilidades
Estudar Teoria de Probabilidades no final dos slides
(Apndice)

Informao

Queremos expressar a informao (ou falta

dela) a respeito da escolha de um smbolo


Conhecida a resposta, no h incerteza sobre o

smbolo escolhido
E antes da seleo ser feita ou de sabermos a
resposta?

Temos incerteza


Quanta?

Um mtodo simples para medir a informao:

Quantas perguntas preciso fazer para saber qual nmero voc
pensou dentre este conjunto de nmeros?

1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16

Um dos alunos pensa um nmero

O professor faz as perguntas e anota 1 no quadro
branco se a resposta for sim e 0 se a resposta for
no

Um mtodo simples para medir a informao:

Supor que o aluno pensou no nmero 5

O nmero maior do que 8? No 0

O nmero maior que 4? Sim
01
O nmero maior que 6? No
010
O nmero maior que 5? No
0100
Ento o 5
Se as questes esto corretamente formuladas,
possvel identificar o nmero somente com log2(16)=4
questes ou 4 bits

Codificao Binria (0 e 1)

Permite identificar qualquer magnitude em

termos de sim e no

Para identificar nmero entre 1 e n, precisaramos realizar

log2(n) questes bem formuladas
Bem formuladas: cada resposta tenta sempre dividir o
espao pela metade (em duas partes iguais)
Exemplo: para identificar um tomo no meio do universo
que tem 1080 tomos


Precisaramos de log2(1080) = 266 perguntas bem

formuladas (cujas respostas consigam dividir o espao em 2
partes aproximadamente iguais)

O Bit

Grau de imprevisibilidade
Bit a quantidade de informao necessria
para tomar uma deciso perante duas
opes igualmente provveis
Calcular grau de imprevisibilidade (em bits)
segundo a frmula de Boltzmann



S = k log(W)
W so possveis configuraes que toma um
determinado arranjo de particulas
k=1

Informao

Informao medida em bits



Como tamanho em metros e tempo em segundos

Quantidade de informao aprendida ao

conhecer o resultado o nmero mnimo de
bits que seriam usados para especificar
cada smbolo

A informao medida em bits

S = log 2 (n)

S = log 2 (1) = 0 bits

Supondo que sempre
faz sol no
Deserto do Saara

S = log 2 (2) = 1 bits

S = log 2 (6) = 2,58 bits

Quantificando informao

Supor situao com vrias sadas possveis



Ex.: jogar uma moeda

2 sadas possveis: cara ou coroa

Ex.: selecionar uma carta de um baralho

52 possibilidades

Quo compactamente Alice pode contar a

Bob a sada de alguma dessas situaes?

Quantificando informao

Jogando uma moeda

Alice deve comunicar a Bob o resultado:

Assumindo codificao de tamanho fixo, deve-se

transmitir a mesma quantidade de informao, para
falar cara ou coroa (0 ou 1)


Informao transmitida de um bit por resultado (seja ele

cara ou coroa)

Quantificando informao

Jogando duas moedas

Para falar uma das quatro possibilidades:

Experimento com oito possibilidades

Falar 0 ou 1 duas vezes (2 bits)

Pode ser transmitido com 3 bits

2n possibilidades: n bits

Quantidade de informao = log2W

W = nmero de possibilidades

Transmitindo informao
Transmisso de informao requer duas fases:
Fase setup:
Alice e Bob concordam sobre o que vo comunicar
e o que cada sequncia de bits significa

Ou seja, eles estabelecem um cdigo (conveno)

Ex.: transmitir naipe de uma carta de um baralho
00 Copas
01 Ouros
10 Espada
11 Paus

Transmitindo informao
Cdigo
Ex.: transmitir naipe de uma
carta de um baralho
00 Copas
01 Ouros
10 Espada
11 Paus

Note que o primeiro bit informa a cor do naipe

Vermelho (0), Preto (1)

E o segundo bit informa qual o naipe dado que o

primeiro bit j foi recebido

Transmitindo informao
Transmisso de informao requer duas fases:
Fase de comunicao:
Envio das sequncias de 0 e 1
Dos dados

Transmitindo informao

Aps Bob saber que uma carta retirada, ele

se encontra incerto sobre o naipe


Incerteza (ou falta de informao) tambm pode

ser expressa em bits

Escutando o resultado, incerteza reduzida



Pela informao recebida

Incerteza de Bob aumenta na fase de setup e
diminuda durante a fase de comunicao

Resumindo

Informao pode ser aprendida por observao,

experimento ou medida
Informao pode ser perdida



Por perda dos dados

Por perda do cdigo

Forma fsica de informao est localizada no

tempo e espao



Informao pode ser enviada de um local para outro

Informao pode ser armazenada e recuperada depois

Exemplo

Sinais do truco










Piscar um olho = Zap (manilha de paus)

Subir as sobrancelhas = Copeta (manilha de copas)
Fazer um montinho na bochecha usando a lngua =
Espadilha (manilha de espadas)
Mostrar a ponta da lngua = Pica Fumo (manilha de ouros)
Levantar um ombro = Trs
Levantar dois ombros = duas cartas Trs
Encher as bochechas de ar = duas ou mais manilhas
Colocar as cartas na mesa = nada de bom

Lula apresentando alguns sinais do truco

S=log2W
Se W o numero de diferentes mensagens
equiprovveis que precisamos transmitir, o cdigo mais
enxuto aquele que tem log2W bits.
No caso do truco, podemos transmitir a informao de
manilha (4 possibilidades) com 2 bits, sendo suficiente
usar os dois olhos
olhos fechados
olho esquerdo fechado
olho direito fechado
olhos arregalados

Exerccio

O jogo de truco consiste de um jogo onde 3

cartas so distribudas para cada
participante. Usando as prprias cartas da
mo, onde cada carta pode estar deitada de
cabea para baixo na mesa ou na mo (em
p), possvel projetar um cdigo para
representar os sinais de truco descritos
anteriormente? Caso afirmativo, determine
uma possvel codificao para esses sinais.

Informao

E quando os eventos tm probabilidades

diferentes?


Aprendemos diferentes quantidades de

informao

Se resultado era provvel, aprendemos menos do que

se ele era improvvel
Informao ganha por uma resposta i log2(1 / p(Ai))


= - log2(p(Ai))

Exemplo

Classe de 32 alunos: 2 mulheres e 30

homens


Um aluno escolhido

Incerteza inicial de 5 bits

Objetivo saber qual

Necessrio para especificar o resultado

Escolha aleatria probabilidade de cada um

ser selecionado 1/32

Mulher: p(M) = 2/32

Homem: p(H) = 30/32

Exemplo

Classe de 32 alunos: 2 mulheres e 30

homens


Quanta informao ganhamos sabendo que a

escolha de uma mulher, sem saber qual?

Incerteza diminuda de 4 bits para 1 bit




Necessrio para especificar qual das duas mulheres

Ganhamos 4 bits de informao!

E se for homem?

Reduz incerteza de 5 a 4,91 bits (log230)

Aprendemos 0,09 bits de informao

Informao

No caso dos sinais do Truco




Sinais no so equiprovveis!
No Truco, existem 40 cartas (incerteza inicial = log2(40) =
5,32 bits)
Probabilidade de uma determinada carta ser manilha =
4/40 = 10% (informao ganha = - log2(4/40) = 3,32 bits)
Probabilidade de uma determinada carta ser um Zap =
1/40 = 2,5% (informao ganha = - log2(1/40) = 5,32 bits =
incerteza inicial! temos certeza de qual a carta!)
Probabilidade de uma determinada carta ser um 3 = 4/40 =
10% (informao ganha = - log2(4/40) = 3,32 bits)
Probabilidade de uma determinada carta no ser boa (no
3 e nem manilha) = 32/40 = 80% (informao ganha = log2(32/40) = 0,32 bits)

Uma interpretao da frmula:

informao = -log(probabilidade)

Numa sequncia binria, se todos so um, no

h incerteza (-log2(100%) = -log2(1) = 0)


1111111111

Mas se o nmero 1 aparece 10% das vezes:




Ex: 0001000000
Neste caso, o nmero 1 possui -log2(1/10) de
informao ou:
log2(p) = -log2 (0,1) = log2 (10) = 3,3219 bits
Enquanto que o nmero 0 possui:
log2(p) = -log2 (0,9) = log2 (10/9) = 0,152bits

Ento, quanta informao temos nesta

mensagem?
0000010000

Poderia pensar que como temos 10 dgitos, teramos 10 bits de informao,

mas na verdade cada 0 vale 0,15 bits porque tem pouca incerteza
(imprevisibilidade ou surpresa),
enquanto que o nico 1 carrega muita informao (3,32 bits)

A entropia ou informao total da mensagem

seria:
Htotal=9x(informao do zero)+1x(informao do 1)=
=9x0,15+1x3,32= 4,67 bits (ao invs de 10 bits)

Informao

Se queremos quantificar nossa incerteza

antes de saber uma resposta


Mdia ponderada sobre as quantidades de

informao de todos os possveis resultados
Informao mdia:

Soma da multiplicao da informao de cada evento Ai

pela probabilidade p(Ai)

H = - p(Ai) log2(p(Ai))
Entropia de uma fonte (Entropia de Shannon)
Fundamental para caracterizar informaes de fontes

Informao

Ateno: cuidado quando probabilidade de um

evento 0








- log(0) = infinito
Embora tenha quantidade de informao infinita, a
probabilidade de ocorrncia zero
Ou seja: se P(X) = 0, ento H(X) = - 0 log(0)
- 0 log(0) indeterminado (0 multiplicado por infinito)
Mas H(X) = 0
X um evento inexistente

No entra na conta da entropia

Verdadeira contribuio de Shannon

Quanta informao cabe numa mensagem?

Como arranjar melhor a informao para que
a mensagem seja mais enxuta?



Exemplo de aplicao: compresso de dados

Veremos nas prximas aulas

Informao

Ex.: Informao contida na jogada de uma moeda

alterada para cair 60% das vezes em cara e 40%
em coroa
H = 0,6 log 2 (0,6) (0,4) log 2 (0,4) = 0,97 bits

44

Propriedades da informao

conveniente pensar em informao como

quantidade fsica com dimenses



Ex. como velocidade: tamanho/tempo (m/s)

Menos natural, uma vez que probabilidades no
possuem dimenso
Mas frmula usa log2

Informao em log de base 2 expressa em bits



Poderia usar outras bases

 logk(x) = log2(x) / log2(k)

Propriedades da informao

Se h dois eventos com probabilidades p e (1-p), a

informao por smbolo :


H = - p log2(p) - (1-p) log2(1-p)

Entropia de uma fonte com 2
smbolos como funo de p
Entropia (Shannon):
maior (1 bit) quando p = 0,5
(probabilidade dos dois eventos igual)
0 para p = 0 e p =1 (nestes casos,
resposta certa e nenhuma
informao ganha conhecendo-a)

Propriedades da informao
Ex.: moeda
p(cara) + p(coroa) = 1
H = p(cara) log 2 ( p (cara)) p(coroa) log 2 ( p(coroa)) =
p(cara) log 2 ( p(cara)) ((1 p (cara)) log 2 (1 p(cara))
Quando ambas possibilidades tm a mesma probabilidade de acontecer,
p(cara) = p(coroa) = 0,5 e a entropia ou imprevisibilidade mxima, e igual
a 1 bit

Propriedades da informao

Para parties com mais de dois eventos, a

informao por smbolo pode ser maior


Se h n possveis eventos, a informao por

smbolo situa-se entre 0 e log2n bits

Valor mximo H = log2(n) quando todas as

probabilidades so iguais (eventos equiprovveis)

pi = 1 / n, i
1
1
H = pi log 2 pi = n log 2 = log 2 (n )
n
n
i=1
n

Exemplo

Supondo que sempre faz sol no

deserto do Saara




P(sol) = 1
H apenas um estado possvel: sol
No h informao em amanh
far sol no Saara

Entropia = 0 (incerteza nula)

Um emissor que fornece sempre a mesma mensagem, fornece 0 bits de

informao
(enquanto o contedo informativo de uma mensagem
pouco previsvel grande)
49

H = pi log 2 pi

H = 1 log 2 (1) = 0 bits

Um nico evento com probabilidade = 1
50

Exemplo

1 bit dois estados

igualmente provveis
Precisamos transmitir um bit
para informar sobre o estado
da moeda
Mas sabemos que s pode
ser cara ou coroa


Um bit resolve
51

Dois eventos (cara e coroa),

cada um deles com
probabilidade 0,5
2

H = pi log 2 pi = pi log 2 pi =
i =1

= pcara log 2 pcara pcoroa log 2 pcoroa =

= 0,5 log 2 0,5 0,5 log 2 0,5 =
= 0,5 log 2 (1 / 2) 0,5 log 2 (1 / 2)) =
= 0,5 log 2 2 + 0,5 log 2 2 = 0,5 + 0,5 = 1bit
52

Exemplo

Dado: 6 estados
2 bits no so suficientes
3 bits: sobram 2 estados

53

Seis eventos 1,2,3,4,5,6

cada um deles com
probabilidade 1/6
6

H = pi log 2 pi = pi log 2 pi =
i =1

= p1 log 2 p1 p 2 log 2 p 2 p3 log 2 p3

p 4 log 2 p 4 p5 log 2 p5 p6 log 2 p6 =
= ( 16 )log 2 ( 16 ) ( 16 )log 2 ( 16 ) ( 16 )log 2 ( 16 )
( 16 ) log 2 ( 16 ) ( 16 )log 2 ( 16 ) ( 16 ) log 2 ( 16 ) =
= 6( 16 )log 2 ( 16 ) = log 2 ( 16 ) = log 2 6 = 3,32 log 10 6 =
= 2,58bits
54

Informao transmitida, It

a diferena entre o grau de entropia ou

imprevisibilidade inicial (H) e a
imprevisibilidade final Hm obtida aps o envio
da mensagem m

Hm

It
55

Informao transmitida It

H a entropia (ou incerteza) inicial da fonte

de informao


It:

Representa tambm a capacidade potencial (ou

mxima) de informao que pode ser fornecida
por um determinado arranjo ou dispositivo no
instante inicial

Informao transmitida
Hm a entropia (ou incerteza) final, depois da
mensagem m ter sido transmitida

Exemplo:

Jogar uma bola em uma

matriz com 16 buracos


Ela cair em qualquer um

dos buracos com igual
probabilidade (1/16)
Quais so as entropias
(incertezas) inicial e final?
Qual seria a quantidade de
informao fornecida pela
bola?

Ou seja, Hinicial Hfinal?

Exemplo:

Entropia inicial: Hinicial =

log2(16) = 4

Exemplo:
Entropia final: Hfinal = log2(15)

Informao: diferena de
entropias:

I = Hinicial Hfinal

I = log2(16) log2(15) =
= log2(16/15) = 0,09 bits

Para a prxima aula

Aula de exerccios
Estudar e fazer os exerccios da Semana 4


Teoria da Informao

Tidia, seo Repositrio->Aulas->Semana 4

TIdia, seo Repositrio->Exerccios->Lista - Semana 4

No precisa entregar, mas fundamental

fazer os exerccios para estudar e se preparar
para as aulas


e consequentemente para as provas

Apndice

Reviso sobre Teoria das Probabilidades

Probabilidades
Ex.: caractersticas dos estudantes MIT
2007
Tipo/nmero

Mulheres Homens Total

Calouros

482

596

1078

Graduao

1916

2316

4232

Ps-graduao

1916

4236

6152

Total estudantes

3832

6552

10384

Probabilidades
Ex.: caractersticas dos estudantes MIT
Mulheres

Homens

calouros

Graduao

Ps

Mulheres

Homens

Probabilidades

Ex.: caractersticas dos estudantes MIT



Supor que um calouro selecionado

Smbolo = um estudante individual

Conjunto de possveis smbolos = 1078

No sabendo qual foi, homem ou mulher?

Como voc caracteriza o seu conhecimento?



Qual a probabilidade de uma mulher ter sido

selecionada?

Probabilidades

Ex.: caractersticas dos estudantes MIT



Supor que um calouro selecionado

Qual a probabilidade de uma mulher ter sido

selecionada?



45% dos calouros so mulheres (482 / 1078)

Se todos tm mesma probabilidade de serem escolhidos,
probabilidade de selecionar mulher 45%
E se seleo feita no corredor de um dormitrio
feminino?
 Probabilidade ser maior que 45%

Eventos

Resultado: algo que segue como

consequncia


Smbolo selecionado, conhecido ou no para ns

Evento: subconjunto dos possveis

resultados de um experimento


Quando seleo feita, h vrios eventos

Um o prprio resultado: evento fundamental

Outros: seleo de smbolo com propriedade particular
Por simplicidade, as selees sero chamadas eventos

Eventos

Ex.: um calouro do MIT selecionado



Resultado a pessoa em especfico selecionada

Evento fundamental

Outros eventos:

Seleo de uma mulher

Seleo de algum da California
Seleo de algum maior de 18 anos
Seleo de mulher do Texas
Seleo de qualquer pessoa


Seleo de nenhum smbolo



Evento universal
Evento nulo

etc.

Eventos

Diferentes eventos podem ou no se sobrepor



Ocorrem para o mesmo resultado

Eventos que no se sobrepem: mutuamente exclusivos

Ex.: aluno selecionado ser homem ou mulher

Conjunto de eventos exaustivo: ao menos um deles

ocorre quando um smbolo escolhido


Ex.: aluno escolhido tem:

Evento 1: menos que 25 anos

Evento 2: mais que 17 anos


So exaustivos, mas no so mutuamente exclusivos

Eventos

Partio: conjunto de eventos mutuamente

exclusivos e exaustivos


Ex.: Eventos mulher e homem formam uma

partio

Partio fundamental: contm todos os

eventos fundamentais


Ex.: Eventos fundamentais associados a cada

uma das 1078 pessoas formam partio
fundamental

Resultados conhecidos

Sabendo um resultado, fcil denot-lo





Especificando o smbolo que foi selecionado

Sabe ento que eventos ocorreram
Mas deve conhecer o resultado

Enquanto no conhecido, no possvel expressar

dessa forma

Outra forma de denotar: probabilidades



Generalizvel a situao em que resultado ainda

no conhecido

Resultados conhecidos

Seja i um ndice dentro de uma partio



De 0 a n -1 (n o nmero de eventos na partio)

Para qualquer evento particular Ai



p(Ai) = 1 se resultado correspondente

selecionado
p(Ai) = 0 caso contrrio

Partio ser 1 para exatamente um evento i e 0

para demais eventos


Ex. p(evento universal) = 1 e p(evento nulo) = 0

Mesma notao se aplica a eventos A quaisquer
(no necessariamente em uma partio)

Resultados desconhecidos

Se smbolo ainda no foi selecionado, o

resultado no conhecido


Ento cada p(A) pode ter um valor entre 0 e 1

Valores maiores = maior crena de que o evento vai

ocorrer
Valores menores = menor crena de que o evento vai
ocorrer
Se evento certamente impossvel p(A) = 0
Quando resultado aprendido, cada p(A) pode ser
ajustado para 0 ou 1

Resultados desconhecidos

Forma de atribuir os valores



Obedecer teoria da probabilidade

Valores = probabilidades


Conjunto de probabilidades que se aplicam a uma partio

= distribuio de probabilidade

Axiomas da probabilidade:
Para qualquer evento A: 0 p(A) 1
Se um evento A ocorre somente em funo de outros eventos
mutuamente exclusivos Ai (porque, por exemplo, formam uma
partio): p(A) = p(Ai)
Para qualquer partio: p(Ai) = 1
(j que p(evento universal) = 1)

Eventos conjuntos

Probabilidade de smbolo escolhido ter duas

propriedades diferentes


Ex.: escolha de caloura (mulher) do Texas

p(M) = probabilidade de ser mulher

p(T) = probabilidade de ser do Texas
p(M,T) = probabilidade de ser mulher do Texas

Se os eventos so independentes multiplica

probabilidades dos eventos individuais


Probabilidade de um no depende do outro ocorrer

p(A,B) = p(A) p(B)

Eventos conjuntos

Independncia no usual


Frmula mais geral para a probabilidade do

evento conjunto (ambos ocorrerem)

Probabilidades condicionais: probabilidade de um

evento dado que outro ocorreu


Ex.: p(M | T) = probabilidade condicional de selecionar

mulher, dado que o calouro escolhido do Texas

p(A,B) = p(B) p(A | B)

= p(A) p(B | A)

Teorema de
Bayes

Eventos conjuntos

Ex.:


p(M, T) = p(T) p(M | T)

Probabilidade de calouro escolhido ser mulher do Texas

probabilidade de estudante ser do Texas vezes a
probabilidade de que, sendo texana, a pessoa mulher
OU

p(M, T) = p(M) p(T | M)

Probabilidade de calouro escolhido ser mulher do Texas

probabilidade de estudante ser mulher vezes a probabilidade
de que a pessoa escolhida, sendo mulher, texana

Exemplo

Considere que um estudante qualquer

selecionado (entre todos) aleatoriamente



Igual probabilidade para todos estudantes

Partio fundamental: 10384 eventos
fundamentais

Cada aluno em particular

Soma de todas probabilidades = 1


Ento cada um tem probabilidade 1/10384 = 0,01%

Exemplo

Considere que um estudante qualquer

selecionado (entre todos) aleatoriamente


Qual a probabilidade de ser um graduando?

p(G) = 6152 / 10384 = 0,59

Soma das probabilidades fundamentais dos 6152
eventos associados a estudantes graduandos

Exemplo

Considere que um estudante qualquer

selecionado (entre todos) aleatoriamente


Qual a probabilidade de ser um homem

graduando?

p(G) = 0,59
Probabilidade conjunta p(H,G)?
Selecionado graduando, qual a probabilidade
condicional dele ser um homem?


p(H | G)?

Exemplo

Considere que um estudante qualquer

selecionado (entre todos) aleatoriamente


p(H | G)

Nova partio fundamental = 6152 possveis

graduandos (G)



4236 desses so homens (P(H|G))

Evento selecionar um homem relacionado a 4236 dos
6152 graduandos
 p(H | G) = 4236/6152 = 0,69

Exemplo

Considere que um estudante qualquer

selecionado (entre todos) aleatoriamente


p(H, G)

Teorema de Bayes


p(H, G) = p(G) p(H | G)

= 6152 x 4236 = 4236 = 40,8%
10384
6152
10384
Exerccio: usar p(H) e p(G | H) para determinar P(H,G)