TEORIA DELL’INFORMAZIONE E DELL’INFERENZA

3/03
La materia tratta la probabilità, teoria dell’informazione, dell'inerenza e della statistica.
Impariamo a contare utilizzando il calcolo combinatorio, quando si parla di probabilità si parla di
esperimenti come calcoli che danno risultati dei valori.
PRINCIPIO BASE
Il principio base dice che se abbiano 2 esperimenti:
- primo ha m risultati
- il secondo ha n risultati

allora i due esperimenti forniscono m∗nrisultati, come per esempio pescare due carte.
Esercizio: vorrei contare il numero di targhe possibili fatta di 4 lettere e 3 numeri.

I numeri sono 10 e le lettere sono 26 allora le possibilità sono:

4 3
26 × 10 Se invece volessimo senza ripetizioni si avrebbe:
( 26 ×24 ×23 ) × ( 10 ×9 × 8 )
PERMUTAZIONI
Sono un ordinamento di n oggetti.
Supponiamo di avere n = 3; Quindi avrò ☐☐☐ → 3 ×2 ×1 → 3 !
Più in generale avrò che
n !=n∗( n−1 )∗( n−2 )∗…∗1.
Esercizio: Vogliamo fare la permutazione di:
- 2 libri di chimica
- 3 fisica
- 5 informatica
- 4 matematica

→ 14! se calcolo "separando" libri delle stesse materie

Per avere vicini della stessa materia devo considerare i "blocchetti" di libri che sono 4
moltiplicando per il fattoriale di ogni tipo.

→ 4 !∗2!∗3 !∗5 !∗4 !

DISPOSIZIONI
si intende un ordinamento di i tra n oggetti, con i < n.
Avrò quindi n∗( n−1 )∗( n−2 )∗…∗( n−i+ 1 ), supponiamo che n = 7 e i = 3
☐☐☐
☐☐☐☐☐☐☐
Posso scrivere la mia formula anche come:
n!
I casi in cui i primi sono uguali e i secondi sono diversi sono n-i; quindi, mi viene fuori la
( n−i ) !
formula evidenziata sopra.
Esercizio:

-il numero di anagrammi di "cinema" non necessariamente di senso compiuto → 6!

6!
-il numero di anagrammi di "errore" → , 6 il numero di lettere, 3 il numero di r che sono uguali
3! 2!
e 2 il numero di a che sono uguali; quindi, la lettera uguali sono ignorabili e divido il possibile
risultato per loro.
COMBINAZIONI
La scelta di i tra n oggetti con i≤ n . La cui formula sarà:
n!
i! ( n−i ) !
e si indica con:

(ni )
Esercizio:
Comitati di 3 persone a partire da 2000

(2000
3 )=
2000!
3 ! ×1997 !
=
2000 ×1999 ×1998
6

4/03
Oggi introduciamo la probabilità.
SPAZIO CAMPIONARIO: La prima cosa che ci serve è lo "spazio campionario" che è l'insieme dei
risultati possibili di un esperimento, lo denotiamo con "S".
EVENTO E ⊂ S : è un sottoinsieme di risultato di uno spazio campionaria, per esempio se ho 36
numeri possibili considero due numeri.
Nozioni sugli insiemi E, F ⊂ S
- Unione E ∪ F
- Intersezione E∩F
E f
- Disgiunzione E ∨ F=0
- Complemento EC S

ASSIOMI

Lo spazio campionario definisce da cosa è composta la "torta" che consideriamo come insieme
(grafico a torta). mentre la probabilità stabilisce la grandezza della" torta".
P la probabilità è una mappa sullo spazio degli eventi di un insieme campionario.
1) P ( S )=1
2) O ≤ P ( E ) ≤1
3) Ei ⊂S ,i=1 , … , n . E i E j=O per ognii ≠ j .
n
P ( ¿ i Ei ) =∑ P ( Ei )
i=1

Proprietà
Da queste proprietà ne derivano altre:
a) P ( 0 )=0 possiamo dimostrarlo dicendo che
P ( s )=P ( S ∪ 0 )=P ( s ) + P ( 0 )=1+ P ( 0 )=P ( s )

b) E ⊂ S dato EC calcolare la probabilità E

F
s

P ( E )=1−P ( E )
c

C) E ⊂ F ⊂ S dimostrare che la probabilità del più piccolo è più piccola, cioè che P ( E ) ≤ P ( F )
 P ( F )=P ( ( F−E ) ∪ E ) =P ( F−E )+ P ( E )

DOMANDA ESISTENZIALE:

C
P ( F− E )=E ?

D) ∀ E , F ⊂S (Probabilità di unione tra due eventi)

P ( E∪ F )=P ( E ) + P ( F ) −P ( EF ) F
E s

DIM:
P ( E∪ F )=P ( E ) + P ( E F )
C

P ( F )=P ( EF ) ∪ P ( EC F ) =¿ P ( EF ) + P ( EC F )

EVENTI EQUPROBABILI
• S lo spazio campionario contiene solo N cose, con N che è la cardinalità
→ ¿ S=N → S={1,2, 3 , … , N }

La probabilità fondante è data da

i
• P ( i) = con i = 1,..., N. Ciò significa che ogni elemento ha la stessa probabilità.
N
Supponiamo di voler prendere un qualunque sottoinsieme E di S ( E ⊂S ) e di
volerne calcolare la probabilità P ( E ).

¿E
P ( E )=
N

Se E è uguale a S1, S7, S9, cioè E={ 1,7,9 } allora P(E) si calcola come la frazione dei risultati in E,
sul numero di risultati in S, cioè:

¿E 6 1
P ( E )= ⟹ P ( E )= =
¿S 36 6

Esercizio: calcolare la probabilità di fare 7 lanciando 2 dati

N = 36
E = {(1, 6), (6, 1), (2, 5), (5, 2), (3,4), (4,3)} ⇒ #E = 6

Esercizio combinazioni: ho un'urna con 6 palline bianche e 5 palline nere. Probabilità di estrarre 1
pallina bianca e 2 palline nere.
N= (113)= 3 !11×8 ! = 11· 106 · 9 =165. P ( E )= 114
¿ E=( ) × ( ) =
6 5 6! 5!
× =60
1 2 1 !×5 ! 2!× 3!
¿

Facciamo lo stesso esercizio con le disposizioni

N=11 ×10 × 9=990

( 6 ×5 × 4 )+ (5 × 6 × 4 ) + ( 5 × 4 ×6 )=360
BNN NBN NNB
10/03
PROBABILITÀ CONDIZIONATA
È un concetto molto utile. È la probabilità di un evento, una volta che si venga a conoscenza della
realizzazione di un altro evento.
Per esempio: c'è un dado, voglio sapere la probabilità di 1 se so che il risultato è tra 1 e 3. E se è
tra 4 e 6?
1
Risultato 1: P (i) = .
6
0
Risultato 2: P (i) = .
6
La probabilità dell'evento "e" una volta realizzato l'evento "f".
Quindi:
P( E∨F)=(P(EF))/(P(F)). Esercizio:
−P(•∨F) : è una probabilità E
presa F come spazio campionario
−P ( F|F )=1
F
O ≤ P( E∨F) ≤1
S

- Ei i =... disgiunti
P ( ¿ i Ei|F )=∑ P ( E i|F )
i

( U i Ei ) F=U i E i F quindi P ( U i ( Ei F ) ) = ∑ ❑ P ( E i F )
i=1

Dimostriamo quindi la prima formula

P ( ( ¿i Ei ) F ) P ( Ei F )
P ( ¿ i Ei ∨F ) = =∑
P(F) i P(F)

Arrivo quindi a dire che questa è la somma delle probabilità condizionate, è una diretta
applicazione della proprietà. Esercizio esame!

Possiamo riscrivere la formula della definizione anche così:

P ( EF )=P ( E|F ) P ( F )

Posso anche estenderla, se ho 3 eventi ( A , B , C ) vale che P(A) dato B, P(B) dato C per P(E)
P ( ABC ) =P ( A|BC ) P ( B|C ) P (C )

infatti:
P ( ABC ) P ( BC )
P ( ABC ) = × × P (C )
P ( BC ) P (C)

Questi sono due modi completamente equivalenti di dire la stessa cosa

OSSERVAZIONI: l'ordine non conta! Infatti:
P ( ABC ) =P ( BAC )=P ( CAB )=…
Inoltre, anche il numero degli eventi non conta, si possono avere infatti anche più eventi.
ESERCIZI
1) Un lancio di 2 monete. Calcolare la probabilità di 2 teste se:
2) il primo lancio da testa
3) un lancio da testa

Caso a:
Eventi di base sono: {T, T} {T, C} {C, T} {C, C}
E = {T, T}, F = {{T, T}, {T, C}}
1
P ( EF ) 4 1
P (| E| F ) = = =
P(F) 1 2
2

Quindi la risposta alla domanda è: 1 /2

Caso b:
E = {T, T}, F = {{T, T}, {T, C}, {C, T}}
1
4 1
P ( EIF ) = =
3 3
4

Quindi la risposta alla domanda "b" è: 1 / 3

2) urna con 8 palline Rosse e 4 Bianche, peschiamo le palline e NON le rimettiamo dentro.
Qual è la probabilità che siano 2 rosse

Soluzione 1: usiamo le combinazioni per contare , sia R1 l'evento la prima pallina è rossa e R2 la
seconda è rosso

P ( R R )=
( 2 ) 14
8
=
(2)
1 2
12 33

Soluzione 2: uso proprietà condizionata

8 7 14
P ( R1 R 2) =P ( R1 ) P ( R 2 R1 )= × =
12 11 33

8 Sono i casi favorevoli, 12 i casi possibili e lo moltiplico per i casi favorevoli dopo la prima
estrazione sui casi possibili dopo la prima estrazione

3) Divido un mazzo di 52 carte in quattro pile. Qual è la probabilità che in ogni pila ci sia un
asso.

E1 = asso di picche in una della 4 pila

E2 = asso di picche e asso di cuori in due pile diverse
E3: asso di picche, asso di cuori e asso di quadri in 3 pila diversa
E4 = asso di picche, asso di cuori, asso di quadri e asso di fiori in 4 pile diverse
P ( E1 E 2 E3 E 4 )=¿
¿ P ( E1 ) P ( E 2 ¿ E1 ) P ( E3 ¿ E 2 E1 )
 39 26 13
¿ 1× × × =10 %
52 50 49
P(E1) = ha probabilità 1
P(E2) = tolgo 4 a casi favorevoli e divido per il numero delle carte senza asso
P (E3) = stessa cosa di P (E2)
P (E4) = stessa cosa di P (E 3)

FORMULA DI BAYES
Esiste una relazione tra: P ( E|F ) e P ( F| E )

P ( F| E ) × P ( E )
P ( E|F )=
P (F )

11/03
TEOREMA DI BAYES
È un modo furbo di calcolarsi P (A|B) usando P (B|A)

( EF )= PP( EF
P
(F )
)

P ( )=
F P ( E∨F ) P ( F )
E P (E )

La seconda è quella che viene chiamata formula di bayes

P ( E )=P ( E∨F ) + P ( E∨F c ) P ( f c )

La probabilità di "E "è data dalla somma di due probabilità infatti

P ( E )=P ( EF ∪ E F c ) =P ( EF ) + P ( E F c )

Questa formula è chiamata formula della probabilità

totale

Il teorema di va a mettere a denominatore quest'ultima formula di Bayes

P ( E∨F ) P ( F )
P ( F∨E )=
P ( E∨F ) P ( F ) + P ( E∨F c ) P ( F c )

ESERCIZIO su formula 2
A, B sono due monete; per A la probabilità di testa è 1/2, per B la probabilità di fare testa è 1/10.
D: Qual è la probabilità di fare testa lanciando una moneta a caso?
 P ( testa )=P ( testa
A ) P ( A)+ P(
testa
B ) P ( B )=
3
10
1
P ( A)=
2
1
P ( B )=
2
P ( )
testa 1
A
=
2

P ( )
testa
B
=
1
10

P (B) =1/2 perché è la probabilità di lanciare questa moneta, ho il 50 e 50 di lanciare una piuttosto
che l’altra
Esercizio 2
Ho tre urne: A, B, C.
A = (3R, 1B), B = (3B, 1R), C = (4R)
D. Se pesco una pallina rossa, qual è la probabilità che venga da A? da B? da C?

( Ar )=?
P

P ( r )=P ( ) P ( A ) + P ( ) P ( B ) + P ( ) P ( C ) =
r r r 2
A B C 3
1
P ( A )=
3
1
P ( B )=
3
1
P (C)=
3
p ( )
r
A 4
=
3

P ( )
r
B 4
=
1

P ( )
r
C
=1

( 41 )
P ( Ar ) P ( A ) =
P ( Ar )= P (r )
2
3
=
3
8
P
r
( )
P( B)
P ( )
B
r
=
B
P (r )
=
1
8
P
r
( )
P (C )
P ( )
C
r
=
C
P (r )
=
1
2

ES
Siamo in un gioco, ci sono tre porte(A,B,C) e dietro ad una c’è una Ferrari, nelle altre due una
capra. A, B, C sono gli eventi, cioè dietro la porta x c'è una Ferrari, dove x è A, B o C.

Il presentatore del gioco ti fa scegliere una porta (Presupponiamo di scegliere la porta A)

Rc = il presentatore sceglie di aprire la porta C
Dietro la porta C c'è una capra, a questo punto il presentatore di chiede: vuoi cambiare la porta?
1 1
P ( R c ∨A ) P ( A ) 15 15 1
P ( A∨R c ) = = = = =0,16
P ( R c ∨A ) P ( A )+P ( R c ∨B ) P ( B ) + P ( R c ∨C ) P ( C ) 1 1 1 1 1 1 6
× +1 × +0 × +
2 3 3 3 15 3
1
P ( A ) , P ( B ) , P ( C )=
3

( ) P c =
R
A
1
2

( ) R
P c =0
C

( ) R
P c =1
B

Quando un evento non dipende da un altro, Si dice che E, F sono indipendenti

P ( EF )=P ( E∨F ) P ( F ) ← No
P ( EF )=P ( E ) P ( F )

17/03

Eventi indipendenti

Se due eventi sono indipendenti la probabilità di 𝑃(𝐸𝐹) è data dalla moltiplicazione delle loro
singole probabilità: 𝑃(𝐸𝐹) = 𝑃(𝐸) ∗ 𝑃(𝐹)

Variabile aleatoria

Avendo un insieme 𝑋 di cardinalità 𝑁, cioè: 𝑋 = {𝑥1, ... , 𝑥𝑛} possiamo dire che 𝑋 mappa uno
spazio campionario 𝑆 in un qualche insieme di valori in R.

𝑆→𝑋⊆R

Nello spazio campionario S ho una

probabilità e tale probabilità viene ereditata
dalle variabili xi.

Es: lancio di 2 dadi, la loro somma è lo spazio campionario dei numeri (variabili).

Una variabile aleatoria è una funzione che associa ad ogni valore dello spazio campione di
un evento casuale un numero. L’ insieme dei possibili valori assunti da una variabile aleatoria si
dice range della variabile aleatoria.
Spoiler: queste variabili possono essere divise in due tipologie. Discrete, quando possono
assumere un numero finito di valori; Continue, quando possono assumere valori di un (o più)
intervallo di R.

Esempio 1: Avere testa lanciando 3 volte una moneta.

I casi possibili totali sono 8:

{(𝑇,𝑇,𝑇); (𝑇,𝑇,𝐶); (𝑇,𝐶,𝐶); (𝐶,𝑇,𝑇); (𝐶,𝐶,𝑇); (𝐶,𝐶,𝐶); (𝐶,𝑇,𝐶); (𝑇,𝐶,𝑇)}

Volendo calcolare la probabilità di 𝑋(variabile aleatoria), ovvero, dei casi possibili prima con 𝑋 = 𝑇
per 𝑇 =

0,1,2,3 volte; avrò:

1 3 3 1
P ( X=0 )= ; P ( X =1 )= ; P ( X =2 )= ; P ( X=3 )= ;
8 8 8 8

Esempio 2: Estrarre 3 palline da un insieme di 20 palline totali, numerate da 1 a 20. Qual è la

probabilità di avere un dato numero?

𝑋 (variabile aleatoria) numero estratto maggiore (es. estraendo 4,12,8 il max è 12).

P ( X=i ) =
(i−12 ) con 𝑖 = 𝑛𝑢𝑚𝑒𝑟𝑜 𝑒𝑠𝑡𝑟𝑎𝑡𝑡𝑜, 2 = 𝑎𝑙𝑡𝑟𝑒 𝑑𝑢𝑒 𝑝𝑎𝑙𝑙𝑖𝑛𝑒 𝑑𝑎 𝑝𝑟𝑒𝑛𝑑𝑒𝑟𝑒 e dove i casi
casi possibili
possibili 𝑐𝑎𝑠𝑖 𝑝𝑜𝑠𝑠𝑖𝑏𝑖𝑙𝑖

sono dati da (203 )ovvero tutti i modi possibili per estrarre la pallina, senza ripetizioni (non vengono
reinserite quelle prese).

Ad esempio, prendendo come 𝑖 = 7 avrò altri 6 modi possibili per prendere palline minori di 7
(considerando quindi 7 numero max).

Funzione di probabilità di massa (PMF)

Possiamo esprimere la PMF come una funzione che mette in relazione eventi discreti con le
probabilità associate a tali eventi che si verificano.

La formula che utilizziamo per calcolare ciò è:

𝑷(𝑿 = 𝒙𝒊) = 𝑷(𝒊)

Con 𝑖 = 1, ... , 𝑁;

N
0≤𝑃(𝑖)≤1ovvero, ∑ P ( i )=1
i=0

Potremmo quindi dire che è un altro modo per esprimere una variabile aleatoria. Quindi stiamo
dicendo che, una variabile aleatoria è un insieme di valori dove per ognuno dei quali ho
probabilità.
Oppure, possiamo utilizzare un'altra definizione equivalente di tale variabile attraverso la
funzione di probabilità cumulata.

Funzione di probabilità cumulata (CDF)

Assumendo di aver cumulato i valori in 𝐹(𝑎) e quindi di avere una sommatoria di vari 𝑃(𝑖):

F ( a )=∑ P ( i )
xi ≤a

Prendiamo un valore soglia per 𝑎 e sommiamo tutti i valori minori rispetto ad esso.

Volendo vedere graficamente quanto detto, otterremo:

Tenendo sempre conto dell’esempio fatto con le tre

monete, possiamo pensare ai vari 𝑃(𝑖) che si muovono
sull’asse a. Avremo quindi il caso di 𝑃(𝑋 = 0)dove avremo
un unico caso, un solo scalino. Il gradino successivo è
dato dalla somma del primo, quindi il 𝑃(𝑖) =1/8 dato da 𝑃(𝑋
= 0), e del secondo 𝑃(𝑖) =3/8 dato da 𝑃(𝑋 = 1). Il terzo
scalino, sarà dato dalla somma dei precedenti fino a quello
attuale, e così via fino al valore di 𝐹(𝑎) soglia (non avremo
altri scalini oltre esso). Quindi il calcolo sarà:

𝑃(𝑖𝑛) =1/8 +3/8+3/8 +1/8 con 𝑛 = 0,1,2,3.

Valore atteso di una variabile aleatoria

La formula da utilizzare per quello che chiameremo valore atteso (𝜇), di una variabile aleatoria
(𝑋), non è altro che una media pesata dei valori; quindi, invece di contare ripetutamente lo stesso
valore, 𝑃(𝑖), lo moltiplicheremo per il numero di volte che compare (𝑥𝑖 ) in 𝑋.

Esempio: Pensando sempre all’esempio delle monete, possiamo calcolare 𝜇 come:

Funzione di una variabile aleatoria

È una funzione che mappa i valori di una variabile aleatoria sui vari valori possibili.

𝑔={𝑥1,...,𝑥 n}→{𝑦1 ,...,𝑦 n} 𝑦=𝑔(𝑥i)

Possiamo utilizzare questa per definire il valore atteso di una variabile aleatoria. Infatti, abbiamo
due modi per calcolare il valore atteso di una funzione 𝑔 di una variabile casuale discreta 𝑋:

 Possiamo determinare la PMF della variabile casuale discreta 𝑔(𝑋);

 Oppure calcolare il valore atteso come media pesata.

Esempio: Sia 𝑌 = 𝑋2. Calcola 𝐸[𝑋2] per una variabile casuale 𝑋 con i valori dell’esercizio delle
monete.

Sappiamo che i valori possibili per 𝑋 sono ancora quattro, solo che verranno elevati al quadrato:

0→0; 1→1; 2→4; 3→9;

Calcolando quindi:

𝝁 = 𝑬[𝒈(𝑿)] = ∑ 𝑔(𝑥𝑖)𝑃(𝑋 = 𝑥𝑖) → ∑ 𝒈(𝒙𝒊)𝑷(𝒊) = (0 ∗ 1/8 ) + (1 ∗ 3/8) + (4 ∗ 3/8) + (9 ∗1/8)

Il valore attenuto sarà quindi il valore atteso (media di 𝑔(𝑋)): 𝑬[𝒈(𝑿)] = 3 (corretto, in quanto, più o
meno intuitivamente avevamo detto che si sarebbe trovato circa a 4).

La varianza

È una funzione che fornisce una misura della variabilità dei valori assunti dalla variabile stessa;
nello specifico, la misura di quanto essi si discostino quadraticamente rispettivamente al valore
atteso.
Più “semplicemente”, possiamo definirla come: la posizione relativa ad ogni valore rispetto alla
media ottenuta. Viene indicata con 𝑽𝒂𝒓(𝑿).

È importante, in quanto, attraverso il valore atteso (media) e la varianza possiamo descrivere la

variabile aleatoria; infatti, la varianza è una seconda quantità che cattura proprietà importanti di
una variabile aleatoria 𝑋.

Dove: 𝑥𝑖 sono i vari valori possibili; 𝐸[𝑋] è la media; 𝑃(𝑖) non è altro che la PMF.

Una quantità molto usata è la radice quadrata della varianza, nota come deviazione standard
(in realtà, viene anche chiamato scarto quadratico medio):

𝑆𝐷(𝑋) =√ Var ( X )

Proprietà

1) Linearità: avendo 𝑔(𝑋) = 𝑎𝑋 + 𝑏 e volendo calcolare l’espettazione (?) 𝐸[𝑔(𝑋)], ovvero: 𝐸[𝑎𝑋
+ 𝑏] dovremmo usare la sommatoria:

N
E [ aX +b ] =∑ ( a x i +b ) P ( i )
i=1
Dato che possiamo spezzare la sommatoria in due parti, poiché sia 𝑎𝑥𝑖 che 𝑏 vengono moltiplicati
per 𝑃(𝑖), otteniamo:

N N
E [ aX +b ] =a ∑ ( x i P ( i ) ) +b ∑ ( P ( i ) )
i=1 i=1

Sapendo che la prima sommatoria non è altro che la formula per calcolare il valore atteso, avremo:

→ 𝒂 ∗ 𝑬[𝑿] + 𝒃

Da questa dimostrazione possiamo affermare che l’espettazione si comporta bene rispetto alla
moltiplicazione e all’addizione di un numero.

2) Riscrittura di 𝑽𝒂𝒓(𝑿): possiamo applicare quanto visto e riscrivere 𝑉𝑎𝑟(𝑋) come

N
Var ( x ) =∑ ( x i−E [ X ] ) P ( i )
2

i=1

Sapendo che possiamo indicare 𝐸[𝑋] come 𝜇, allora possiamo scrivere:

∑ E [ X −μ ]
2

i=1

E sviluppando il quadrato otteniamo:

𝐸[(𝑋2 − 2𝜇𝑋 + 𝜇2)] → 𝐸[𝑋2] + 𝐸[𝜇2] − 2𝐸[𝜇𝑋]

Sappiamo che 𝜇 è l’espettazione di 𝐸[𝑋] quindi possiamo riscrivere −2𝐸[𝜇𝑋] come −2 (𝜇 ∗ 𝜇) cioè
−2𝜇2; In questo modo riusciamo a semplificare 𝜇2 e −2𝜇2 ottenendo la formula finale di questa
dimostrazione:

𝑬[𝑿𝟐] − (𝑬[𝑿])𝟐

L’espettazione del quadrato sottratta al quadrato dell’espettazione.

Applicando quanto detto nel II° punto alla 𝑔(𝑥) data nel I° punto, la formula 𝑉𝑎𝑟(𝑎𝑋 + 𝑏) = 𝑎𝑉𝑎𝑟(𝑋)
+ 𝑏 non sarà valida, in quanto non stiamo tenendo conto dei quadrati!
Ma possiamo risolvere il problema se poniamo:

𝑉𝑎𝑟(𝑎𝑋 + 𝑏) = 𝐸[(𝑎𝑋 + 𝑏 − 𝐸[𝑎𝑥 + 𝑏])2]

Abbiamo detto nel I° punto, che 𝐸[𝑎𝑋 + 𝑏] possiamo indicarla anche come 𝑎𝐸[𝑋] + 𝑏, cioè:

→ 𝐸[(𝑎𝑋 + 𝑏 − 𝑎𝐸[𝑋] − 𝑏)2]

In entrambi i fattori possiamo semplificare 𝑏, in quanto opposti (questo perché prima di 𝐸[𝑎𝑥 + 𝑏]
c’è un

segno negativo che cambia i successivi). Infine, possiamo raccogliere 𝑎, ciò che ci rimarrà sarà:

→ 𝐸[(𝑎𝑋 + 𝑏 − 𝑎𝐸[𝑋])2] → 𝑎2𝐸(𝑋 − 𝐸[𝑋])2

Quest’ultima formula non è altro che la varianza di (𝑎𝑋 + 𝑏) calcolata attraverso la formula trovata
precedentemente sempre in questo II° punto(*), tenendo conto dei quadrati e quindi è possibile
scriverla come:

𝑉𝑎𝑟(𝑎𝑋 + 𝑏) = 𝒂𝟐𝑽𝒂𝒓(𝑿)

Nota bene: l’espettazione della varianza NON è influenzata dalle somme ma lo è dalle
moltiplicazioni.

18/03

Distribuzioni discrete di probabilità

Parlando sempre di variabili aleatorie discrete. Prendiamo ora in considerazione importanti

distribuzioni di probabilità nel caso discreto.

1° Esempio: Lancio di 1 moneta

Spazio Campionario: 2 valori (testa e croce)→{0,1} 0 ≤ 𝑝 ≤ 1 (PMF)

Se la probabilità di entrambe le facce è ½ la moneta è onesta, mentre se uno tra Testa o Croce ha
più probabilità dell’altra allora è disonesta.

Bernulli

Prendendo questo esempio sopra, vediamo come la variabile aleatoria 𝑋 può prendere due valori
diversi legati al successo o al fallimento dell’evento preso in considerazione.

Possiamo considerare:

𝑃(𝑋 = 0) = 1 – 𝑝

𝑃(𝑋 = 1) = 𝑝

La media è

𝐸[𝑋] = 𝑝

Sapendo che per il binomio di Newton la formula è:

(𝑎 + 𝑏)2 = 𝑎2 + 2𝑎𝑏 + 𝑏2

Stesso ragionamento avviene se parliamo di cubo, invece che quadrato:

(𝑎+𝑏)3 =𝑎3 +3𝑎2𝑏+2𝑎𝑏2 +𝑏3

Adesso, se applicassimo questo elevandolo alla n, potremmo avere una formula del tipo:

N
n
()
( a+ b ) =∑ n ai ×b n−i
i=0 i

Facendo ciò stiamo quindi sfruttando la definizione di binomiale, infatti, esso conta in quanti modi
diversi si possono realizzare 𝑖 successi in una sequenza di 𝑛 realizzazioni indipendenti.
Nel binomiale quindi la variabile 𝑖 prenderà proprio i valori 𝑥𝑜 , 𝑥1 , ... , 𝑥𝑛 = 0,1, ... , 𝑛.

Tenendo a mente che 1𝑛 = 1 possiamo esprimere:

()
p ( i )= n p (1−p )
i
i i

Facendo caso a quanto detto prima, possiamo dire che stiamo applicando Bernulli alla formula
data per il binomio di Newton con elevazione alla n. Infatti, 𝑝𝑖 = 𝑎𝑖 e (1 − 𝑝)𝑛−𝑖 = 𝑏𝑛−𝑖.

Questo è un esempio di variabile aleatoria discreta. Una volta fatta questa associazione tra le due
formule, possiamo dire che i prerequisiti: 0 ≤ 𝑝 ≤ 1 e ∑𝑛 𝑝(𝑖) valgono per la formula data.

Esempio: Ho una moneta, possiamo interpretare la formula come se avessi ottenuto Testa 𝑝𝑖
volte.
Volendo tener conto della sequenza ottenuta con i lanci, ad esempio (𝑇, 𝐶, 𝐶) con: 𝑇𝑒𝑠𝑡𝑎 = 𝑝;
𝐶𝑟𝑜𝑐𝑒 = 1 − 𝑝

La probabilità sarà data da:

𝑝 ∗ (1 − 𝑝) ∗ (1 − 𝑝) = 𝑝 ∗ (1 − 𝑝)2
Non ci interessa considerare la combinazione ottenuta, in quanto, avessimo avuto: (𝑇, 𝐶, 𝑇, 𝑇)
avrei avuto:

𝑝3(1 − 𝑝)

Quello che vogliamo calcolare è: il numero di volte in cui abbiamo ottenuto testa con 𝑛 lanci
indipendenti tra loro.

Serie geometrica

Considerando: 0<𝑎<1

Posso esprimere la formula:

∑ (1−b ) j= 1b
j=0

Variabile geometrica

Parliamo di distribuzione geometrica, introducendo la variabile geometrica. Avendo valori discreti

ma infiniti, quindi: 1,2,3 ...

Tenendo presente che: 𝑝(𝑖) = (1 − 𝑝)𝑖−1𝑝

2°Esempio: Lancio una moneta 𝑖 volte, ottenendo 1 volta Testa e infinite volte Croce. La
probabilità che la Testa arrivi dopo i primi lanci, qual è? In sostanzia ci stiamo chiedendo quanto
dobbiamo aspettare prima di arrivare ad avere Testa?
Dobbiamo calcolare quindi la probabilità di ottenere testa alla i-esima volta. Questo possiamo farlo
utilizzando la formula:

∞ ∞

∑ p ( i ) → ∑ ( 1− p ) i−1

i=1 i=0

Abbiamo portato fuori 𝑝. Quindi sommerò per 𝑖 volte. (Stiamo assumendo sempre che 𝑇𝑒𝑠𝑡𝑎 = 𝑝;
𝐶𝑟𝑜𝑐𝑒 = 1 − 𝑝 ).

Possiamo utilizzare un trucco per rendere le cose più facili. Rinominiamo gli indici. Rinominando
𝑗 = 𝑖 − 1 possiamo ottenere:

∞
p ∑ ( 1− p )
j

j=0

In questo modo 𝑗 partirà da 0 e l’elevazione sarà alla 𝑗.

Prima(*) abbiamo visto come abbiamo espresso la serie geometrica come la sommatoria di 1/b
possiamo sfruttare la stessa risorsa, infatti, possiamo scrivere il tutto come:

p* 1/p

Semplificando le 𝑝 possiamo affermare che questa formula ci darà come risultato 1:

∞
p∗1
p ∑ ( 1− p ) =
j
=1
j=0 p

Calcolo dell’espettazione

∞
E [ X ] =∑ i ( 1− p )
i−1
p
i=1

In questo caso 𝑖 è proprio 𝑥𝑖.

Vediamo la dimostrazione che ci porterà ad affermare che 𝐸[𝑋] =1/p partendo proprio dalla
formula sopra:

∞
E [ X ] =∑ (i+1−1 )( 1− p )
i−1

i=1

Sommiamo e sottraiamo 1 ad 𝑖, portando fuori 𝑝.

∞ ∞
p ∑ ( i−1 ) (1− p ) + ∑ ( 1− p )
i−1 i−1

i=1 i=1

Spezziamo la sommatoria, tenendo a sinistra 𝑖 − 1 e a destra 1, che possiamo anche evitare di

mettere in quanto moltiplicherebbe (1 − 𝑝)𝑖−1

∞
p ∑ j ( 1− p ) +1
j

j=0
Rinominiamo gli indici, ponendo 𝑖 − 1 = 𝑗

∞
p ∑ j ( 1− p ) +1
j

j =1

Dato che così si partirebbe da 0 e il contributo dato da esso sarebbe nullo per la sommatoria,
possiamo eliminarlo e far partire il tutto da 1.

∞
( 1− p ) p ∑ j ( 1− p )
j −1
+1
j =1

Non abbiamo però finito, in quanto, adesso possiamo portare 1 − 𝑝 fuori dalla sommatoria, avendo
così un 𝑗 − 1 come esponente.

(1−𝑝)𝐸[𝑋]+1 →

Siamo arrivati ad avere la formula che ci riconduce a 𝐸[𝑋] e possiamo sostituirla! Per poi applicare
il prodotto tra (1 − 𝑝) ed 𝐸[𝑋]. Tenendo presente che inizialmente avevamo 𝐸[𝑋] = e che quindi il
tutto porta ad un’equazione dove portiamo i vari fattori contenenti 𝐸[𝑋] a sinistra e l’1 a destra,
cambiando opportunamente i segni.

𝐸[𝑋] − 𝐸[𝑋] + 𝑝(𝐸[𝑋]) = 1 →

Dato che 𝐸[𝑋] − 𝐸[𝑋] sono opposti possiamo semplificare e arrivare alla fine della dicendo che:

𝑝(𝐸[𝑋]) = 1 →

Pensando il tutto come un’equazione possiamo quindi dire che 𝐸[𝑋] è la nostra incognita e quindi
arrivare alla conclusione che

E[X]= 1/p

Serie esponenziale

a y −y
e= e
i!

Più è grande l’esponente più sarà alto il numero per la quale divido.

Poisson

Tenendo presente la serie esponenziale citata, vediamo che se abbiamo 𝑖 = 0,1,2, ... allora
possiamo calcolare:

y −y
p ( i )= e
i!

Il tutto dipende dal parametro 𝛾 (che il prof. ha indicato come 𝜇, ma non c’entra nulla con il 𝜇 usato
precedentemente, evitando confusione userò 𝛾).

Quindi:
 ∞
yi − y
∑ i!
e
i=0

Sapendo che questa formula altro non è che 𝑒𝛾 ∗ 𝑒−𝛾, otteniamo(*):

L’espettazione di ciò sarà data da:

Partiremo da 𝑖 = 1 per lo stesso motivo detto precedentemente, essendo una moltiplicazione avere
𝑖 = 0 annullerebbe il risultato e non contribuirebbe alla sommatoria.

Dopo aver fatto ciò, portando fuori 𝛾 e cambiando gli indici con 𝑗 = 𝑖 − 1:

E tutto questo sarà uguale a 1, dato che arriviamo ad avere la formula di partenza che avevamo
visto essere uguale a 1 (*):

24/03

VARIABILI ALEATORIE CONTINUE

Non avremo più un numero finito di possibilità come con quelle discrete. Abbiamo visto varie
formule per le variabili discrete, quasi tutte contenenti delle sommatorie. Per le variabili continue le
formule sono simili, ma invece delle sommatorie avremo degli integrali.

Funzione densità di probabilità (PDF)

È l'analogo della funzione di probabilità di massa una variabile

casuale ma con la condizione che la variabile casuale 𝑋 sia
continua. Essa descrive la "densità" di probabilità in ogni
punto nello spazio campionario. La funzione densità di
probabilità di una variabile casuale continua 𝑋 è utilizzata per
determinare la probabilità che 𝑋 appartenga a un dato intervallo. Indicheremo la densità con 𝑝,
sapendo che: 𝑝: R → [0, ∞) ∀B⊆R
❑
p(B)=∫ p (x) dx
−b

𝐵 = [−𝑏; 𝑏] è un intervallo (oppure un’unione di intervalli), l’integrale sarà definito in esso:

b
p(B)=∫ p (x) dx
−b
Supponendo quindi di avere 𝐵 = [−𝜀; 𝜀] dove 𝜀 è circa 0, e se 𝜀 diminuisce allora anche la porzione
considerata di area diminuisce fino a 0.
Avremo:
ε
p( B)=∫ p( x )dx
−ε

Ricordiamo una proprietà che ci informa che la somma risultare essere 1: ∫ p ( x ) dx =1

−∞

Esempio : Data p(x)= {4 x−2 x 2 x ∈(0,2)

0 altrimenti
; Verificare se è una funzione di densità di probabilità

Per verificare ciò dobbiamo controllare che integrando il risultato sia 1. Dobbiamo quindi svolgere:

∫ ( 4 x−2 x 2 ) dx=2 x 2− 23 x 3 ¿20= 24

3
16 8
− = ≠1. C=
3 3
8
3
0

Per risolvere il problema possiamo chiamare il risultato appena trovato 𝑐. Questo ci servirà perché
in questo modo posso moltiplicare l’integrale per 1/C:

Funzione di distribuzione cumulata

Come per la pdf, anche questa non è altro che l’analoga formula che abbiamo incontrato per le
variabili casuali discrete; solo che ora parliamo di variabili casuali continue. Anche qui, invece di
una sommatoria, avremo un integrale. Con 𝐹: R → [0,1] ∀𝑎∈R

∞
f (a)= ∫ p(x )dx
−∞

Come nel caso discreto la CDF è una funzione crescente non negativa compresa tra 0 e 1. Inoltre,
a
è bene tenere a mente che possiamo unire 𝑝(𝐵) = ∫B 𝑝(𝑥) 𝑑𝑥 e 𝐹(𝑎) = ∫ 𝑝(𝑥) 𝑑𝑥 possiamo quindi
dire che 𝑷([−∞; 𝒂]) = 𝑷(𝑿 ≤ 𝒂). Ottenendo la funzione cumulata di 𝑋 calcolata in a.
Teorema fondamentale del calcolo integrale

Applicando il teorema del calcolo integrale sappiamo che:

Usando queste due formule, possiamo quindi trovare la densità (𝑝(𝑥)) data la cumulata (𝐹(𝑎)), ci
basterà derivarla; e viceversa, avendo la densità integrando troveremo la cumulata!

Quindi possiamo dire che data una funzione 𝑔: R → R, posta 𝑌 = 𝑔(𝑋) dove 𝑋 è la variabile
aleatoria. Avendo 𝑃𝑥 oppure 𝐹𝑥 possiamo ricavare 𝑃y (densità) e 𝐹y (cumulata).

Esempio: Data una funzione 𝑌 = 𝑋𝑛 con 𝑝(𝑥) = {01altrimenti

x ∈(0,1)
; ricavare 𝑃y (densità) e 𝐹y (cumulata).

Per calcolare 𝐹y (𝑦) dobbiamo:

F y ( y )=P ( Y ≤ y ) → P ( X n ≤ y ) → P ( X ≤ y n )= y n
1 1

1 1 1
Ottenendo così la funzione cumulata di 𝑋 valutata in y n . Perché 𝑃 (𝑋 ≤ y n ) non è altro che 𝐹 ( y n ).

𝑎
Nota bene: 𝐹(𝑎) = 0∫ 1 𝑑𝑥 → 𝑥|𝑎 = 𝑎. Con 0 come limite inferiore dell’integrale perché dato dall’intervallo della condizione iniziale in cui la
funzione vale 1, mentre a come superiore perché sappiamo che oltre essa non ci interessa calcolare la cumulata.

Poi, per calcolare 𝑷𝒀(𝒚) dobbiamo prendere il valore trovato calcolando 𝑭𝒀(𝒚) e derivarlo.
Quindi, ricaviamo la densità di Y in un qualche valore y:

1 1
1 −1
P ( y )= y n → P y ( y )= × y n
n

Valore atteso e Varianza:

Le formule per calcolare valore atteso e varianza non sono diverse da quelle usate per le variabili
discrete, solo che qui useremo degli integrali:

Possiamo applicare il calcolo del valore atteso a una funzione 𝑔(𝑥) anche in questo caso:
 𝑃 (𝑦) =1/y densità (calcolata
attraverso la derivata di ln 𝑦)

Sapendo che 𝑦∈[1,𝑒](perchè se 𝑥=0 avrei 𝑒0 =1;se 𝑥=1avrei 𝑒1 =𝑒)

Calcoliamo, quindi, il valore atteso della variabile aleatoria con distribuzione nell’intervallo trovato:

25/03

Discrete VS continue

DISCRETE CONTINUE
Valori: infiniti, basta che siano discreti. ∑𝑖 𝑝(𝑥𝑖) = 1 Valori: Infiniti valori esistenti in R
con 𝑥1,𝑥2,...

PMF: dati 𝑝(𝑥1), 𝑝(𝑥2) ... e un insieme e 𝐵, avrò: e PMF:𝑝(𝐵)=∫ 𝑝(𝑥)𝑑𝑥 con 𝐵=[−𝑏;𝑏] 𝐵
𝑝(𝐵) = ∑𝑥∈𝐵 𝑝(𝑥𝑖)

CDF:𝐹(𝑎)=∑𝑥𝑖 ≤ 𝑎𝑃(𝑖) 𝑎
CDF:𝐹(𝑎)=∫ 𝑝(𝑥)𝑑𝑥
Valore atteso: 𝐸[𝑋] = ∑𝑖 𝑥𝑖𝑝(𝑥𝑖) (vale anche per 𝑔(𝑥)) Valore atteso: E[X] = ∫x 𝑝(𝑥)𝑑𝑥
(e con 𝑔(𝑥) avrò 𝐸[𝑔(𝑥)] = ∫ 𝑔(𝑥) 𝑝(x)𝑑𝑥 )

Varianza: 𝑉𝑎𝑟(𝑋) = 𝐸[(𝑋 − 𝐸[𝑋])2] Varianza: 𝑉𝑎𝑟(𝑋) = 𝐸[(𝑋 − 𝐸[𝑋])2]

Gaussiana (o Normale)

L’aspetto di una Gaussiana è più o meno quello di una

campana. Possiamo calcolare la distribuzione Gaussiana
con la formula:

Dove 𝛿 e 𝜇 sono numeri che ci forniscono informazioni su essa.

 -  𝝁 ci indica quanto è centrata, infatti spessa a metà la campana.

 -  𝜹 riporta informazioni sulla larghezza, è un numero sempre positivo (solitamente con 𝜹𝟐
indichiamo la varianza).

Tenendo a mente la formula di integrazione per parti:

Media per la Gaussiana

Per calcolare la media in una gaussiana useremo la formula:

Gaussiana standard (𝒁), caso particolare

𝝁 = 𝟎; 𝜹 = 𝟏

Avremo ai lati di 𝜇 valori uguali ma opposti, che se sommati ritorneranno 0. Per questo se
calcoliamo la media ci darà 0.

In questo caso possiamo calcolare la media come:

Notiamo come in questo caso, che abbiamo definito già come particolare, la media = 𝜇, mentre la
varianza = 𝛿.

Provando con 𝜇 e 𝛿 diversi possiamo, in qualche modo, ricondurre il tutto allo stesso risultato.

Nota bene: 𝒀 = 𝒂𝑿 + 𝒃 è una trasformazione che permette di passare da una Gaussiana all’altra.

Esempio: avendo 𝑌 = 𝑎𝑋 + 𝑏 calcoliamo densità e cumulata,

Troviamo poi la densità, facendo la derivata di quanto

appena calcolato (sarà una composta):

NB. FORMULA GENERALE:

−1
d g ( y)
PY ( y ) =PX ( g−1 ( y ) ) ×
dy

Per fare la cumulata basta integrarla!!!!

Sicuramente è ancora una Gaussiana ma con parametri 𝛿 e 𝜇 diversi dai precedenti. Infatti, ora 𝛿′ =
𝛿2𝑎2 e 𝜇′ = 𝑏 + 𝜇𝑎.

Ci basta quindi trovare 𝑎 e 𝑏 t.c. ponendo 𝝁 = 𝟎 e 𝜹 = 𝟏 otterremo 𝛿′ e 𝜇′ dati.

31/03/2022

DISTRIBUZIONE ESPONENZIALE

P ( X )= λ e−λx x ≥ 0
Questa esponenziale è negativa ma definita su valori positivi, la
funzione all’infinito tende quindi a zero.
Vediamo dunque se è una densità:
−e−λx
Premettendo che : ∫ e−λx dx= ; possiamo quindi fare le nostre verifiche.
λ

( ) +∞
+∞ +∞ − λx
∫ λ e dx=¿ λ ∫ e− λx dx= λ −eλ ¿
−λx
¿ 0−(−1 )=1
0 0
0
Ricordandoci che
b b

∫ f ( x ) g ( x ) dx=f ( x ) g ( x )−∫ f ( x ) g ( x ) dx
' '

a a
calcoliamo il valore atteso:
0 +∞
+∞ +∞
−e
−λx
1 +∞
E [ X ] =∫ λ xe dx=−xe + ∫ e dx =
−λx − λx − λx
= INCLUDEPICTURE /var/folders/6l/5f5ncl550kn_c76kh33q9
0 0
0 λ λ
0

f(x) g’(x)
-𝛌x
g(x) = 𝛌e

Se invece volessi calcolare la varianza dovrei fare così:

+∞ +∞
+∞
2 2
E [ X ] =∫ λ x e + ∫ xe dx= 2 INCLUDEPICTURE /var/folders/6l/5f5ncl550kn_c76kh33q94
2 2 − λx 2 − λx − λx
dx=−x e
0 λ 0 λ 0
0
1
λ
 f(x)
f ’(x) = 2x

2 1 1
Var ( X )=E [ X ]−( E [ X ] ) =
2 2
2
− 2= 2
λ λ λ

Inoltre, la distribuzione esponenziale è smemorata, cioè:

P ( X > s+t | X >t ¿=P( X > s)
Questo significa che aver già fatto t non conta nulla, anzi ce ne dimentichiamo
completamente perché l’unica cosa che ci interessa è s.

( P ( X > s+t ) ∩ P ( X > t ) ) P( X >s +t ) e− λ(s +t ) e− λs ×e− λt − λs

¿ = = − λt = =e =P( X > s)
P( X >t ) P( X >t) e e− λt

a
( )=1−e
a −λx
−e
P ( X ≤ a )=∫ λ e
−λx − λa
dx=λ
0 λ 0
− λa
⟹ P ( X >a ) =1−P ( X ≤ a )=e