Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
Abramson, Norman.
Teoría General de Sistemas.
Van Gich, John P.
La información y su probabilidad
El servicio meteorológico emite los siguientes mensajes
sobre la ciudad:
Mensaje 1 : Nublado.
Mensaje 2: Bruma.
Mensaje 3: Lluvia.
Mensaje 4: Soleado.
¿Cuál nos da más información sobre cómo funciona el
tiempo atmosférico?
Sería el mensaje 2 ya que es lo menos habitual.
La información y su probabilidad
La cuestión a resolver es cómo calcular la cantidad de
información que nos proporciona el conocimiento de un
determinado suceso.
Una manera acorde con nuestra experiencia de valorarla, es
mediante el nivel de sorpresa, o lo que es lo mismo,
mediante el grado de desconocimiento que se tenga a priori
del suceso:
logaritmo (log).
Concepto matemático de
información
Así, la definición moderna y matemática de la
información de un acontecimiento es proporcional al
logaritmo de la inversa de la probabilidad del
acontecimiento.
1
I ( E ) Log n
P( E )
Otra forma de expresar esto mismo es:
1 1 1 1 1 3 1 1 43 4 4
2 3 4 1
4 8 8 2 2 8 2 2 8 15
Mp
1 1 1 1 2 11 4 8 8
4 8 8 2 8 8
1
I ( A) log n unidades _ de _ inf ormación
P ( A)
La definición moderna y matemática de la información de
un acontecimiento es proporcional al logaritmo de la
inversa de su probabilidad.
Definición de información
1
I ( A) log n unidades _ de _ inf ormación
P ( A)
1 1 1 1
I (10) log 2 log 2 2 _ bits I (110) log 2 log 2 3 _ bits
P(10) 1 4 P (110) 1 8
En el caso de una fuente que emita dos mensajes equiprobables, cada dígito
binario (binit) lleva 1 bit de información .
Definición de información
Consideremos ahora otro ejemplo… el de una fuente que puede emitir sólo
2 mensajes, pero las probabilidades son diferentes
dígito binario 1 lleva menos información que un bit por ser el más probable.
Definición de información
Atención: un dígito binario puede llevar más de 1 bit de
información, o menos, dependiendo de su probabilidad de
ocurrencia.
Por ello, no siempre es correcto decir que un 1 ó un 0 es un
bit, ya que esto puede interpretarse como la unidad de
información. Esto sólo es cierto para sucesos equiprobables,
o sea que la probabilidad de que ocurra un 0 es igual a la
probabilidad de que ocurra un 1 y es igual al 50%.
Entropía
Imaginemos una fuente emitiendo secuencia s de símbolos
pertenecientes a un alfabeto finito y fijo S={s1, s2,…, sn}.
1
I ( si ) log 2 bits
P( si )
De modo que la cantidad media de información por
símbolo de la fuente es
H ( S ) P ( si )I ( si )bits
S
Entropía
H ( S ) P ( si )I ( si )bits
S
Donde
s indica la suma extendida a n símbolos
de la fuente S.
Esta magnitud, cantidad media de información por
símbolo de la fuente recibe el nombre de Entropía
H(S) de la fuente de memoria nula.
1
H ( S ) P ( si ) log 2 bits
S P ( si )
Entropía
Ejemplo:
Consideremos la fuente S={s1, s2, s3} con P(s1) = ½
y P(s2) = P(s3)= 1/4 . Entonces
1 1
H ( S ) log 2 2bits
S 4
1 4
Entropía
En sistema cerrados esta es la situación de máximo desorden,
variedad.
Un sistema muestra alta o baja entropía (variedad,
incertidumbre, desorden).
Reducir la entropía de un sistema, es reducir la cantidad de
incertidumbre que prevalece.
La incertidumbre se disminuye al obtener información. La
Información, en el sentido de la teoría sobre la información,
posee un significado especial que está ligado al número de
alternativas en el sistema.
Entropía
Si uno se enfrenta a elegir entre 8 alternativas equiprobables, la
entropía de la incertidumbre que existe es de 3 bits.
1. Probabilidades
2. Media y Media ponderada
3. Logaritmo
Probabilidad
• Si dejamos caer una piedra o la lanzamos, y conocemos las
condiciones iniciales de altura, velocidad, etc., sabremos
con seguridad dónde caerá, cuánto tiempo tardará, etc.
Esta es una experiencia determinista.
f 3
P(2,4,6) 0.50 50%
n 6
Probabilidad
Ejemplo 3:
• Si tiramos una moneda que no esté trucada puede ocurrir que
salga cara o cruz (despreciemos el canto). Entonces, la
probabilidad se calcula de la siguiente manera:
f 1
P (cara) 0.5 50%
n 2
Esto quiere decir, que si hago un largo número de tiradas o, si
tiro mil veces una moneda hay muchas posibilidades de que
500 sean cara y 500 cruz. Aunque se puede obtener 590 caras
y 410 cruces.
Probabilidad
• Regla 1: La probabilidad P(A) de cualquier suceso A cumple
que:
0 ≤ P(A) ≤ 1
Cualquier probabilidad es un número entre 0 y 1.
Un suceso con una probabilidad 0 no ocurre nunca.
Mientras que un suceso con una probabilidad 1 ocurre en
todas las repeticiones.
Un suceso con una probabilidad de 0,5 ocurre, después de
muchas repeticiones, la mitad de las veces.
Probabilidad
• Regla 2: Si S es el espacio muestral de una modelos de
probabilidad, entonces :
P(S) = 1
La probabilidad de todos los resultados posible, considerados
conjuntamente, tiene que ser 1. Debido a que en cada
repetición siempre obtenemos algún resultado, la suma de las
probabilidades de todos los resultados posibles tiene que ser
exactamente 1.
Probabilidad
• Regla 3: Para cualquier suceso A :
P(no ocurra A) = 1 – P(A)
La probabilidad de que un suceso no ocurra es 1 menos la
probabilidad de este suceso ocurra.
Si un suceso ocurre en, digamos, el 70% de las repeticiones,
deja de ocurrir en el 30% de las mismas. La probabilidad de un
suceso ocurra y la probabilidad de que no ocurra siempre
llega hasta el 100%, es decir, es 1.
Probabilidad
• Regla 4: Dos sucesos A y B son disjuntos si no tienen resultados en
común, es decir, no pueden ocurrir nunca de forma simultánea. Si A
y B son disjuntos:
P(A o B) = P(A) + P(B)
Si un suceso ocurre el 20% de todas las repeticiones y otro suceso
diferente ocurre el 30% de todas las repeticiones, y los dos sucesos
no se pueden producir simultáneamente, entonces la probabilidad de
que ocurra uno de ellos es del 50%, ya que 20% + 30% = 50%.
Esta es la regla de la suma de sucesos disjuntos.
Probabilidad
• Regla 5: Dos sucesos A y B son estadística independientes cuando la
ocurrencia de un suceso no se ve afectado por la ocurrencia del otro
suceso. Si A y B son sucesos independientes:
P(A y B) = P(A) * P(B)
Si un suceso ocurre el 20% de todas las repeticiones y otro suceso
diferente ocurre el 30% de todas las repeticiones, y los dos sucesos
son estadísticamente independientes, entonces la probabilidad de
que ocurra ambos es del 6%, ya que 20% * 30% = 6%.
Media aritmética y Media aritmética
ponderada
• La media aritmética corresponde a un valor representativo de
un conjunto de datos numéricos. Se trata de una medida que
aporta una cifra con un valor medio. La media
aritmética también recibe el nombre de promedio o
simplemente media
• El símbolo de la media aritmética es este X
• Se representa con una "x" con un guión en su parte superior.
La medida intenta equilibrar las cifras por exceso y por
defecto.
• La fórmula de la media aritmética es esta:
x1 x 2 ... x n
Media( X ) x
n
Media aritmética y Media aritmética
ponderada
• Ejemplo: 10 alumnos rindieron un examen, habiendo
obtenido las siguientes nota: 2,4,6,7,4,5,7,8,10,9.
2 4 .6 7 4 5 7 8 10 9
Media ( X ) x 6,2
10
Media aritmética y Media aritmética
ponderada
• Imagina que tenemos un dado de seis caras, donde en
tres de las caras tenemos al valor 2 y en las otras tres el
valor 4. Es decir, que los resultados posibles son 2 y 4. Si
calculo la media de los resultados que obtengo, si hago
muchas tiradas el valor promedio se acercará a la media
aritmética:
Xi
222444
X i 1
3
n 6
Media aritmética y Media aritmética
ponderada
• La media aritmética ponderada es una medida de tendencia
central, que se da asignándole a cada clase un peso,
y obteniendo un promedio de los pesos, teniendo estos
pesos valores diferentes.
• Es decir, algunos tienen una importancia relativa (peso)
respecto a los demás elementos. La diferencia cuando
calculamos la media aritmética es que a todos los pesos se les
da el mismo valor.
• La media aritmética ponderada consiste en otorgar a cada
observación del conjunto de datos unos pesos según la
importancia de cada elemento. Teniendo en cuenta que
cuanto más grande sea el peso de un elemento, más
importante se considerará.
Media aritmética y Media aritmética
ponderada
• Para entender mejor el significado de la media
aritmética ponderada podemos basarnos en el
ejemplo de la nota final de una asignatura en la
que varios factores interfieren en la calificación última,
pero no todos ellos tienen el mismo "peso", hablamos
de: exámenes, trabajos, asistencia, prácticas, etc.
• Si el examen es lo más valioso y la asistencia lo que
menos contará obtendremos la calificación
final hallando la media aritmética ponderada de los
valores totales de todas las notas obtenidas,
pero diferenciando la nota obtenida del término más
importante del que menos.
Media aritmética y Media aritmética
ponderada
Para calcular el valor esperado debemos sumar el producto de cada
valor por su probabilidad, según la siguiente ecuación:
1 2 2 8
*2 4
3 3 3 3 10
MP 3,33333
1 2 3 3
3 3 3
Media aritmética y Media aritmética
ponderada
• Para una variable aleatoria discreta X con valores posibles
x1, x2,…, xn y sus probabilidades representadas por la
función de probabilidad p(xi) la media se calcula como:
n
E ( X ) p 1 x 1 p 2 x 2 ... p n x n i 1
pi xi
10 4
• Según esta tabla, cuál niño tiene mayor probabilidad
de caminar: el de 9 o el 12 meses?
11 9
• 2 mamás consultan al pediatra, sus hijos tienen 13 y
12 16
15 meses. Respectivamente. Ninguno camina aún. El
pediatra solicita una radiografía de cadera para el niño
13 11 de 15 meses ¿Por qué no toma esta decisión sobre el
de 13 meses?
14 8
• Según estos datos a qué edad se espera que camine
15 1 un niño?
Media aritmética y Media aritmética
ponderada
En un maternal los nenes de la sala bebes
Meses Niños aprendieron a camino entre los 9 y 15 meses.
15 2
Logaritmo y sus propiedades
Se define logaritmo como el exponente de una potencia con
cierta base, es decir, el número al cual se debe elevar una base
dada para obtener un resultado determinado.
Por ejemplo:
50=1
51 = 5
52 = 25
53 = 125, etc.
Luego, siendo la base 5, el logaritmo de 1 (que se escribe log5 1)
es 0, por que 0 es el exponente al que hay que elevar
la base 5 para que dé 1; el log5 5 es 1; el log5 25 es 2, el log5 125
es 3, etc.
Logaritmo y sus propiedades
• No existe el logaritmo de los números negativos.
• El argumento y la base de un logaritmo son números reales
positivos. Además, la base no puede ser 1. Es decir, en la expresión logb a,
siempre, por definición, a R+ y b R+ – {1}.
• La expresión logb a , se lee como: “logaritmo de a en base b”.
Ejemplo1:
Calcula el valor de log7 343 equivale a resolver la ecuación:
log7 343 = x
Entonces, ya que la base del logaritmo es 7, el exponente no se conoce y
343 es el argumento, es decir, el valor de la potencia, se puede escribir:
7x =343
7x = 7 3
luego, igualando los exponentes, se concluye que
x= 3
Luego, log7 343 = 3
Logaritmo y sus propiedades
• Para una definición más completa de logaritmos, se
determinarán restricciones respecto de su base y su
argumento.
Propiedades
1. Logaritmo de la unidad
El logaritmo de 1 en cualquier base es igual a 0.
logb (1) = 0 ; con b ≠ 1.
Ej: log5 (1) = 0 porque 50 =1
log7 (1) = 0 porque 70 = 1
log20 1 = 0 200 = 1
Logaritmo y sus propiedades
Propiedades
2- Logaritmos de la base
El logaritmo de la base es igual a 1.
logb (b) = 1 ; con b ≠ 1.
Ej:
log5 (5) = 1 51 = 5
log6 (6) = 1 61 = 6
log12 (12) = 1 121 = 12
Logaritmo y sus propiedades
Propiedades
3- Logaritmo de una potencia con igual base:
El logaritmo de una potencia de un número es igual al
producto entre el exponente de la potencia y el logaritmo
del número.
logb bn = n, con b ≠ 1
Ejemplo: log6 6 3 = 3
Logaritmo y sus propiedades
Propiedades
4- Logaritmo de un producto
El logaritmo de un producto es igual a la suma de los
logaritmos de los factores.
logb (a • c) = logb a + logb c
Ejemplo: