Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
Procedimiento
Es un elemento que
emite una seal
Canal de Informacin
Codificaci
Es el proceso por el cual, la n Es la accin de asignar dgitos
salida de una fuente, se binarios
convierte en una secuencia
binaria. Cdigo fuente a una secuencia de
smbolos que
Informacin conllevan la informacin
La funcin est
De amplitud continua De amplitud La funcin solo
definida para
discreta est definida para
cualquier valor de la
un conjunto contable
variable
de instantes de t
EJEMPLO El valor de la El valor de la EJEMPLO
funcin toma un funcin solo toma
Micrfono rango continuo un conjunto finito Teletipo o la
accionado por la de valores de valores salida
voz, o una cmara numrica de
de TV escaneando una
una escena computadora
2.a. Identificar el modelo de entropa para fuentes sin memoria y fuentes con
memoria, mediante documento escrito usted realizar una sntesis de las
caractersticas de las fuentes discretas.
1. Fuentes de information
Una fuente de informacin es un elemento que entrega informacin, como pueden ser una persona
hablando, un ordenador entregando datos... La visin de la persona hablando (por ejemplo), nos puede
servir para ver los elementos ms importantes en la emisin de la informacin. La informacin viaja
sobre la voz de la persona (como una onda de presin). La voz es lo que llamamos seal, que es el
soporte de la informacin. Pero es el hombre quien emite la voz, y es el hombre la verdadera fuente de
informacin.
Esto se puede formalizar con unas definiciones ms rigurosas. Una fuente de informacin es un
elemento que entrega una seal, y una seal es una funcin de una o ms variables que contiene
informacin acerca de la naturaleza o comportamiento de algn fenmeno. Es decir, vamos a
considerar seal tanto al fenmeno fsico que transporta la informacin como a la funcin matemtica
que representa a ese fenmeno. Cualquiera de las dos formas sirve como soporte a la informacin.
Las fuentes de informacin se clasifican basndose en el tipo de seal que entregan. Se pueden
clasificar,
segn el tipo de variable independiente (tiempo) en:
Pero se pueden clasificar tambin segn el rango de valores que cubren las seales. En este caso los
tipos de fuentes de informacin sern:
Estas dos clasificaciones son ortogonales, es decir, existen fuentes continuas de tiempo continuo,
fuentes continuas de tiempo discreto, fuentes discretas de tiempo continuo y fuentes discretas de
tiempo discreto. Aunque en la prctica slo se encuentran dos tipos: las llamadas fuentes analgicas,
que son fuentes continuas de tiempo continuo; y las llamadas fuentes digitales, que son fuentes
discretas de tiempo discreto.
Las fuentes digitales se suelen clasificar segn la relacin que tenga un smbolo con los que le
preceden de la siguiente manera:
Fuentes sin memoria: los smbolos son estadsticamente independientes entre s. De esta
manera, los smbolos que hayan aparecido hasta el momento no van a condicionar al smbolo
presente ni a posteriores.
4
Fuentes con memoria: la aparicin de los smbolos no es estadsticamente independiente. Es
decir, si
han aparecido M1 smbolos, el smbolo Msimo est condicionado por los anteriores.
Vamos a analizar en este apartado las fuentes sin memoria, es decir, aquellas en que los
smbolos son estadsticamente independientes. Esto se puede expresar matemticamente
como:
Tenemos una fuente sin memoria que entrega smbolos de entre un alfabeto S = {s0, s1, ... sK1} con
probabilidades de aparicin p0, p1, ... pK1 para cada smbolo, respectivamente. Por supuesto se
cumple que
.
En un momento dado la fuente entrega smbolo si. Si la probabilidad de este smbolo es pi = 1, es
decir, sabemos de antemano qu smbolo va a entregar, la fuente no est entregando informacin
ya que todo es conocido. En cambio, cuando la fuente entrega un smbolo que no esperbamos
para nada (es decir, la probabilidad de aparicin de ese smbolo es pequea) la informacin que
aporta es grande.
En realidad, el proceso de aparicin de un smbolo puede describir mediante los siguientes pasos:
Antes de la aparicin del smbolo: estado de incertidumbre, desconocimiento del
smbolo que aparecer.
En la aparicin del smbolo: sorpresa, debida a la aparicin de un smbolo no esperado.
Tras la aparicin del smbolo: aumento en la informacin que tenemos ya que no
tenemos la incertidumbre anterior.
Podemos ver, por tanto, que el concepto de informacin est estrechamente ligado con las
ideas de incertidumbre y sorpresa.
3.2. Informacin de un smbolo
Como hemos visto, a mayor sorpresa (probabilidad de aparicin de un smbolo menor) mayor es
la informacin que aporta ese smbolo. De esta manera se define la informacin que aporta un
smbolo en funcin de su probabilidad de aparicin como:
Aunque la base del logaritmo se puede tomar arbitrariamente, se suele tomar base 2. De este
modo, la informacin de un smbolo se mide en bits.
La informacin de un smbolo tiene las siguientes propiedades:
, ya que la probabilidad siempre est comprendida entre 0 y 1. Esta propiedad nos dice
que un smbolo podr aportar mucha, poca o ninguna informacin, pero nunca supondr
una prdida de informacin.
5
. Como habamos visto antes, si sabemos de antemano que smbolo va a aparecer, ste
no aporta ninguna informacin nueva.
, es decir, a mayor sorpresa, mayor informacin.
. Esto quiere decir que la informacin aportada por un smbolo que es la concatenacin de
otros dos es la suma de las informaciones de ambos smbolos.
Como podemos ver la entropa es una suma de un nmero finito de trminos como el analizado
anteriormente, por lo que tambin va a estar acotada.
La entropa de una fuente tiene las siguientes propiedades:
, es decir, que la entropa de una fuente no es negativa y est acotada superiormente. Esto
quiere decir que la fuente no puede suponer una prdida de informacin, as como tampoco
puede entregar una cantidad de informacin ilimitada (para un nmero de smbolos limitado).
para algn i. En este caso el resto de las probabilidades sern nulas. No
habr sorpresa y por tanto la entropa ser nula.
de manera que
6
. Es como si estuvisemos normalizando en nmero de smbolos a 2 (nmero
mnimos de smbolos).
La entropa para este nuevo alfabeto est relacionada con el anterior mediante:
El estudio de las fuentes con memoria es algo ms complejo que el de las fuentes
sin memoria, por lo que no vamos a entrar en detalles. Contrastaremos los
resultados tericos con los resultados de una simulacin.
7
Se puede ver que se va a producir una reduccin de la informacin entregada por la
fuente, ya que una vez que han aparecido M1 smbolos, el smbolo Msimo va a
depender de los anteriores, por lo que contendr menor informacin que si fuese
independiente.
En este ejemplo vamos a simular una fuente con memoria que entrega dos
smbolos que llamaremos {0, 1} (fuente binaria) y cada smbolo est condicionado
slo por el anterior. Podemos caracterizar la fuente, en funcin de las
probabilidades condicionadas:
8
dependencia con el smbolo anterior. As la formula comprende el efecto de la
reduccin de informacin debido a la memoria.
La entropa total de la fuente ser el valor medio de las entropas
condicionadas, como se muestra en la primera ecuacin.
siendo
2.b. Calcular la entropa para una fuente discreta sin memoria, usted entregar
un algoritmo implementado en OCTAVE, el cual le permita modelar una
fuente discreta con memoria y calcular su entropa.
9
1
0
1
1
1
2
1
3
1
4
1
5
1
6
1
7
ALGORITMO
Calcule la entropia de la fuente discreta sin memoria, para una seal aleatoria
closeplot;
clear all;
k=16;
nt=2^k;
a=floor(rand(1,nt)+.5);
dt=k+4;
for n=1:dt
dimb=n;
1
8
numb=floor(nt/dimb);
dim=dimb*numb;
aa=reshape(a(1:dim),dimb,numb);
x=(1:1:n)-1;
xx=2.^x;
ris1=xx*aa+1;
ris2=hist(ris1,2^n);
ris3=ris2(find(ris2));
%
size(ris3,2)/size(ris2,2);
n
p=ris3/numb;
ris(n)=-sum(p.*log(p));
end;
entr=diff(ris);
entr(1)=log(2);
plot(entr);hold;plot(entr,'*');
plot(log(2)*ones(1,dt),'r');grid
input ("Pick a number, any number! ")
EJECUCION
1
9