Teora de Informacin y de la Codificacin

Dr. Francisco Javier Garca Ugalde

1: Informacin y su medida Contenido:

1.1 Nociones bsicas de informacin. Transmisin de la informacin. 1.1.1 Origen de la teoria de la informacin. 1.1.2 Postulados en torno a la informacin. 1.1.3 Representacin de la informacin mediante lenguajes usuales. 1.1.4 Representacin alfabtica. 1.1.5 Transmisin de la informacin: terminologa. 1.1.6 Modelo de un sistema de transmisin de la informacin. 1.2 Medida de la cantidad de informacin en el caso discreto 1.2.1 Propiedades de la entropa.

2: Fuentes y canales de informacin Contenido:

2.1 Fuentes de informacin discretas de memoria nula. 2.1.1 Introduccin: terminologa. 2.1.2 Concepto de fuente de informacin. 2.1.3 Fuentes discretas de memoria nula, descripcin y suministro de informacin y redundancia de una fuente. 2.2 Fuentes de informacin discretas con memoria. 2.2.1 Fuentes discretas con memoria: fuentes de Markov. 2.2.2 Cadenas o procesos de Markov. 2.2.3 Ergodicidad. 2.2.4 Redundancia de una fuente con memoria. 2.3 Canales de informacin discretos. 2.3.1 Introduccin. 2.3.2 Definicin de un canal. 2.3.3 Canal discreto sin memoria. 2.3.4 Canal discreto con memoria. 2.3.5 Representacin probabilstica de un canal. 2.3.6 Extensin de un canal. 2.3.7 Propiedades de la informacin mutua. 2.4 Parmetros asociados a un canal discreto. 2.4.1 Capacidad de un canal discreto sin perturbaciones, transmisin de la informacin y capacidad. 2.4.2 Canales sin ruido. 2.4.3 Teorema fundamental de los canales sin ruido.

2.4.4 Capacidad de un canal discreto perturbado, tipos de canales, capacidad de un canal uniforme, canal binario simtrico y canal binario con anulaciones. 2.4.5 Calculo general de la capacidad del canal. 2.4.6 Redundancia y rendimiento de un canal discreto. 2.4.7 Teorema fundamental de la codificacin de los canales perturbados.

3: Codificacin de la informacin. Contenido:

3.1 Propiedades de los cdigos. 3.1.1 Definicin y terminologa. 3.1.2 Propiedades de los cdigos. 3.1.3 Clasificacin de los cdigos. 3.1.4 Cdigos de decodificacin nica. 3.2 Codificacin de la informacin para canales sin perturbaciones 3.2.1 Longitud media de una palabra cdigo, lmite inferior de la longitud media de una palabra cdigo, capacidad, eficiencia y redundancia de un cdigo y cdigos ptimos. 3.2.2 Teorema de codificacin de los canales sin ruidos: primer teorema de Shannon. 3.2.3 Cdigo binario de Huffman. 3.3 Codificacin de la informacin para canales con perturbaciones, cdigos detectores y correctores de errores. 3.3.1 Cdigos detectores y correctores de errores. 3.3.2 Clasificacin de los cdigos. 3.3.3 Cdigos bloque. 3.3.4 Representacin matricial de las palabras de cdigo. 3.3.5 Matriz generatriz. 3.3.6 Matriz de control. 3.3.7 Codificacin de los cdigos bloque. 3.3.8 Decodificacin de los cdigos bloque. 3.3.9 Probabilidad de error de los cdigos bloque. 3.3.10 Cdigos geomtricos o de control generalizado de paridad: cdigo de Hamming. 3.3.11 Cdigo de Hamming corrector de un error. 3.3.12 Cdigo de Hamming corrector de un error y detector de errores dobles. 3.3.13 Estudio del cdigo (7,4). 3.3.14 Formulacin del caso general. 3.4 Cdigos cclicos 3.4.1 Palabras cdigo de un cdigo cclico 3.4.2 Generacin de las palabras cdigo. 3.4.3 Formacin de los correctores. 3.4.4 Especificacin de las palabras cdigo por las races del polinomio generador. 3.4.5 Polinomio minimal.

3.4.6 Polimonio generador de un cdigo cclico. 3.4.7 Polimonio ortogonal de un cdigo cclico. 3.4.8 Races del polinomio generador. 3.4.9 Matrz de control. 3.4.10 Correccin de errores. 3.4.11 Propiedades de la matriz de control. 3.4.12 Los cdigos B.C.H. y de Reed-Solomon. 3.4.13 Circuitos codificadores y decodificadores polinmicos. 3.4.14 Codificacin por circuitos de divisin. 3.5 Cdigos convolucionales 3.5.1 Definicin de parmetros y propiedades 3.5.2 Construccin del codificador, circuito 3.5.3 Arbol y enrejado trellis asociados 3.5.4 Funcin de transferencia 3.5.5 Algoritmo de decodificacin de Viterbi

4: Mensajes confiables y canales no confiables. Contenido:

4.1 Mensajes confiables transmitidos por canales no confiables. 4.1.1 Introduccin. 4.1.2 Principios generales de la codificacin y decodificacin. 4.1.3 Mensajes confiables y canales no confiables. 4.1.4 Relacin entre la probabilidad de error y la equivocacin. 4.1.5 Regla ptima y regla de verosimilitud.

Bibliografa: 1. Morelos-Zaragoza, Robert H., The art of error correcting coding, J. Wiley & Sons, c2006. 2. Blahut, Richard E. Principles and practice of information theory, Reading, Massachusetts: Addison-Wesley, c1987. 3. Blahut, Richard E. Theory and practice of error control codes, Reading, Massachusetts: Addison-Wesley, c1983. 4. Hamming, Richard Coding and information theory, Englewood Cliffs, New Jersey: Prentice Hall, 1986 c1980. 5. Michelson, Arnold M. Error-control techniques for digital communication, New York: J. Wiley & Sons, c1985.