Introduccin

Este curso es un exposicin sencilla de los fundamentos de la teora de la informacin. La audiencia objeto de este curso son los estudiantes de Tecnologa en Telecomunicaciones de Uniminuto y Unicatlica. Se supone una exposicin previa a conceptos de clculo, probabilidad y procesos estocsticos. Esta disciplina se inici en un artculo publicado por Dr. Claude Elwood Shannon en 1948 titulado "A mathematical Theory of Communication". Esencialmente la teora de la informacin permite conocer los lmites fundamentales de las variables que gobiernan la transmisin de informacin en un sistema de comunicaciones, como por ejemplo la mxima velocidad de transmision de informacion confiable que se puede alcanzar en un sistema con ruido, el precio que hay que pagar por una transmisin confiable, compromisos de codificacion y transmision de informacin, etc. El manejo matemtico requerido en un curso de esta naturaleza es complejo. Sin embargo este curso est esencialmente orientado a explorar en palabras sencillas el significado de estas matemticas y la utilidad de este conocimiento para un ingeniero de telecomunicaciones en la vida prctica. El curso se desarrolla principalmente a travs del estudio y anlisis de algunos de los artculos ms relevantes de la disciplina. Se incluyen adems talleres con problemas numricos.

Objetivos
Estudiar el modelo matemtico de un sistema de comunicaciones. Entender el significado de la entropa de la informacin. Estudiar la naturaleza de la codificacin, compresin y transmisin de informacin y sus lmites fundamentales. Conocer las implicaciones prcticas de la teora de la informacin en los sistemas de comunicaciones modernos.

Evaluacin
Primer Examen 30% 2008

Segundo Examen 35% 2008 Trabajo Final 35% 2008

Contenido

1. Introduccin El problema Fundamental de la Comunicacin . Modelo General de un Sistema de Comunicaciones 2. Sistemas Discretos Sin Ruido Capacidad de un canal discreto. Fuente discreta de informacin. Incertidumbre, Informacin y Entropa. Propiedades de la Entropa. Entropa de fuentes discretas. Teorema Fundamental de un canal sin ruido. 3. Canal Discreto con Ruido Rata de transmisin efectiva. Capacidad de un Canal con Ruido. Teorema de la Codificacin. 4. Sistemas Continuos Conjuntos y Ensambles de Funciones. Entropa de una distribucin contnua. Entropa de un conjunto de funciones. Capacidad de un canal contnuo. Capacidad de un canal limitado en potencia. Rata de una fuente contnua. Rata de una fuente con un criterio de fidelidad. 5. Comunicacin en Presencia de Ruido Teorema del Muestreo. Representacin de seales contnuas en un espacio euclidiano. Anlisis Geomtrico. Capacidad del canal con ruido gausiano. Teora rata-distorsin. 6. La Filosofia del PCM Porqu estudiar PCM en teora de la informacin?. Muestreo, Cuantizacin, Codificacin, Decodificacin, Reconstruccin. El beneficio de la regeneracin. Requerimientos de Transmisin. Desempeo de un sistema PCM. 7. Deteccin y Correcin de Errores Codigos Sistemticos. Redundancia. Cdigos de Deteccion de un Error. Cdigos de Correccin de un Error. Correccin de un Error ms Deteccin de dos Errores. Modelo Geomtrico. 8. Cdigos de Redundancia Mnima Longitud Promedio de un mensaje. Restricciones Bsicas. Requerimientos de Codificacin. Cdigo Optimo Binario. Metodo de Huffman. 9. Codificacin de Fuente Optima por Medio de Codificacin de Rata Variable Introduccin. Algunas consideraciones matemticas. Algoritmo Lempel-Ziv. 10. Lmites Fundamentales Introduccin. Compresin de datos y entropa. Lmite fundamental de la eficiencia de codificacin. Transmisin con distorsin. Codificacin de fuente universal. Canal Interceptado. 11. 50 Aos de la Teora de Shannon Antes de 1948. Compresin de datos sin prdidas. Capacidad del Canal. Compresin de datos con prdidas.

Referencias
[1] C. E. Shannon, "A mathematical theory of communication," Bell Syst.Tech. J., vol. 27, pp. 379-423, 623-656, July-Oct. 1948. [2] C. E. Shannon, "Communication in the presence of noise," Proc. IRE, vol. 37, pp. 10-21, Jan. 1949. [3] B. M. Oliver, J. R. Pierce, and C. E. Shannon, " The Philosophy of PCM", Proc. IRE, vol 36, pp. 1324-1331, Nov. 1948. [4] R. W. Hamming, "Error detecting and error correcting codes", Bell Syst. Tech. J., vol 29, pp. 147-150, 1950. [5] D. Huffman, "A method for the construction of minimum redundancy codes," Proc. IRE, vol. 40, pp. 1098-1101, Sept. 1952. [6] J. Ziv and A. Lempel, "A universal algorithm for sequential data compression", IEEE Trans. Inform. Theory, vol IT-23,no. 3, pp. 337-343, May 1977. [7] A. D. Wyner, "Fundamental Limits in Information Theory", Proc. IEEE, vol 69, No.2, Feb. 1981. [8] S. Verd. "Fifty Years of Shannon Theory", Trans. Information Theory, vol 44, pp 2057-2078, Oct. 1998.

Bibliografa
N.J.A Sloane and A.D. Wyner, Eds., Claude Elwood Shannon Collected Papers, Piscataway, NJ., IEEE Press, 1993. The Institute of Electrical and Electronics Engineers, IEEE Transactions on Information Theory. The Institute of Electrical and Electronics Engineering. Proceedings of the IEEE. Pagina web IEEE Information Theory Society: http://www.itsoc.org