Introduccin

En este tema vamos a introducir el paradigma de redes neuronales artificiales,

muy popular dentro de la Inteligencia Computacional. El enfoque que se va a
seguir en la introduccin del paradigma es fundamentalmente como una
herramienta para resolver problemas de clasificacin supervisada. En ningn
momento tratamos de plantear un modelo del sistema nervioso de los seres vivos.
A lo largo del tema se comienza en la Seccin 8.2, introduciendo de manera muy
resumida aquellos aspectos ms relevantes de un sistema neuronal artificial, tales
como neurona, dendrita, axn, sinapsis, funcin de activacin, finalizndose la
seccin con la exposicin de distintos tipos de arquitecturas de redes neuronales.
En la Seccin 8.3 se presenta el modelo de red neuronal ms simple, el
denominado asociador lineal, incluyndose en la seccin algunas ideas
relacionadas con el aprendizaje Hebbiano. La Seccin 8.4 presenta el perceptrn
simple junto con el algoritmo de aprendizaje de pesos propuesto por Rosenblatt
(1962) para este modelo de red neuronal. La seccin 8.5 introduce la denominada
Adelina junto con la regla de actualizacin de pesos propuesta para la misma por
Widrow y Hoff (1960). El modelo perceptn multicapa al igual que el algoritmo de
retropropagacin de error propuesto para el mismo por vez primera por Werboz
(1974) se desarrollan en la seccin
MARCO TEORICO

La elaboracin de pronsticos est ntimamente relacionada con la construccin

de modelos. Estos, van desde el simple esquema mental, sustentado en la
experiencia del investigador, hasta la construccin de sofisticados modelos
estadsticos, que enlazan a travs de ecuaciones, el comportamiento presente y
pasado, de la variable motivo del pronstico. Los primeros se denominan mtodos
cualitativos y los ltimos mtodos cuantitativos.

En los ltimos aos han surgido nuevas herramientas que combinan las dos
metodologas y que tienden a elaborar pronsticos de manera automtica, a travs
de una nueva metodologa denominada redes neuronales, enmarcada dentro de
un campo del conocimiento ms amplio llamado, Sistemas expertos, el cual a su
vez forma parte de lo que hoy en da se conoce como Inteligencia Artificial. Para
efectos de contextualizar el trabajo, optaremos por clasificar a los mtodos de
pronstico mencionados, de la siguiente manera:

Mtodos tradicionales de prediccin

Entre stos se encuentran los mtodos cualitativos y cuantitativos. Los mtodos

cualitativos, estn basados slo en la experiencia del investigador y se utilizan
cuando no existen registros histricos de la variable a pronosticar. En este caso
los mtodos estadsticos juegan un papel relativamente secundario. Aqu lo ms
importante es contar con un grupo de expertos, dotados de intuicin (Uriel,
1995a), que tengan un buen conocimiento tecnolgico o especializado acerca del
fenmeno en consideracin.

Los mtodos cuantitativos, parten del supuesto que se tiene registros de

informacin sobre el pasado de la variable que se quiere estudiar. Esta
informacin forma una serie temporal, la cual se caracteriza por corresponder a
periodos regulares de tiempo, pudiendo ser anual, mensual, trimestral, etc. El
papel del investigador en este caso es, tratar de extraer todo los conocimientos
contenidos en los datos y en base al patrn de conducta observado en el pasado,
realizar conjeturas sobre el futuro (Uriel, E., 1995b). Aqu, Los patrones
observados en la serie se formalizan a travs de un modelo estadstico, cuyos
parmetros se estiman a partir de los datos histricos. Existe una amplia variedad
de modelos, variando en la complejidad de la forma funcional y en los
procedimientos de estimacin de sus parmetros. Dentro de stos a su vez
podemos considerar a los modelos univariantes y multivariantes o causales
Los mtodos de descomposicin, consideran en general, que la serie, surge de la
interaccin de cuatro componentes (no necesariamente todas): tendencia, factor
cclico, movimiento estacional y movimiento irregular (Berenson, Levin, Krehbiel,
2001). La tendencia refleja las variaciones a largo plazo y se puede estimar
utilizando mtodos de regresin. El factor cclico consiste en variaciones
superiores a un ao que pueden o no presentar periodicidad. Los movimientos
estacionales se presentan en forma regular en series clasificadas en periodos
menores a un ao. Como por ejemplo la demanda de agua en los meses de
verano. El movimiento irregular est asociado a factores no previsibles.

Los mtodos de suavizacin exponencial, permiten tambin estimar la tendencia,

pero a diferencia de los otros mtodos de estimacin de la tendencia, ste mtodo
asigna diferentes ponderaciones a las observaciones de la serie, pudindose
hacer que las observaciones ms recientes tengan una mayor importancia en el
pronstico. En los mtodos anteriores, el investigador, establece un modelo a
priori y despus procede a los clculos correspondientes. En los modelos ARIMA,
se considera que la serie temporal ha sido generada por un proceso estocstico y
se procede a identificar el modelo generador de las observaciones, para luego
estimar y verificar el modelo. Si se acepta que ste representa a la serie, se lo
utiliza para elaborar los pronsticos. En el anlisis multivariante, se considera que
la serie no slo es determinada por su pasado, sino que pueden existir otras
variables externas que la determinan. En este caso tenemos los modelos causales
como la regresin mltiple y los modelos multivariantes de series temporales. Otro
de los aspectos que diferencian a las tcnicas es el horizonte del pronstico.
Algunas sirven para horizontes que van desde unos pocos minutos hasta algunas
semanas, meses o trimestres y otras permiten hacer pronsticos a un horizonte
mayor. Aunque estas tcnicas suelen ser bastante automticas, sin embargo
permiten la intervencin humana, ya sea de un operador o un experto, si esto se
justifica, con el objetivo de evaluar constantemente los resultados y ajustar los
modelos si es necesario, con el fin de mejorar la prediccin. La eleccin de un
buen modelo de prediccin est basada en alguna medida de error, sin embargo
tambin es importante que sus resultados sean interpretables. Aunque en muchas
situaciones se han obtenido resultados bastante buenos con stos mtodos, hoy
en da han surgido nuevas alternativas, que pueden proporcionar resultados con
igual o mejor precisin. Estas tecnologas 25 estn relacionadas con los sistemas
expertos, motivo de la presente investigacin.
Mtodos modernos de prediccin:

Los progresos de la ciencia en el rea de la informtica, han permitido que cierto

tipo de problemas de difcil tratamiento con los mtodos tradicionales, encuentren
actualmente posibilidades de solucin. Las tcnicas actuales estn utilizando las
capacidades humanas no slo como instrumentos para el desarrollo de ms
conocimientos, sino que tratan de utilizar dichas capacidades para implementar
algoritmos que simulen dichas capacidades. Es en esta lnea de investigacin, que
surge La inteligencia artificial, como una de las reas ms fascinantes y
prometedoras de la ciencia moderna, la cual tiene como uno de sus instrumentos
para solucionar sus problemas, a las redes neuronales.

Inteligencia artificial (IA)

El hombre desde sus inicios ha soado con dominar al mundo; en este intento, ha
ido creando diferentes instrumentos, siendo uno de los ms significativos el
descubrimiento de las mquinas. Pero no slo se interes en su creacin, sino que
intent dotarles de algn tipo de inteligencia. Muestras de de ello se encuentra a
travs de toda la historia, como por ejemplo el mito del coloso de rodas entre los
griegos, el motor analtico de Charles Babbage que calculaba logaritmos
(ELGUEA, 1987); sin embargo, fue slo a partir de 1943, cuando estos intentos
vieron la luz, gracias a Warren Mc Culloch y Walter Pitts, quienes propusieron un
modelo de neurona de cerebro humano y animal. Estas neuronas, inspiradas en el
cerebro, proporcionaron una representacin simblica de la actividad cerebral.
Tiempo despus, Nobert Wiener sistematiz estas y otras ideas dentro de un
campo denominado inteligencia artificial. Un evento que marco el ingreso de la
Inteligencia artificial en las Ciencias, fue el congreso de Darthmouth en 1956 en el
cul se sent las bases de esta nueva disciplina y se 26 reconoci explcitamente
que el pensamiento puede ser comprendido de manera formal y cientfica y que es
posible transmitirlo a las mquinas

Esta nueva rama de conocimiento, surge ante la necesidad de solucionar

problemas complejos, los cules se pensaba, slo podan ser resueltos por
personas, debido a que su formulacin y resolucin requeran ciertas habilidades
como la de pensar, memorizar, aprender, ver, etc.
Redes neuronales

Redes Neuronales Artificiales (RNA)

Las redes neuronales artificiales, constituyen un rea de la IA y se crearon con la

finalidad de resolver problemas que en un principio se crea, slo podran ser
solucionados por el cerebro humano. Las redes neuronales constituyen un
enfoque totalmente diferente de analizar los datos con respecto a las tcnicas
tradicionales. En lugar de utilizar modelos preconcebidos, stas utilizan el cerebro
humano y su estructura, para desarrollar una estrategia, que permita la solucin
de los problemas en forma similar a la que resultara de algn experto humano. Un
elemento esencial de una red neuronal, es su capacidad de aprendizaje a partir de
los datos disponibles. Este aprendizaje est inspirado en la forma de aprender que
tiene lugar en las neuronas, el cual se va perfeccionando en la medida que la red
adquiere ms entrenamiento, es decir tienen la capacidad de aprender a realizar
tareas a partir de una experiencia inicial.

Las RNA, tal como las personas, aprenden de la experiencia y son capaces de
manejar las imprecisiones e incertidumbres que aparecen cuando se trata de
resolver problemas relacionados con el mundo real (reconocimiento de formas,
toma de decisiones, etc.), ofreciendo soluciones robustas (tolerantes a cambios de
las condiciones imperantes) y de fcil implementacin.
Arquitectura de las Redes Neuronales

Una red neural, relaciona un conjunto de variables de entrada o inputs

(independientes), a un conjunto de una o ms variables de objetivo u outputs
(dependientes). La diferencia entre una red neural y los otros mtodos de
pronstico, es que, sta hace uso de una o ms capas ocultas, en las cuales las
variables de entrada son transformadas por alguna funcin especial, denominada
funcin de salida o de transferencia. Mientras esta aproximacin de capa oculta
parece esotrica, representa una forma muy eficiente para modelar procesos
estadsticos altamente no lineales.
En la figura 3, se muestra una red neuronal artificial tpica, caracterizada por
neuronas interconectadas y arregladas en tres capas (aunque esto ltimo puede
variar). La informacin fluye por medio de la capa de entrada, pasa a travs de la
capa oculta y se emite por la capa de salida. La figura 4 muestra una unidad
neuronal tpica sugerida por McCulloch y Pitts (1943). En ella se pueden distinguir
las siguientes componentes: un conjunto de conexiones de entrada, un conjunto
de pesos, una funcin procesadora, un umbral de activacin y un valor de salida

Elementos de una Red Neuronal

Neuronas: Unidades procesadoras

Las neuronas son los elementos procesadores de la red neuronal. Aqu el cuerpo
de la neurona se representa como una combinacin lineal de los estmulos. Es
decir se trata de una unidad de proceso con n entradas, y una unidad de salida:

Donde, f (x) es la funcin neuronal (funcin de salida o funcin de transferencia) y

wij son los pesos que indican la aportacin que tiene cada valor de entrada en la
suma (el peso wi0 i indica el valor umbral de activacin para la neurona, y x0 1 , es
un valor auxiliar que permite introducir el valor umbral en el proceso). Este modelo
de neurona tiene muchas similitudes con las neuronas biolgicas: las conexiones
son anlogas a las dendritas y axones, los pesos de las ponderaciones equivalen
a las sinapsis y el umbral de activacin representa la actividad de la neurona.

Capas de una red

Una red se caracteriza porque tiene capas de entrada, capas ocultas y capas de
salida; cada una de ellas est constituida por un conjunto de nodos. La capa de
entrada tiene como objetivo distribuir la informacin contenida en las variables de
entrada hacia la capa oculta y est constituida por tantos nodos como variables de
entrada existan. La capa de salida por su parte se encarga de proporcionar los
resultados del entrenamiento de la red. Una vez que el modelo ha sido definido, la
determinacin del nmero de nodos de entrada y salida es trivial, lo que no ocurre
con la determinacin del nmero de capas ocultas y el nmero de nodos ocultos
en cada capa. La construccin de la estructura de procesamiento de la red es
arbitraria. En relacin a la construccin de las capas ocultas, existen mltiples
aproximaciones que producen resultados similares, sin embargo es importante
seleccionar aquellos factores que 34 conduzcan a seleccionar una configuracin
ptima. Esos factores incluyen la cantidad de patrones de entrenamiento (calidad
de los datos), el nmero de nodos de entrada y salida y la relacin entre los datos
de entrada y salida. Puede ser tentador construir una red con muchas unidades de
procesamiento y capas ocultas, cayendo en la trampa de que mientras ms
grande es la red, mejor es el modelo. Esta filosofa puede fcilmente resultar en
un pobre rendimiento del modelo. Cuando la estructura de procesamiento oculta
de una red es muy grande y compleja para el modelo que est siendo
desarrollado, la red puede tender a memorizar los conjuntos de entrada y salida
ms que aprender las relaciones entre ellos. Dicha red puede entrenar bien, pero
tener un pobre rendimiento cuando se le presentan valores de entrada fuera del
rango del conjunto de entrenamiento

Funciones de transferencia o de salida.

Las funciones de transferencia de un nodo, f (S) , tienen el propsito de controlar

la potencia (fuerza) de la seal de salida del nodo. Inicialmente McCulloch y Pitts,
consideraban que estas funciones slo podan tomar los valores 0 y 1. Desde
entonces se han dado numerosas actualizaciones, empleando otro tipo de
funciones, dentro de las cuales destacan aquellas que tienen como salidas,
valores que fluctan entre -1 y.

Las funciones de transferencia ms utilizadas son las siguientes:

Funcione lineal o identidad:

son aquellas cuya salida es igual al nivel de activacin de la unidad. En las

neuronas con este tipo de funciones, si la 3 , suma de las seales de entrada es
menor que un lmite inferior, la activacin se define como 0 ( -1). Si dicha suma
es mayor o igual que el lmite superior, entonces la activacin es 1. Si la suma de
entrada est comprendida entre ambos lmites, la activacin se define como una
funcin lineal de la suma de las seales de entrada. Simblicamente:
Funcione escaln:

Utilizada cuando las salidas de la red son binarias. La salida se activa slo cuando
el estado de activacin es mayor o igual a cierto umbral. Dos funciones clsicas
son la funcin signo, sgn(x) y la funcin escaln estndar, Y(x) , definidas como,