PERCEPTRN

La arquitectura del Perceptrn, llamada mapeo de patrones (pattern-mapping), aprende a clasificar

modelos mediante un aprendizaje supervisado. Los modelos que clasifica suelen ser generalmente
vectores con valores binarios (0,1) y las categoras de la clasificacin se expresan mediante
vectores binarios.
El Perceptrn presenta dos capas de unidades procesadoras (PE) y slo una de ellas presenta la
capacidad de adaptar o modificar los pesos de las conexiones. La arquitectura del Perceptrn
admite capas adicionales pero stas no disponen la capacidad de modificar sus propias
conexiones.
La siguiente figura muestra la unidad procesadora bsica del Perceptrn. Las entradas
llegan por la parte izquierda, y cada conexin con la neurona

ai

tiene asignada un peso de valor

w ji .

La unidad procesadora del Perceptrn realiza la suma ponderada de las entradas segn la
ecuacin.

S j = ai w ji

Un aspecto comn en muchas de las ANN es la entrada especial llamada "bias" representada en la
parte superior izquierda de la figura (entrada

a0 ). Esta entrada siempre presenta un valor fijo,

+1 y funciona como una masa en un circuito elctrico donde no vara de valor (se puede utilizar
como un valor constante de referencia).
El Perceptrn comprueba si la suma de las entradas ponderadas es mayor o menor que un cierto
valor umbral y genera la salida

{x} rsub {j}

segn la ecuacin siguiente ecuacin:

Si S j >0 entonces x j=1

Si S j 0 entonces x j=1
La salida

xj

es transmitida a lo largo de la lnea de salida y constituye uno de los componentes

del vector de salida de la red.

Las redes Perceptrn de dos capas, representadas en la siguiente figura, tienen una capa de
entrada y una capa de unidades procesadoras que constituyen la capa de salida.

A lo largo de los aos 50 y 60 se desarrollaron muchos tipos de topologas de redes basadas en la

arquitectura del Perceptrn. Las topologas con tres o ms capas se caracterizan porque la regla
de aprendizaje del Perceptrn slo adapta los pesos o valores de las conexiones de una capa. Una
aplicacin tpica de un sistema de tres capas es la que muestra la siguiente figura donde la entrada
es la imagen de la letra E y la salida es la categorizacin de la entrada en dos clases.

El entrenamiento del Perceptrn consiste en presentar a la red todos los elementos del conjunto de
entrenamiento constituido por parejas de vectores (entrada y salida deseada) de forma secuencial.
El objetivo del entrenamiento es llegar a un conjunto de valores de los pesos de la red de forma
que responda correctamente a todo el conjunto de entrenamiento. Despus del entrenamiento los
pesos no son ya modificados y la red est ya en disposicin de responder adecuadamente a las
entradas que se le presenten.
La adaptacin de los pesos se puede realizar mediante diferentes reglas. Una de las reglas ms
simples de aprendizaje del Perceptrn se indica en la siguiente ecuacin:

w j i =w j i +C ( t jx j ) a i
nuevo

Siendo

tj

procesadora,

viejo

el valor de la salida deseada,

ai

el valor de la entrada

xj

el valor de salida producida por la unidad

y C el coeficiente de aprendizaje.

En todo proceso de entrenamiento el comportamiento de la red inicialmente va mejorando hasta

que llega a un punto en el que se estabiliza y se dice que la red ha convergido. Esta convergencia
tiene dos posibilidades, la primera consiste en que la red haya aprendido correctamente el conjunto

de entrenamiento o la segunda se trata de que la red no ha aprendido todas las respuestas

correctas.
El mayor inconveniente del Perceptrn, a pesar del xito que ha tenido en muchas aplicaciones de
clasificacin de patrones es la imposibilidad de adaptar los pesos de todas las capas. En los aos
en los que se realiz el Perceptrn, los investigadores no fueron capaces de disear un algoritmo
que propagara las correcciones de los pesos a travs de redes multicapa.

ADALINE
Bernard Widrow y su estudiante Marcian Hoff introdujeron el modelo de la red Adaline (Adaptive
Lineal Element - Elemento Lineal Adaptativo) y su regla de aprendizaje llamada algoritmo LMS
(Least Mean Square - Mnimos Cuadrados Promediados)
La red Adaline es similar al Perceptrn, excepto en su funcin de transferencia, la cual es una
funcin de tipo lineal en lugar de un limitador fuerte como en el caso del Perceptrn. La red Adaline
presenta la misma limitacin del Perceptrn en cuanto al tipo de problemas que pueden resolver,
ambas redes pueden solo resolver problemas linealmente separables, sin embargo el algoritmo
LMS es ms potente que la regla de aprendizaje del Perceptrn ya que minimiza el error medio
cuadrtico.
El Adaline es Adaptivo en el sentido de que existe un procedimiento bien definido para modificar los
pesos con objeto de hacer posible que el dispositivo proporcione el valor de salida correcto para la
entrada dada; el significado de correcto para efectos del valor de salida depende de la funcin de
tratamiento de seales que est siendo llevada a cabo por el dispositivo. El Adaline es Lineal
porque la salida es una funcin lineal sencilla de los valores de la entrada.
Estructura de la red
La estructura general de la red tipo Adaline puede visualizarse en la siguiente figura:

La salida de la red est dada por:

Para una red Adaline de una sola neurona con dos entradas el diagrama corresponde a la figura
siguiente:

En similitud con el Perceptrn, el lmite de la caracterstica de decisin para la red Adaline se

presenta cuando n = 0, por lo tanto:

Especfica la lnea que separa en dos regiones el espacio de entrada, como se muestra en la
siguiente figura:

La salida de la neurona es mayor que cero en el rea gris, en el rea blanca la salida es menor que
cero. Como se mencion anteriormente, la red Adaline puede clasificar correctamente patrones
linealmente separables en dos categoras.
El elemento de procesamiento que realiza la suma de los productos de los vectores de entrada y
de pesos se denomina combinador adaptivo lineal (ALC). Una variante consiste en agregar un
conmutador bipolar para obtener un nico valor de salida, el cual debido a su funcin de
transferencia ser +1 si la salida del ALC es positiva o 1 si la salida del ALC es negativa.

Regla de aprendizaje
El ALC realiza el clculo de la suma ponderada de las N entradas:

Para realizar una simplificacin en la funcin de salida, vamos a considerar el valor umbral b como
una conexin ficticia de peso w0. Si tenemos en cuenta que para esta entrada se toma el valor de
p0=1, la ecuacin anterior se puede escribir de la forma:

La regla de aprendizaje LMS es conocida tambin como regla delta porque trata de minimizar un
delta o diferencia entre valor observado y deseado en la salida de la red. Entonces, la regla delta,
es un mtodo para hallar el vector de pesos W deseado, el cual deber ser nico y asociar con
xito cada vector del conjunto de vectores o patrones de entrada { X1, X2, X3, ..., XQ} con su
correspondiente valor de salida correcto o deseado {t1, t2, t3, ..., tQ}.
Concretamente, la regla de aprendizaje LMS minimiza el error cuadrado medio, definido como:

Donde Q es el nmero de vectores de entrada (patrones) que forman el conjunto de

entrenamiento, y k la diferencia entre la salida deseada y la obtenida cuando se introduce el
patrn k-simo, que en el caso del Adaline, se expresa como k = (tk ak), siendo ak la salida
del ALC; es decir:

La funcin error es una funcin matemtica definida en el espacio de pesos multidimensionales

para un conjunto de patrones dados.
Entonces las modificaciones de los pesos son proporcionales al gradiente decreciente de la funcin
error:

Por lo tanto, se deriva la funcin error con respecto a los pesos para ver cmo vara el error con el
cambio de los pesos.
Aplicamos la regla de la cadena para el clculo de dicha derivada:

Las modificaciones en los pesos son proporcionales al gradiente descendente de la funcin error:

Siendo

la constante de proporcionalidad o tasa de aprendizaje.

En notacin matricial quedara:

Esta expresin representa la modificacin de los pesos obtenida a partir del algoritmo LMS.

es el parmetro que determina la estabilidad y la velocidad de convergencia del vector de pesos

hacia el valor de error mnimo. Los cambios en dicho vector deben hacerse relativamente
pequeos en cada iteracin, sino podra ocurrir que no se encontrase nunca un mnimo, o se
encontrase solo por accidente, en lugar de ser el resultado de una convergencia sostenida hacia l.
Resumiendo, el algoritmo de aprendizaje puede expresarse como el siguiente proceso iterativo:
1) Se inicializa la matriz de pesos y el valor de la ganancia, por lo general se asignan valores
aleatorios pequeos a cada uno de los pesos wi y al valor b. El valor de b puede tomarse
como el valor de un peso adicional w0 asociado con una entrada adicional siempre en 1.
2) Se aplica un vector o patrn de entrada, pk, en las entradas del Adaline.
3) Se obtiene la salida lineal:

Y se calcula la diferenciacin respecto a la deseada

k = (tk ak).

4) Se actualizan los pesos:

5) Se repiten los pasos 2 al 4 con todos los vectores de entrada ( Q).

6) Si el error cuadrtico medio:

es un valor reducido aceptable, termina el proceso de aprendizaje; sino, se repite otra vez
desde el paso 2 con todos los patrones.