TAREA I. ELECTIVA MACHINE LEARNING Versión 1.

DEPARTAMENTO DE INGENIERÍA MECATRÓNICA Periodo 2019-2

APRENDIZAJE DE DICCIONARIOS
Camilo Medina, Sebastian Arbelaez
{u1802xxx, 1802xxx} @unimilitar.edu.co
Profesor: Nelson Velazco

decir, permitiendo solo un pequeño número de

Resumen—En este documento se realizara una
investigación teórico- práctica sobre el aprendizaje de
diccionarios en machine learning
Palabras clave—Machine Learning,
predicción, algoritmos, Inteligencia artificial.
coeficientes distintos de cero para cada aproximación.
En el escaso aprendizaje del diccionario, el objetivo es
encontrar un conjunto de características 𝐷 (representado
como una matriz aquí) tal que:
regresión,
El | El | 𝑥-𝐷𝑅 | El |2El |El |X-reREl |El |2

I. INTRODUCCIÓN
ACTIVIDAD TEÓRICA
Revise el material propuesto. Y responda con sus propias
palabras.
 ¿Qué es Aprendizaje de Diccionarios?
El aprendizaje del diccionario es un contenido en el campo
de procesamiento de señales, el diccionario se usa
ordinariamente para la representación escasa o la
acercamiento de señales. Un diccionario es una ramillete
de átomos, aquí los átomos son vectores de columnas
reales de distancia N. Un diccionario finito de K átomos se
puede simbolizar como una matriz D de tamaño NxK. En
una representación dispersa, un vector x se representa o se
aproxima como una combinación lineal de algunos de los
átomos del diccionario. La aproximación xa se puede
trazar como:
xa = D w
donde w es un vector que contiene los coeficientes y el
conjunto de las entradas en w son cero. El aprendizaje de
diccionarios es la alternativa de hallar un diccionario de
tal manera que las aproximaciones de muchos vectores, el
conjunto de entrenamiento, sean tan buenas como sea
viable dado un juicio de dispersión en los coeficientes, es
Se minimiza
Fueron 𝑥= vector de entrada, 𝑅 = un vector de coeficientes
dispersos.
Entonces la idea es encontrar 𝐷, el diccionario, que puede
recrear los ejemplos de entrenamiento con alguna
restricción de escasez en el vector de coeficientes 𝑅. 𝐿1La
regularización se usa normalmente para inducir la
restricción de dispersión en 𝑅, esto da como resultado
𝑅teniendo principalmente entradas de valor cero o bajo.
Esto hace que el aprendizaje del diccionario sea
principalmente sin supervisión.
Por lo tanto, tanto DL como el aprendizaje de diccionarios
aprenden representaciones de características de los datos.
Pero el diccionario resultante 𝐷en la codificación dispersa
no es jerárquica como en los sistemas DL. También
difieren por objetivo, el diccionario escaso 𝐷está
optimizado usando un objetivo que es global, esto significa
las características aprendidas 𝐷 no se adaptará
específicamente a la tarea real deseada si el diccionario se
usa más tarde para la extracción de características.
En otros algoritmos de aprendizaje de diccionario, se
utiliza principalmente un enfoque de agrupación en el que
el objetivo es minimizar las diferencias dentro del grupo y
maximizar las diferencias entre grupos. A veces, el
objetivo es aprender un pequeño conjunto de
características que se pueden utilizar para volver a crear

El presente documento corresponde a un informe de desarrollo de Trabajo teórico- práctico de “Machine Learning” presentado en la Universidad Militar
Nueva Granada durante el periodo 2019-2.
 TAREA I. ELECTIVA MACHINE LEARNING Versión 1.0

DEPARTAMENTO DE INGENIERÍA MECATRÓNICA Periodo 2019-2

los datos de entrenamiento con algún cuello de botella en representaciones que puede ser inadecuada para la
algún lugar, como en el codificador automático, donde las variedad de información que pueda encontrar.
capas ocultas actúan como cuellos de botella para obligar
al sistema a aprender características compactas más  Tecnicas de Aprendizaje De Diccionarios
relevantes que pueden ser utilizado como un diccionario MATCHING PURSUIT
de características.
Es un algoritmo de aproximación escasa que encuentra las
 Representacion Dispersa proyecciones de "mejor coincidencia" de datos
multidimensionales en el lapso de un diccionario
La teoría de la aproximación dispersa (también conocida sobrecompletado La idea básica es representar
como representación dispersa ) se ocupa de soluciones aproximadamente una señal H como una suma ponderada
dispersas para sistemas de ecuaciones lineales . Las de muchas funciones finitas (llamados átomos).
técnicas para encontrar estas soluciones y explotarlas en
aplicaciones han encontrado un amplio uso en el
procesamiento de imágenes , procesamiento de señales , Entrada de búsqueda de coincidencia de algoritmo :
aprendizaje automático , imágenes médicas y más.
Señal: diccionario con columnas normalizadas
Al construir una representación de una oración o una
imagen, es importante tener una forma de representación .
distribuida. Por un lado, hay tantas combinaciones
diferentes de escenas u oraciones que simplemente no Salida: lista de coeficientes e índices para los átomos
puede usar representaciones basadas en conglomerados.
Por otro lado, una representación distribuida muy densa correspondientes .
puede ser difícil de aprender. Su representación debe Inicializacion:
imitar la topología de la variedad subyacente, y cuanto más
densa sea su representación, menos grados de libertad ;
tendrá al construir su mapa y más no lineal será la relación.
Una representación dispersa proporciona una forma ;
intermedia entre una representación pura basada en clúster Repetir:
o de una sola vez, y entre una representación puramente
distribuida. Buscar con producto interno máximo ;

;
Hay otro aspecto en el que una representación escasa es
;
superior. No todas las escenas u oraciones contienen la
misma cantidad de información. Una imagen de una puesta
;
de sol, o una imagen de gato contiene poca información,
ya que estas imágenes son muy comunes y muy similares Hasta la condición de parada (por ejemplo: )
entre sí. Una imagen de un automóvil amarillo con lunares
volver
azules aplastados por un asteroide y rodeados por una
manada de caballos del tamaño de un pato contiene mucha
información, ya que es muy poco común y requiere una
descripción extensa. Una representación dispersa puede
adaptarse a diferentes niveles de información. Las entradas
más comunes producirán representaciones más dispersas
que las más extrañas. Sin un previo escaso, está tratando
de aprender una representación única para todas las
El presente documento corresponde a un informe de desarrollo de Trabajo teórico- práctico de “Machine Learning” presentado en la Universidad Militar
Nueva Granada durante el periodo 2019-2.
 TAREA I. ELECTIVA MACHINE LEARNING Versión 1.0

DEPARTAMENTO DE INGENIERÍA MECATRÓNICA Periodo 2019-2

se puede usar para actualizar y directamente sin usar ni las

matrices ni las matrices.
K-SVD

En matemática aplicada , K-SVD es un algoritmo de

aprendizaje de diccionario para crear un diccionario para
representaciones dispersas , a través de un enfoque de
descomposición de valores singulares . K-SVD es una
generalización del método de agrupación k-means , y
funciona alternando iterativamente entre la codificación
dispersa de los datos de entrada en función del diccionario
actual y la actualización de los átomos en el diccionario
para que se ajusten mejor a los datos. II. REFERENCIAS

MOD o ILS-DLA
[1]https://www.youtube.com/watch?v=WSbgixdC9g8
El Método de Direcciones Optimizadas (MOD), o los
Tomado de Internet. 7/08/2019
algoritmos iterativos de aprendizaje de diccionarios de
mínimos cuadrados (ILS-DLA) como la familia de [2] http://www.hutter1.net/mlss08/files/smola.pdf
algoritmos MOD (existen muchas variantes) pueden Tomado de Internet. 7/08/2019
denotarse, pueden usarse para un conjunto de aprendizaje
finito, Xde tamaño NxLy con escasez definida por la [3]https://www.youtube.com/watch?v=ukzFI9rgwfU
norma 0 (el número de coeficientes distintos de cero es Tomado de Internet. 7/08/2019
limitado) o la norma 1 (la suma de los valores absolutos
del coeficiente es limitada), es decir, p=0o p=1. El [4] https://www.youtube.com/watch?v=SN2BZswEWUA
problema de optimización de la ecuación. 3.1 se divide en Tomado de Internet. 7/08/2019
dos (o tres) partes resueltas iterativamente.
[5]https://hackernoon.com/machine-learning-
applications-393f493f871a
Tomado de Internet. 7/08/2019

[6]https://www.vexsoluciones.com/inteligencia-
artificial/ejemplos-del-machine-learning-usos-y-
aplicaciones/
Tomado de Internet. 7/08/2019

RLS-DLA
El algoritmo recursivo de aprendizaje de diccionario de
mínimos cuadrados RLS-DLA se puede encontrar, como
ODL, procesando solo un nuevo vector de entrenamiento
en cada iteración de la ecuación. El diccionario actual se
usa para encontrar los coeficientes correspondientes . La
mejora principal en RLS-DLA, en comparación con LS-
DLA, es que en lugar de calcular la solución de mínimos
cuadrados como en la ecuación. 3.3 en cada paso, el lema
de inversión de matriz (identidad de matriz de Woodbury)

El presente documento corresponde a un informe de desarrollo de Trabajo teórico- práctico de “Machine Learning” presentado en la Universidad Militar
Nueva Granada durante el periodo 2019-2.