Integrantes

Jose carlos Mamani arizapana

Aldo Quispe Rodriguez
Romario Flores Mullaya
APRENDIZAJE PROFUNDO CON
KERAS
Qu es Keras?

Biblioteca de redes neuronales escrita en Python

Diseado para ser minimalista y directo pero extenso
Construido encima de Theano como nuevo TensorFlow
Por qu usar Keras?

Simple para comenzar, simple para seguir

Escrito en python y altamente modular; fcil de expandir
Lo suficientemente profundo como para construir modelos serios
Diseo general
La idea general es basarse en las capas y su entrada / salida
Prepare sus entradas y tensores de salida Cree la primera capa para
manejar el tensor de entrada Cree capa de salida para manejar los objetivos
Construye prcticamente cualquier modelo que te guste en el medio
Capas y capas (como un Ogre)

Keras tiene varias capas pre construidas. Los ejemplos notables incluyen:
Regular denso, tipo de MLP
Capas y capas (como un Ogre)

Capas recurrentes, LSTM, GRU, etc.

Capas Convolucionales 1D
Capas Convolucionales 2D
Activaciones

Ms o menos todas sus activaciones favoritas estn disponibles en : Sigmoid,

tanh, ReLu, softplus, sigmoide duro, activaciones avanzadas lineales
implementadas como una capa (despus de la deseada capa neural)
Objetivos y Optimizadores
Funciones objetivas:
Prdida de error: rmse, mse, mae, mape, msle
Prdida de bisagra: bisagra cuadrada, bisagra
Prdida de clase: crossentropy binario, crossentropy categrico
Mejoramiento:
Proporciona SGD, Adagrad, Adadelta, Rmsprop y Adam
Todos los optimizadores se pueden personalizar a travs de parmetros
Ejemplo: una aplicacin SUPER
interesante
Deteccin de sarcasmo en las revisiones de Amazon.com:
Basado en la teora de que el sarcasmo se puede detectar usando transiciones de
sentimiento
El conjunto de entrenamiento se separ en revisiones sarcsticas y regulares
El sentimiento recursivo de Stanford se ejecut en cada oracin para crear un
vector de sentimiento
APRENDIZAJE PROFUNDO CON CAFFE
 CAFFE

Caffe es una biblioteca de visin artificial ampliamente

conocida que ampli la implementacin de Matlab de
redes convolucionales rpidas a C y C ++.
 Por qu Caffe?
La arquitectura expresiva fomenta la aplicacin y la
innovacin.
Los modelos y la optimizacin se definen mediante la
configuracin sin codificacin rgida.
El cdigo extensible fomenta el desarrollo activo.
Speed hace que Caffe sea perfecto para experimentos de
investigacin e implementacin en la industria.
Caffe puede procesar ms de 60 millones de imgenes por
da con una sola GPU NVIDIA K40 *.
 Pros y contras:
(+) Bueno para redes de feedforward y procesamiento de imgenes
(+) Bueno para ajustar las redes existentes
(+) Entrene modelos sin escribir ningn cdigo
(+) La interfaz de Python es bastante til
(-) Necesita escribir C ++ / CUDA para nuevas capas de GPU
(-) No es bueno para redes recurrentes
(-) engorroso para redes grandes (GoogLeNet, ResNet)
(-) No extensible, un poco de bola de pelo
(-) Sin soporte comercial
(-) Probablemente muriendo; desarrollo lento
 CAFFE2:
Caffe2 es el segundo marco de aprendizaje profundo respaldado
por Facebook despus de Torch / PyTorch.
La diferencia principal parece ser la afirmacin de que Caffe2 es
ms escalable y liviano. Pretende ser aprendizaje profundo para
entornos de produccin.
Deep learning con
theano
Jose carlos Mamani Arizapana
 Theano es una biblioteca
para clculo numrico en
Python, que se desarroll
como un proyecto de cdigo
abierto.
Las caractersticas esenciales de Theano

Combinan las operaciones del lgebra de

matrices, en el mejor estilo de Matlab y
Numpy, definicin de variables
simblicas como en Mathematica o
Maple, adems de la compilacin a CPU o
GPU. Los creadores dicen que se trata de
un compilador de CPU a GPU en Python
Rpidas cuando se compila para GPU.
Sin embargo, aunque Theano fue el
pionero de los entornos para el
aprendizaje profundo, han salido nuevos
marcos de trabajo como el Cognitive
Toolkit 2 de Microsoft o TensorFlow de
Google
Una Sola
Neurona
Primero, implementemos una neurona
En esta etapa, supongamos que los parmetros del
modelo w y b son conocidos.
Una sola neurona - Variables compartidas
Neurona nica Entrenamiento
Red neuronal
FUNCION DE MIKU
Hacer Minibatch
Definicin de red
Declarar entrada de red
x = T.matrix('input',dtype='float32')
Declarar salida de red:
y_hat = T.matrix('reference',dtype='float32')
Declarar parmetros de red:
W1 = (matrix), W2 = , W3 =
b1 = (vector), b2 = (vector), b3 = (vector)
parameters = [W1,W2,W3,b1,b2,b3]
Definicin de red
Minibatch
Procesamiento por lotes
Funcin de activacin ReLU
ReLU (Rectified Linear Unit), es todo o nada, pasas el gradiente o no lo pasas.
Declarar funciones
Entrenamiento y pruebas
RESULTADOS
 Estructura de red: 2-1000 -1000-1
Tamao del lote: 1000
Funcin de activacin: sigmoide
Tasa de aprendizaje: 0.01 (fijo)