Sofia2

IoT Platform

Madrid, Noviembre de 2016

Vista Tcnica de
Sofia2 IoT Platform

2
CAPACIDADES Sofia2 en detalle

puede definirse como un middleware + repositorio capaz de procesar miles de eventos por segundo, con
capacidades de almacenamiento y analtica Big Data con reglas integradas, interfaces multiprotocolo y
multilenguaje y todo operable desde una consola Web.
Plataforma Seguridad Web + API Big Data Social Media
Integrada Integrada Gestin
Ingesta, Anlisis y Ingesta y Anlisis de
Seguridad integrada Panel de control procesamiento informacin de redes
(no acoplada)
en todos los elementos centralizado BigData sociales

Multi-dispositivo Interoperable Customizable y Visor Holstico Semntica

extensible
Omnicanalidad de la Capacidad de operar Capacidad de Modelado de la
plataforma (Tablet, con diversas Adaptable a las representacin semntica visualmente
Smartphone, Pc, etc.) soluciones necesidades

Escalabilidad Tecnologas y On Premise & MarketPlace Open Source &

horizontal Estndares On Cloud Comercial
Con las soluciones
con independencia del Hace uso de la ltima Instalado en cliente o integradas sobre la Versiones con o sin
tamao tecnologa y en Cloud Plataforma soporte
estndares
3
CONCEPTUALMENTE: Sofia2 en detalle

ThinKP
ThinKP
ThinKP ThinKP
ThinKP
JSON
JSON JSON

Incidencia ON MP3
Luminosidad Medidas
Biomtricas

ThinKP
Suscrito
a cambios
ThinKP

BDC BDTR BD
H
Ontology: Entidades SIB (Semantic Information Broker) es el ThinKP (Thing + Knowledge
manejadas dentro del Smart core del Smart Space, actuando como Processor ) cada elemento que
Space e intercambiadas entre elemento integrador de la informacin comunica con un Smart Space
Things y SIB semntica intercambiada y como almacn produciendo y/o consumiendo
de informacin. informacin.
Smart Space: Entorno colaborativo virtual donde dispositivos y aplicaciones interoperan para
ofrecer una funcionalidad compleja.

4
VISTA GENERAL Sofia2 en detalle

5
FLUJO IOT Sofia2 en detalle

Ejemplo Smart Home

1. Desde Sofia2 Control Panel modelo ontologas que
representan mi casa (Gateway, enchufes, cmara,)

2. Conecto en casa Gateway a los dispositivos y compruebo que

informacin llega a Semantic Broker y a la BDTR desde Ampliaciones
Sofia2 Control Panel
1. Desarrollo Dashboards para monitorizar el estado del sistema
3. Defino Reglas de actuacin ante eventos desde Sofia2 Control
Panel (por ejemplo generar Alarma si T supera un umbral 2. A travs de Sofia2 ML defino modelos predictivos de consumo

4. Desarrollo App mvil y web con Apis Sofia2 para controlar mi 3. Integro informacin de otros sistemas con Sofia2 DataFlow para enriquecer informacin
hogar de forma remota
4. Publico informacin anonimizada y aregada a otros partners

6
FLUJO SOCIAL MEDIA Y ANALTICA ONLINE Sofia2 en detalle

Ejemplo Social Media Analysis

1. Desde Sofia2 Control Panel defino una escucha en Twitter
sobre mi compaa

2. Configuro una Regla que en tiempo real hace un anlisis de

sentimiento sobre los tuits. Ampliaciones
3. Desarrollo Dashboards de anlisis del sentimiento, palabras 1. Ofrezco la informacin a la compaa a travs de APIS, Portal y del API Manager para que
ms usadas, horario de ms trfico, pueda consumir los datos va API
4. Desde Sofia2 Notebooks hago exploraciones sobre los datos, 2. Aado analtica de la web de la organizacin a travs de Google Analytics
accedo a tuits negativos y los caso con los influencers

5. Defino actuacin ante estos casos y comunico con usuario

7
FLUJO ANALTICA BATCH Sofia2 en detalle

Ejemplo Clustering
1. Carga de ficheros en Staging (segn tamao por FTP, subida
web en Sofia2 Control Panel)

2. Desde Sofia2 Control Panel crear ontologas de forma visual

sobre esa informacin a travs de un Wizard Ampliaciones
3. Desde Sofia2 Notebooks har mis pruebas sobre la 1. Ofrezco la informacin a la compaa a travs de APIS, Portal y del API Manager para que
informacin incorporada: diversos algoritmos, parmetros, pueda consumir los datos va API
4. Una vez cerrado el experimento lo creo como en Sofia2 ML y
lo publico va Sofia2 API Manager

5. Creo Dashboards de visualizacin de la informacin

8
3 VERSIONES DE LA PLATAFORMA
BASE
EDITION
Adecuado paraDebilidades
desarrollo gil de
aplicaciones que pueden incluir
captacin de informacin sensrica .
Facilita el Desarrollo gil:
Gestin del modelo de datos a
travs de UI unificada.
Acceso CRUD automtico a las
entidades
Definicin de reglas de negocio
desacopladas de forma sencilla
y asistida.
Simplifica las integraciones.
IOT
EDITION
Diseada para flujos IoT: sistemas que
gestionan grandes volmenes de
informacin producidos en poco tiempo.
Sistemas con gran componente sensrica:
Smart Home/Building
Smart Retail
Smart Industry
Smart Health
El ser humano como sensor: RRSS
Sist. altamente complejos: Smart Cities
Sofia2 en detalle
ADVANCED
ANALYTICS
EDITION
Ampliamos el Internet of Things hacia
el Analytics of Things sobre el gran
volumen de datos generado:
Integracin con herramientas
BI, reporting, visualizacin
Gestin completa del ciclo de
vida de modelos analticos.
Ingesta masiva de datos
9
SOFIA2 BASE EDITION Oportunidad IoT

BASE
EDITION
Consola Centralizada para gestin
de aplicacin y mdulos

Ontologas y Modelado asistido:

desde Excel, wizard, visualmente.

APIs multilenguaje
Posicionamiento
Reglas

Comunicaciones bidireccionales
REST, MQTT, JMS, WebSockets,

Base Datos NoSQL (MongoDB) o

relacional como BDTR

Dashboards e Informes
10
SOFIA2 IOT EDITION Sofia2 en detalle

IOT
EDITION
Sobre Base Edition:
Integracin dispositivos y redes
sociales

Infraestructura Big Data sobre

Hadoop como BDH

API Manager para publicacin de

informacin como APIS REST

Notebooks Web para hacer

analtica interactiva

Migracin de BDTR a BDH

automtica y configurable

11
SOFIA2 ADVANCED ANALYTICS EDITION Sofia2 en detalle

ADVANCED
ANALYTICS
EDITION

Integracin de cualquier fuente

de datos de forma visual y
asistida

Mdulo Machine Learning

integrado que permite cargar
datasets, lanzar algoritmos,
crear modelos, publicarlos,

Mdulo que permite acceder a

la informacin de la Plataforma
a travs de interfaces ODBC y
JDBC (herramientas BI,)

12
 INGESTA DE INFORMACIN (SEMANTIC BROKER)
Consumer KP
SIB
Producer KP
Capacidades
Conectores de comunicacin para diversos APIs de desarrollo de clientes
clientes. proporcionados en diversos lenguajes.
Protocolos de comunicacin ligeros (REST, Procesamiento en tiempo real de la
WebSockets, MQTT, WS, JMS, AMQP) informacin intercambiada.
Extensible en Java (APIs, Protocolos, Plugins) Auditora de la actividad de integracin
Sofia2 en detalle
Configuracin de reglas sencillas y
complejas ejecutadas en tiempo real.
Ontologizacin de la informacin recibida
(Independencia de protocolo.)
Gestin y configuracin integrado en
Sofia2 Control Panel (HTML5)
13
 INGESTA DE INFORMACIN (SEMANTIC BROKER - RULES) Sofia2 en detalle

Wizard de creacin
de Reglas.

Capacidades
Soporte a diferentes lenguajes de Ejecucin automtica del script asociado APIs disponibles para un desarrollo gil
programacin de reglas simples o complejas a eventos temporales o al ciclo de vida de de la regla.
sobre el mismo interfaz de usuario. una o varias ontologas
Creacin, gestin y monitorizacin del script Despliegue en caliente. Integracin con los diferentes
asociado a la regla desde el panel de control repositorios, y con interfaces externas.
Sofia2.

14
 PANEL DE CONTROL (SOFIA2 CONTROL PANEL)
Consola unificada de
configuracin, personalizada por
perfil de acceso.
Acceso a todas las funcionalidades de
la plataforma desde una nica Interfaz
de usuario web responsive.
Opciones de configuracin persistidas
en base de datos relacional
(MySQL/Oracle/)
Capacidades
Seguridad integrada (Autenticacin,
autorizacin y gestin de usuarios y
roles)
Monitorizacin de ejecucin de
procesos
Sofia2 en detalle
Interfaces REST de configuracin
de la plataforma.
Gestin de clientes de la
plataforma y tokens de seguridad
15
 DASHBOARDS (SOFIA2 CONTROL PANEL) Sofia2 en detalle

Capacidades
Biblioteca para la configuracin de Composicin de Dashboards reutilizando Integracin con los repositorios de
Gadgets. Gadgets configurados. informacin y con fuentes externas.
Gestin (Creacin/modificacin/eliminacin) de Gadgets y Dashboards desde la Exportacin de la informacin en
misma interfaz centralizada de administracin distintos formatos (xls, csv, html)

16
SCADA (SOFIA2 CONTROL PANEL) Sofia2 en detalle

A travs del Panel de Control de SOFIA2 se permite

la monitorizacin y actuacin en tiempo real sobre
procesos industriales para lo que se proporcionan
las herramientas de diseo de Sinpticos, reglas,
alertas y tags

17
 TIPOS DE PROYECTOS (SOFIA2 CONTROL PANEL) Sofia2 en detalle

Los proyectos permiten organizar el trabajo que se realiza en IoT Basic

la plataforma y tener una visin unificada de los conceptos que
Proyectos que slo necesitan acceso a las
se manejan, adems de permitir colaborar a diferentes
funcionalidad IoT bsicas de la Plataforma.
usuarios en un proyecto.

IoT General
Proyectos que necesitan del grueso de
funcionalidades proporcionadas por la Plataforma.

Social Media
Proyectos centrados en la analtica de Redes
Sociales
.

Big Data Analytics

proyectos enfocados en el anlisis, explotacin,
El Panel de Control se adaptar en funcin del tipo de proyecto modelizacin, reporting,
seleccionado.
18
 Sofia2 en detalle
PROYECTOS WEB (SOFIA2 CONTROL PANEL)

Ver Detalle

Modificar
proyecto
Web

Visualizar

Definicin de proyectos Web asociados a las

ontologas e interfaces configurados en la
plataforma. Edicin y despliegue de recursos web
(HTML5, css y Javascript)

19
 ALMACENAMIENTO (SOFIA2 STORAGE)
Un repositorio adecuado para
cada momento en el ciclo de
vida de la informacin.
Optimizacin de tiempos de
acceso a la informacin.
Sofia2 en detalle
Base de Datos de Tiempo Real
Repositorio optimizado para un acceso gil y en tiempo
real a la informacin.
Base de Datos Histrica (Data Lake)
Repositorio optimizado para el almacenamiento y gestin
de grandes volmenes de informacin
Repositorio Staging
Repositorio para almacenar informacin estructurada, semi-
estructurada o des-estructurada, de manera temporal, para su
uso en procesos de transformacin o carga de datos.
capacidades
Soporte a diferentes tecnologas en Soporte a estndares y bases de datos
funcin del patrn de accesos, altas y SQL y NO-SQL
consultas de cada repositorio.
Escalabilidad horizontal de todos los Integracin de los repositorios entre s y
repositorios. con las dems capas de la plataforma.
20

ALMACENAMIENTO (SOFIA2 STORAGE) - RTDB
Encargado de:
Almacena la informacin recibida en
tiempo real, como instancias de
ontologas.
Por cada ontologa se puede configurar
una ventana de tiempo a partir de la cual
la informacin se considera historica
La informacin permanecer en esta base
de datos hasta que automticamente sea
migrada al repositorio de informacin
histrica.
Tecnologas:
En funcin del patrn de accesos a la
informacin de tiempo real se puede
implementar este mdulo con
tecnologas diferentes, que aseguren el
acceso gil a la informacn.(mongo DB,
Hbase, BBDD relacionales)
Gracias a Kudu e Impala se facilita el
acceso en tiempo Real para la analtica
de datos.
Sofia2 en detalle
Capacidades:
Acceso gil a la informacin.
Herramienta de consulta SQL
integrada en el panel de control
Sofia2 incluso si le base de datos
es NO-SQL.
Origen de datos para Analtica de
Datos en Tiempo Real.
Integracin con el motor de Reglas,
Machine Learning y capas de
integracin.
Escalabilidad horizontal.
Control sintctico de la informacin
insertada de acuerdo a las
ontologas definidas.
21
API MANAGER SOFIA2 Sofia2 en detalle

Capacidades
Basado en estndares (JSON, REST, RESTful)
Seguridad integrada con el resto de elementos de la
plataforma (autenticacin, autorizacin, cifrado, )
Publicacin de datos independientemente del
repositorio (tiempo real o histrico)

Open Data vs Monetizacin datos.

Integracin transparente de APIs de terceros

Control completo del ciclo de vida de las APIs

(Creada, en Desarrollo, Publicada, Deprecada,
Eliminada), versionado

Control de Throtling (gestin del nmero de

peticiones que podr realizar cada usuario por minuto.)
Mtodos Custom Query, clonado de APIs, generacin
automtica de CRUDs

22
 API MANAGER SOFIA2 Sofia2 en detalle

TEST & DOC

AUTORIZACIN
PUBLICACIN

23
ALMACENAMIENTO (SOFIA2 STORAGE) - BDH Sofia2 en detalle

Encargado de: Tecnologas: Capacidades:

Almacena la informacin histrica para su
posterior explotacin analtica.
La informacin almacenada estar
disponible como origen de datos para los
distintosmdulos de la plataforma:
Integracin, Machine Learning,
APIManager
La implementacin de este repositorio
Almacenamiento temporal de
est basada en Hadoop como
informacin heterognea.
repositorio, Hive como solucin
Datawarehouse y SparkSQL para
facilitar el acceso homogeneo a los Herramienta de consulta SQL
datos. integrada en el panel de control
Sofia2.

Origen de datos para Analtica de

Datos Histricos

Integracin con el motor de Reglas,

Machine Learning y capas de
integracin.

Escalabilidad horizontal.

Acta como el corazn del Data

Lake de la plataforma,
almacenando informacin
heterognea con capacidad de
procesamiento

24
 INGESTA DE INFORMACIN (SOFIA2 DATAFLOW) Sofia2 en detalle

Toolbar de componentes

rea de trabajo

Detalle de configuracin
de cada componente

capacidades
Modelado visual de la Extensible en Java. Integrado en Sofia2
ETL. Control Panel (HTML5)
Depuracin y Preview. Fuentes y destinos: Kafka, Hadoop, JMS, JDBC, AmazonS3 Alertas y Notificaciones

Despliegue por consola. 18 procesadores disponibles para el modelado de la ETL: Visualizacin de grficas
Split, hasher, remover, merger y estadsticas de ejecucin
25
INGESTA DE INFORMACIN (SOFIA2 DATAFLOW) Sofia2 en detalle

Extraccin Transformacin Carga

E T L
Definicin gil de
Mecanismos de tareas de La informacin se
extraccin de fuentes transformacin cargar en los
heterogneas. concatenadas repositorios de la
plataforma o en
destinos externos
Cleansing heterogneos
Informacin
Estructurada, semi- Enrichment
estructurada y Transformacion
desestructurada

26
INGESTA DE INFORMACIN (SOFIA2 DATAFLOW) Sofia2 en detalle

Los orgenes de datos disponibles en la barra de

herramientas del interfaz de usuario.

27
INGESTA DE INFORMACIN (SOFIA2 DATAFLOW) Sofia2 en detalle

El proceso de transformacin se compone arrastrando y

configurando bloques de actividades desde la barra de
tareas

Evaluador de Expresiones Acciones sobre campos Parseador de JSON, XML y logs

Diferentes acciones disponibles sobre los Parsea informacin vlida segn los
Realiza comprobaciones y calculos que
campos como: Converter, Merger, diferentes tipos de formato de logs, y
puede escribir campos nuevos o
Masker, Hasher, Remover, Renamer. esquemas XML y JSON.
existentes.

Selector de Flujo Evaluadores en distintos Y otros ms

Para seleccionar la siguiente actividad a
ejecutar sobre el conjunto de datos, en
funcin de condiciones de ejecucin.
lenguajes Duplicador de Registro
Diferentes lenguajes disponibles para la Reemplazador de valores
codificacin de acciones especficas
sobre los datos

28
INGESTA DE INFORMACIN (SOFIA2 DATAFLOW) Sofia2 en detalle

Mltiples destinos de datos disponibles en la barra de

herramientas del interfaz de usuario.

29
INGESTA DE INFORMACIN (SOFIA2 DATAFLOW) - Monitorizacin Sofia2 en detalle

Monitorizacin.

Se pueden configurar reglas para capturar y

visualizar datos de un pipeline en ejecucin.

Adems es posible consultar las estadsticas de

ejecucin de cualquier pipeline en tiempo real, los
datos procesados y el historial del pipeline.

Alertas

La configurar alertas y thresholds de

normalidad posibilitan la ejecucin de
acciones automticas como la
comunicacin de estos eventos as como
la visualizacin del detalle.

30
ALMACENAMIENTO (SOFIA2 STORAGE) - Staging Sofia2 en detalle

Encargado de: Tecnologas: Capacidades:

Almacena informacin en diferentes
estados (estructurada, semi-estructurada
y no estructurada) temporalmente, para
facilitar procesos complejos de
transformacin, ingestin y exposicin de
datos que requieran la persistencia
temporal de estados intermedios del
proceso.
Este repositorio de implementa sobre Almacenamiento temporal de
HDFS, cuya arquitectura basada en informacin heterognea.
ficheros de texto y nodos de
procesamiento paralelo, proporcionan la
flexibilidad y escalado horizontal
Usado para dar soporte a procesos
necesarios.
analticos complejos.
Integracin con el motor de Reglas
y Machine Learning.

Escalabilidad horizontal.

31
 DATA LINK (SOFIA2 DATALINK) Sofia2 en detalle

Uso de herramientas de visualizacin y reporting

mediante conectores estndar. Acceso a la informacin
de cualquier repositorio a travs de SQL

REST

JDBC

ODBC
32
 DATA LINK (SOFIA2 DATALINK) Sofia2 en detalle

Capacidades
Acceso simultneo a mltiples fuentes de datos Creacin de vistas personalizadas

Acceso a los datos a travs de SQL estndar JOINS entre repositorios

Consultas sobre datos anidados en varios niveles. Baja latencia

33
 NOTEBOOKS SOFIA2 Sofia2 en detalle

Analtica interactiva en un entorno colaborativo.

Capacidades
Gestin de intrpretes (sh, jdbc, md, angular) Entorno compartido y multiusuario
Ejecucin multilenguaje sobre un mismo notebook Visualizacin instantnea con grficas incorporadas
(SparkSQL, R, Hive, Scala, Python)
Ejecucin planificada de notebooks Entorno web integrado en panel de control

34
 NOTEBOOKS SOFIA2 Sofia2 en detalle

Integrada con operaciones Sofia2

Inserciones Consultas Gestin

modelos
RTB & HDB Publicacin

35
 SOFIA2 ML Sofia2 en detalle

Spark ML + H2o

Capacidades
Carga de ficheros locales Definicin visual de flujos
Parseo de datos en diversos formatos (ARFF, XLS, XLSX, Publicacin de modelos
CSV, SVMLight)
Algoritmos: K-means, Generalized Linear Model, Distributed RF, Nave Bayes, Principal Component Analysis, Gradient
Boosting Machine y Deep Learning

36
SOFIA2 ML Sofia2 en detalle

La integracin de este mdulo en la

plataforma permite ir un paso ms all en el
ciclo de vida de los datos, permitiendo
gestionar la informacin end to end.

PUBLISH IMPORT

EVALUATE TRAIN

37
CAPACIDADES SOCIAL MEDIA Sofia2 en detalle

Operable desde la Consola Web

Integradas: Twitter, Facebook, Instagram

Capacidades de Crawling

Funcionamiento en Streaming y en Batch

Solucin Social Media: Social Media Command Center

Anltica integrada con R y Python

Demostradores

38
VISOR HOLSTICO Oportunidad IoT

39
 Oportunidad IoT
http://twitter.com/SOFIA2_Platform
http://about.sofia2.com
plataformasofia2@indra.es
http://sofia2.com

Gracias!!!

40