Data Integrator 12c

Moving Data to Transform Business

Joan Masseg
Consultor y Tcnico Preventa del rea de Business Analytics

Webinar

ndice
1 Introduccin
2 Arquitectura de ODI 12c
3 Desarrollo con ODI 12c
4 Big Data con ODI 12c
5 Integracin con otras herramientas
6 Migracin de OWB 11g (Warehouse Builder) a ODI 12c
7 Actualizacin de ODI 11g a 12c
8 Conclusiones

avanttic Consultora Tecnolgica, S.L.

Webinar

Introduccin
Oracle Data Integrator (ODI) en el portfolio de Oracle
Pertenece a la lnea de productos de Business Analytics
Es la herramienta de integracin de datos estratgica de Oracle
ODI
12c
Data Integration

avanttic Consultora Tecnolgica, S.L.

Data Analytic
Tools

Packaged Analytics
& EPM Apps

Engineered Systems

Webinar

Introduccin
Necesidades actuales en la integracin de datos

Cualquier Fuente
de datos

Integrada,
Alta productividad

avanttic Consultora Tecnolgica, S.L.

Interna o en
la Nube

Mximo rendimiento,
Alta disponiblidad

Real Time,
Quality Data

Webinar

Introduccin
Principales caractersticas de ODI 12c
Procesos ELT para Data Warehouse / Integraciones ODS / Migraciones
BD Heterogneas (cualquier origen/destino de datos), XML,
Real time Data Warehouse
Con sus propios (KMs) de soporte para CDC
Mediante la integracin con OGG (GoldenGate)

Diseado para arquitecturas SOA: exponer y consumir datos y procesos

MDM: linaje de los datos / anlisis impacto de los cambios
Alta disponibilidad sobre WLS
Consolas monitorizacin infraestructura y ejecuciones
Conectores para BigData
Data Quality desde ODI e integracin con EDQ
5

avanttic Consultora Tecnolgica, S.L.

Webinar

Introduccin
Desarrollo de alta productividad con ODI 12c
Diseo declarativo (KM)
Desarrollo orientado a flujos
Reutilizacin de cdigo
Rendimiento optimizado para Oracle
Particionado/Paralelismo/Hints/Merge/Inserts mltiples destinos/

Simulacin ejecucin
Depuracin paso a paso
Funcionalidad extensible y/o customizable

avanttic Consultora Tecnolgica, S.L.

Webinar

ndice
1 Introduccin
2 Arquitectura de ODI 12c
3 Desarrollo con ODI 12c
4 Big Data con ODI 12c
5 Integracin con otras herramientas
6 Migracin de OWB 11g (Warehouse Builder) a ODI 12c
7 Actualizacin de ODI 11g a 12c
8 Conclusiones

avanttic Consultora Tecnolgica, S.L.

Webinar

Arquitectura de ODI 12c

Componentes
Repositorios
ODI Studio
Agentes
Componentes J2EE
Management Pack

avanttic Consultora Tecnolgica, S.L.

Webinar

Arquitectura de ODI 12c

Repositorios de ODI
Almacenados en esquema BD
Repositorio Master
Topologa de la infraestructura IT
Informacin de seguridad
Objetos versionados y archivados

Master

Work

Repositorios de trabajo (n)

Estructuras de datos (Modelos)
Proyectos
Informacin de ejecucin

avanttic Consultora Tecnolgica, S.L.

Exec

Webinar

Arquitectura de ODI 12c

Agentes ODI
Tipos Agente

Standalone
Collocated
J2EE

Cliente web

ODI Studio

ODI
Console

Cliente (Cualquier Plataforma)

Repositorio
ODI

Responsabilidades

Listener
Scheduler

ODI
Console

J2EE Agent

ODI J2EE
(Dominio WLS)
Cualquier origen

Collocated Agent

Standalone
Agent

(Dominio WLS)
Cualquier destino

Procesos java ejecutndose

prximos al host de BD
10

avanttic Consultora Tecnolgica, S.L.

Webinar

Arquitectura de ODI 12c

ODI Console
Interface web
Monitorizar resultados
de ejecucin
Lanzar procesos
Linaje y flujo de datos

11

avanttic Consultora Tecnolgica, S.L.

Webinar

Arquitectura de ODI 12c

ODI Management Pack
Gestin y Rendimiento
Gestin Configuracin
Gestin SLM
Anlisis histrico y reporting

12

avanttic Consultora Tecnolgica, S.L.

Webinar

ndice
1 Introduccin
2 Arquitectura de ODI 12c
3 Desarrollo con ODI 12c
4 Big Data con ODI 12c
5 Integracin con otras herramientas
6 Migracin de OWB 11g (Warehouse Builder) a ODI 12c
7 Actualizacin de ODI 11g a 12c
8 Preguntas y Respuestas

13

avanttic Consultora Tecnolgica, S.L.

Webinar

Desarrollo con ODI

Flujo de un proceso ELT

14

Definir
topologa

Elegir
estrategia
de carga

Modelo de
datos

Desarrollar
mapping

(ing. inversa)

(transformacin)

avanttic Consultora Tecnolgica, S.L.

Coordinar
tareas
auxiliares
(preprocesar
ficheros/ftp/

Orquestar
flujo ELT

Ejecucin y
Schedule

Monitorizar
Resultados

Validacin

Webinar

Desarrollo con ODI

ODI Studio
Topologa
Designer
Data Model
Proyectos

Mappings
Packages
Execution Plans
Procedures
KMs

Operador
Monitorizar estado ejecuciones
Programacin

Seguridad
15

avanttic Consultora Tecnolgica, S.L.

Webinar

Desarrollo con ODI

Define

Fuentes de datos
Origen
Destino
Staging

DIAgent_DES

Topologa

DEV
PRO

Modelos datos
Lgico
Fsico

Contextos de ejecucin
Agentes en nuestra infraestructura
Repositorios ODI existentes

16

avanttic Consultora Tecnolgica, S.L.

Webinar

Desarrollo con ODI

Designer
Modelo
Describe conjuntos de Datastores
(Atributos, claves, filtros y condiciones)

Ingeniera inversa
Define reglas integridad
(Estticas/Flujo)

Configuracin para CDC

17

avanttic Consultora Tecnolgica, S.L.

Webinar

Desarrollo con ODI

Designer
Contenido de un Proyecto
Variables, Secuencias
Procedimientos
Funciones
Mappings (Interfaces)
KMs
Packages
Load Plans

18

avanttic Consultora Tecnolgica, S.L.

MlEples implementaciones funcin

Webinar

Desarrollo con ODI

Estructura de un mapping

Lgica de negocio
Objetos de datos y sus Relaciones
Filtros Restricciones

Perspectivas
Lgica
Fsica

19

avanttic Consultora Tecnolgica, S.L.

Propiedades Fsicas
Esquemas: des,no, staging
Estrategia de carga (KM)
Opciones (Borrar temporales,
autocommit, .)

Webinar

Desarrollo con ODI

Knowledge Modules (KM)
Plantillas de cdigo especializadas en la ejecucin de un tipo de tarea
LKM
IKM
CKM
JKM
RKM
SKM

20

avanttic Consultora Tecnolgica, S.L.

Webinar

Desarrollo con ODI

Ejecucin de procesos ELT
Objetos ejecutables
Mappings
Paquetes
Load Plans
Procedures

Escenarios (Casos)
Ejecucin
Interactiva
Programada

Simulacin
Ver resultado ejecucin (Operador)
21

avanttic Consultora Tecnolgica, S.L.

Webinar

Desarrollo con ODI

Orquestar el flujo de datos
Packages
Define secuencia ejecucin
ODI Tools
Mappings
Procedimientos

Load Plans
Definen el flujo de carga
En serie
En paralelo

Ejecuta escenarios
Diferentes tipos de reinicio
Ejecucin parcial
22

avanttic Consultora Tecnolgica, S.L.

Webinar

Desarrollo con ODI

Debugger integrado
Objetos debugables
Mappings
Escenarios
Procesos
Paquetes

Sobre cualquier agente

(sesiones en ejecucin)

Ejecucin paso a paso

Edicin sentencias SQL
Ejecutar cdigo modificado

23

avanttic Consultora Tecnolgica, S.L.

Webinar

Desarrollo con ODI

Realtime Data Warehouse con Change Data Capture (CDC)
Dos modos de journalizing
Simple
Consistente

Modelo publicacin/suscripcin
Journal/Vistas
Procesos de captura
Suscriptores

Dos implementaciones
Anlisis Log transacciones
Triggers

ODI automatiza procesos

Despliegue
Control
24

avanttic Consultora Tecnolgica, S.L.

Webinar

Desarrollo con ODI

Extendiendo/Personalizando ODI
KMs y Substitution API
SDK
Groovy scripts
Puede utilizar comandos del SDK
Automatizar la edicin/ejecucin objetos
Automatizar cambios masivos

25

avanttic Consultora Tecnolgica, S.L.

Webinar

ndice
1 Introduccin
2 Arquitectura de ODI 12c
3 Desarrollo con ODI 12c
4 Big Data con ODI 12c
5 Integracin con otras herramientas
6 Migracin de OWB 11g (Warehouse Builder) a ODI 12c
7 Actualizacin de ODI 11g a 12c
8 Conclusiones

26

avanttic Consultora Tecnolgica, S.L.

Webinar

Big Data con ODI 12c

Application Adapter for Hadoop (ODIAAH)
Integracin de datos en Hadoop
(Sistema ficheros local / HDFS / Hbase / BD SQL estndar)

Realizar validaciones y transformaciones de datos en Hadoop

Llevar los resultados obtenidos en Hadoop a otro almacn de datos
(Oracle / BD SQL estndar / Hbase)

Disponible a partir de ODI 11.1.1.6

Se licencia por separado

27

avanttic Consultora Tecnolgica, S.L.

Webinar

Big Data con ODI 12c

KMs incluidos en el Application Adapter for Hadoop (ODIAAH)
Nombre (KM)

Propsito

Origen

DesEno

LKM File to Hive

Cargar datos de local o HDFS en tablas Hive

File system

Hive

IKM Hive Control Append

Integra datos en Hive en modo truncate/insert

Hive

Hive

IKM Hive Transform

Integra datos en Hive una vez transformados con un script

desarrollado en Perl/Python

Hive

Hive

IKM File-Hive to Oracle (OLH-

OSCH)

Integra datos desde HDFS o Hive en tablas Oracle

File system/Hive

Oracle

IKM File-Hive to SQL

Integra datos desde HDFS o Hive en BD SQL

File system/Hive

BD SQL

IKM SQL to Hive-HBase-File

Integra datos desde BD SQL en HDFS/Hbase/Hive

BD SQL

Hive/HBase/
HDFS

IKM Hive to Hbase Incremental

Update

Integra datos desde Hive a Hbase, pudiendo realizar insert/

update.

Hive

HBase

LKM HBase to Hive

Cargar datos de Hbase a Hive

HBase

Hive

CKM Hive

Validar cumplimiento restricciones

Hive

RKM Hive

Ingeniera inversa de tablas Hive

Hive

RKM 28HBase avanttic Consultora Tecnolgica, S.L.Ingeniera inversa de tablas Hbase

Webinar HBase

ndice
1 Introduccin
2 Arquitectura de ODI 12c
3 Desarrollo con ODI 12c
4 Big Data con ODI 12c
5 Integracin con otras herramientas
6 Migracin de OWB 11g (Warehouse Builder) a ODI 12c
7 Actualizacin de ODI 11g a 12c
8 Conclusiones

29

avanttic Consultora Tecnolgica, S.L.

Webinar

Integracin con otras herramientas

Arquitectura SOA
Cualquier agente puede exponer
transformaciones de ODI como WS
Los agentes J2EE pueden
exponer Data Services
Invocar Web Services y
procesar su respuesta

30

avanttic Consultora Tecnolgica, S.L.

Webinar

Integracin con otras herramientas

Enterprise Data Quality (EDQ)

Funcionalidad EDQ
Profiling
Validar direcciones
Estandarizacin/Anlisis Sintctico
Combinar y enriquecer registros

Integracin EDQ con ODI

A travs de ODI Tools
Monitorizacin estado jobs EDQ en Operador
Disponible desde 11.1.1.6
31

avanttic Consultora Tecnolgica, S.L.

Webinar

Integracin con otras herramientas

Oracle GoldenGate (OGG) para Real Time Data Warehouse
OGG transformaciones bsicas in-row /
ODI transformaciones complejas (lookups, )
Rendimiento OGG optimizado al procesar microbatches con ODI
Mismo mapping soporta bulk-loads y microbatches
Oracle BI
GG es menos invasivo que CDC
Historic Analytics
Real-time Analytics
Batch Feed

Log-based, Real-time Data Feeds

EMP

DEPT

trans3

trans2

trans1

Oracle
Data Integrator

DIM

DIM
FACT

& Data Quality

32

Source OLTP
System

EMP

DEPT

Oracle GoldenGate
ODS Schema

32

avanttic Consultora Tecnolgica, S.L.

DIM

DW Schema

Webinar

DIM

Integracin con otras herramientas

OracleGolden Gate (OGG)
Podemos utilizar Journalizing de OGG sin reestructurar los mappings
Gestionar instancias Captura/Distribucin OGG desde la topologa ODI
Mantener parmetros configuracin GG desde ODI
Interface grfica despliegue procesos GG va ODI

33

avanttic Consultora Tecnolgica, S.L.

Webinar

Integracin con otras herramientas

Master Data Management (MDM) con OBIEE

Linaje de los datos

Anlisis de impacto

34

avanttic Consultora Tecnolgica, S.L.

Webinar

ndice
1 Introduccin
2 Arquitectura de ODI 12c
3 Desarrollo con ODI 12c
4 Big Data con ODI 12c
5 Integracin con otras herramientas
6 Migracin de OWB 11g (Warehouse Builder) a ODI 12c
7 Actualizacin de ODI 11g a 12c
8 Conclusiones

35

avanttic Consultora Tecnolgica, S.L.

Webinar

Migracin de OWB 11g a ODI 12c

Por qu, cundo y cmo?
Porque
OWB 11.2 es versin terminal
Premier Support de OWB 11.2 finaliz
en enero de 2015
La BD 12.x no incluye OWB en la instalacin
OWB 11.2 NO estar certificado en BD > 12.1

Ahora
Oracle provee utilidad de migracin de OWB 11.2.0.x a ODI 12.1.y*
Rediseo filosofa desarrollo de ODI orientndola a flujo

*(x>= 3, y>=4)

36

avanttic Consultora Tecnolgica, S.L.

Webinar

Migracin de OWB 11g a ODI 12c

Por qu, cundo y cmo?
Gradualmente
Integrando desarrollos OWB en los flujos ODI
Migrando automticamente los proyectos OWB a ODI (utilidad migracin)
Empezando a desarrollar en ODI los nuevos proyectos (y lo no migrable)

37

avanttic Consultora Tecnolgica, S.L.

Webinar

Migracin de OWB 11g a ODI 12c

Integrar desarrollos OWB actuales en ODI 12c
ODI 12c incorpora tecnologa Oracle Warehouse Builder
ODI 12c puede coordinar
ejecucin mappings y
workflows OWB
Invocacin va ODI Tools
Resultados ejecucin
mappings/workflows
mostrados en Operador
38

avanttic Consultora Tecnolgica, S.L.

Webinar

ndice
1 Introduccin
2 Arquitectura de ODI 12c
3 Desarrollo con ODI 12c
4 Big Data con ODI 12c
5 Integracin con otras herramientas
6 Migracin de OWB 11g (Warehouse Builder) a ODI 12c
7 Actualizacin de ODI 11g a 12c
8 Preguntas y Respuestas

39

avanttic Consultora Tecnolgica, S.L.

Webinar

Actualizacin de ODI 11g a 12c

Qu ha cambiado?
Nomenclatura
Filosofa de desarrollo
Dos implementaciones de KM: Template style / Component style
Desarrollo de mappings (interfaces en 11g) orientado a flujo
Desaparecen interfaces temporales (amarillas)
Aparecen reusable mappings
Mltiples destinos en un mismo mapping

Agentes: +Collocated Agents, Standalone Agent administrado por WMF

Conversin interfaces en mappings
Conversin de internal ID a Global Unique Identifiers (GUID)

40

avanttic Consultora Tecnolgica, S.L.

Webinar

Actualizacin de ODI 11g a 12c

Nuevas funcionalidades
Rendimiento
Ejecucin en paralelo automtica
Ejecucin tareas concurrentemente

KMs para BigData (HDFS, Hbase, Hive) con SQOOP

Seguridad (encriptacin pwds, etc. en exportaciones)
Soporte XML mejorado y aade JSON va ODI Complex File Driver
Debugger paso a paso
Incorporacin de tecnologas Oracle a la topologa
Golden Gate
Warehouse Builder

Interface desarrollo orientada a flujo

41

avanttic Consultora Tecnolgica, S.L.

Webinar

Actualizacin de ODI 11g a 12c

Modo compatibilidad

11g

Modos ejecucin ODI 12c

Mappings nativos 12c
Compatiblidad 11g

11g

Como generar mappings en modo compatibilidad

Activando opcin en la utilidad de actualizacin
Mediante una opcin antes de importar un mapping

Todos los mdulos se ejecutan de la misma manera

Es posible convertir mappings compatibles 11g a 12c

42

avanttic Consultora Tecnolgica, S.L.

Webinar

ndice
1 Introduccin
2 Arquitectura de ODI 12c
3 Desarrollo con ODI 12c
4 Big Data con ODI 12c
5 Integracin con otras herramientas
6 Migracin de OWB 11g (Warehouse Builder) a ODI 12c
7 Actualizacin de ODI 11g a 12c
8 Conclusiones

43

avanttic Consultora Tecnolgica, S.L.

Webinar

Oracle Data Integrator 12c

Conclusiones

ODI 12c es una inversin segura

Consolida la experiencia de OWB y ODI para ofrecer elevada
productividad
Amplia cobertura funcional, pero extensible y costumizable
Alta disponibilidad, monitorizacin

Preparada para el presente y el presente inminente

Conectores Big data
Real time (CDC, OGG)

Momento para migrar de OWB 11g a ODI 12g

44

avanttic Consultora Tecnolgica, S.L.

Webinar

el partner

Joan.massegu@avanttic.com
Para ms informacin contacte con nosotros a travs de comercial@avanttic.com

MADRID
Paseo de la Castellana, 135, 7
28046 Madrid
Tel. 91 116 17 89
45

avanttic Consultora Tecnolgica, S.L.

BARCELONA
Arag 182, 4 planta
08011 Barcelona
Tel. 93 151 84 51