Módulo II: Data Warehousing y Análisis

Multidimensional (OLAP)
Sesión 3: El proceso de ETL y la implementación
de un DataWarehouse en una empresa

Patricio Cofre (pcofre@metricarts.com)

 El proceso de ETL

Proceso Data Warehousing

» Levantamiento de los sistemas

» Levantamiento de las necesidades
» Construcción de un modelo de datos
» Diseño de las ETL
» Administración de las ETL
Sesión 3: El proceso de ETL y la implementación de un
DataWarehouse en una empresa

ETL
 El proceso de ETL

Diseño de las ETL

 El proceso de ETL

Diseño de las ETL

» Extract

» Transform

» Load
 El proceso de ETL

Extract

» Corresponde a la extracción de las bases

desde sus sistemas de origen

•Vía conector
(ODBC: Open Database Connectivity)

•Vía formato intermedio (txt,xls,mdb)

 El proceso de ETL

Transform

» La etapa más importante del proceso

•Granularidad
•Normalización
 El proceso de ETL

Transform

» Granularidad

Se refiere al nivel de detalle a almacenar

en el Warehouse.

•Mucho detalle: Baja granularidad

•Datos agregados: Alta granularidad
 El proceso de ETL

Transform

» Granularidad

La decisión de la granularidad es el
elemento clave en la construcción de un
warehouse y de ella se desprende la
reusabilidad de este.
 El proceso de ETL

Transform

» Granularidad

•Marketing: Mensual x Región

•Ventas: Vendedor, Distrito y Semanal

•Contabilidad: Por línea de producto y

trimestral
 El proceso de ETL

Transform

» Granularidad
 El proceso de ETL

Transform

» Expresiones Regulares
 El proceso de ETL

Transform

» Normalización
•Códigos
•Unidades
•Direcciones
•Fechas (dd/mm/yyyy-mm/dd/yyyy,etc)
 El proceso de ETL

Transform

» Normalización (Querys)
•Códigos
SELECT B.CODIGO, A.COMUNA
FROM TABLA1 AS A LEFT JOIN
TABLA2 AS B ON A.COMUNA=B.COMUNA
•Unidades
SELECT A.FECHA, A.MONTOUF*B.VALORUF AS VP
FROM TABLA1 AS A LEFT JOIN
VALORUF AS B ON A.FECHA=B.FECHA
 El proceso de ETL

Transform

» Normalización (Querys)
•Direcciones
SELECT REGEX(DIR,([A-Z]+)\s(\d+),1) AS CALLE,
REGEX(DIR,([A-Z]+)\s(\d+),2) AS NUMERO
FROM DIRECCIONES

•Fechas
SELECT A.FECHA,
CONVERT(VARCHAR(8),FECHA,112)
FROM TABLA1
 El proceso de ETL

Load

» Corresponde a la descarga hacia el

warehouse de los datos ya resumidos y
normalizados

» Suelen usarse particiones e índices de

manera de tornar más eficiente el acceso
a los datos más recientes.
 El proceso de ETL

Proceso Data Warehousing

» Levantamiento de los sistemas

» Levantamiento de las necesidades
» Construcción de un modelo de datos
» Diseño de las ETL
» Administración de las ETL
 El proceso de ETL

Administración de las ETL

» Control de Errores

» Transacciones

» Seguridad

» Calendarización de Tareas
Sesión 3: El proceso de ETL y la implementación de un
DataWarehouse en una empresa

IMPLEMENTACIÓN DE UN
DW
 Implementación de un DW

Motivar sobre la necesidad de analizar

muchos datos

» De clientes
•Transaccional
•Demográfica
•Psicografica
•Percepción
 Implementación de un DW

Motivar sobre la necesidad de analizar

muchos datos

» De la competencia
•Posicionamiento

» De los productos
•Ventas
•Percepción
•Estacionalidad
 Implementación de un DW

… Que provienen de múltiples fuentes

» Sistema Transaccional
» Call Center
» Sistema Web
» E-mailing
» Correos
» Planillas de cálculo
» Bases de campañas
 Implementación de un DW

… Pero que transformados en información

permiten realizar acciones refinadas de
inteligencia de negocios
 Implementación de un DW

Se deben hacer el levantamiento de

sistemas

» Conocer las plataformas

» Conocer el nivel de estructuración
» Conocer el nivel de documentación
 Implementación de un DW

Se deben hacer el levantamiento de

sistemas

» Requiere capacidades en distintas

tecnologías
» Depende del tipo de sistema
» Existen soluciones prefabricadas
» Se requiere de mucha experiencia
 Implementación de un DW

Decidir una Estrategia

» Diseñar sistema AD-HOC

•Muy preciso
•El SW se ajusta al problema
•Largo y Costoso
 Implementación de un DW

Decidir una Estrategia

» Ajustarse a programa disponible en el

mercado
•Menos Preciso
•El problema se ajusta al SW
•Puede ser de implementación más
rápida
 Implementación de un DW

Ahora, se debe hacer el levantamiento de

las necesidades

» Reuniones con las áreas involucradas

» Definición de roles
» Definición de los
alcances del proyecto
 Implementación de un DW

Ahora, se debe hacer el levantamiento de

las necesidades… pero:

» Los requerimientos suelen quedar cortos

» Los requerimientos suelen modificarse en

la construcción

» Se requieren estrategias evolutivas

 Implementación de un DW

De seguir vivos, corresponde diseñar la base

de datos

» Conservar la lógica
del negocio
• Tipos de datos
• Relaciones

» Cobertura de los alcances

• Del levantamiento de requerimientos
• Sujeto a no aumentar la complejidad
 Implementación de un DW

Diseñar las ETL

» Importancia de normalizar información de

contacto

» Importancia de incluir todos los medios

de contacto

» Importancia de la calendarización de la
extracción
 Implementación de un DW

Métricas de Éxito

» Razón tiempo real vs tiempo estimado

» Razón costo real vs costo estimado

» Actitud gerencia respecto al proyecto

» Calce con las necesidades de los tomadores

de decisión

» Impacto en resultados
 Implementación de un DW

Métricas de Éxito

» Grado de Uso

» Satisfacción de los usuarios

» Beneficios intermedios (Eficiencias,

Redes, Costos, etc).

» Institucionalizacion
 Implementación de un DW

Factores de Éxito

» Técnicos

» De Comportamiento

» Resistencia al cambio

» Involucramientos

» Cultura Organizacional

» Otros Relacionados al proyecto

 Implementación de un DW

Factores: Técnicos

» Complejidad

» Tiempos de respuesta

» Dimensionamiento incorrecto
 Implementación de un DW

Factores: De comportamiento

» Estilo

» Expectativas
 Implementación de un DW

Factores: Resistencia al cambio

» Algunos pueden sentirse amenazados por

el proyecto

» Descongelar y Volver a congelar

 Implementación de un DW

Factores: Involucramientos

» Relación con áreas informáticas

» Patrocinadores del proyecto

 Implementación de un DW

Factores: Cultura Organizacional

» Habilidades del equipo

» Valores, Ética y Moral

» Recursos Adecuados

» Rol del Patrocinador

 Implementación de un DW

Factores: Otros relacionados al Proyecto

» Expectativas

» Financiamiento

» Prioridades