Conceptos y terminologa de Data Warehouse

Objetivos

Describir las caractersticas de Data warehouse Identificar los componentes y funcionalidad en un ambiente Data warehouse de Oracle usando Common Warehouse Model Identificar los tres modelos de Data warehouse Listar las tareas principales de diseo de Bases de Datos Data warehouse
2

Sistema Origen

Tambin llamado Sistema Fuente o Sistema Legado Un sistema operativo de registros cuya funcin es capturar las transacciones del negocio

rea de Escenario de Datos

Un rea de almacenamiento y establecimiento de procesos que borran, transforman, combinan, quitan duplicados, tareas de preparacin de datos, archivo y preparar los datos de origen para usar en el data warehouse

Servidor de Presentacin

La mquina fsica destino en la que los datos del data warehouse se encuentra organizada y almacenada para consultas directas de los usuarios finales, los que escriben los reportes y otras aplicaciones

Modelo Dimensional

Una disciplina especfica para modelar datos que es una forma alternativa del modelo Entidad-Relacin (E/R)

Proceso de Negocio

Conjunto coherente de actividades de negocio que tienen sentido para los usuarios del negocio de nuestro data warehouse

Data Mart

Un subconjunto lgico del data warehouse completo

Data Warehouse

Es una coleccin de datos temticos, integrada, no voltil, de tiempo variante diseada para soportar las necsidades en la admnistracin de DSS - Bill Inmon Un repositorio estructurado temtico, de tiempo variante, historial de datos usado para la devolucin de datos y toma de decisiones. Almacena datos atmicos y resumidos - Definicin Oracle

Temtico

Los Datos son categorizados y almacenados por tema de negocios en lugar de hacerlo por aplicacin
OLTP Aplicaciones
Planes de Equidad

Data Warehouse Subject

Comnpartidos Seguros Prstamos Ahorros Informacin financiera del Cliente

10

Integrado

Los datos de un tema se definen y almacenan una vez

Savings
Ahorros

Cuentas Actuales

Customer Current account Loans

Prstamos

Aplicaciones OLTP

Data Warehouse

11

Tiempo Variante

Data warehouse contiene pedazos de datos a travs de diferentes perodos. Con estos pedazos de datos, el usuario puede ver reportes desde ahora hasta el pasado Se almacenan como una serie de instantneas, cada una representando un perodo

12

No Voltil

Normalmente los datos en Data warehouse no se actualizan ni se eliminan

Operacional Warehouse

Carga

Insertar, Actualizar, Borrar o Leer

Lectura
13

Historial

Un Data warehouse usualmente contiene varios aos valiosos de datos. Esto es necesario para soportar las tendencias, previsin y desempeo de reportes basados en el tiempo; por ejemplo, el ao actual contra el anterior

14

Devolucin de Datos y toma de Decisiones

Data warehouse es una facilidad para obtener informacin para responder preguntas. No es para la entrada de datos; las actualizaciones en lote son la normativa para refrescar Data warehouses

15

Datos atmicos y resumidos

Dependiendo del propsito de Data warehouse, puede contener datos atmicos (Datos detallados a nivel de transaccin individual), datos resumidos o ambos

16

ODS Operational Data Store

El trmino Almacn de Datos Operativos ha tomado muchas definiciones para ser til para el data warehouse Punto de integracin para los sistemas operativos Acceso para la toma de decisiones de los vendedores y ejecutivos

17

OLAP On-line Analytic Processing

Procesamiento Analtico en Lnea La actividad general de consulta y presentacin de datos de texto y nmeros desde data warehouses, as como un estilo dimensional especficamente de consultas y presentaciones que es ejemplificado por un nmero de vendedores OLAP

18

OLAP (Cont)

19

ROLAP OLAP Relacional

Conjunto de interfaces y aplicaciones que dan un sabor dimensional a una BD relacional

20

MOLAP Multidimensional OLAP

Un conjunto de interfaces de usuario, aplicaciones y tecnologas de Bases de Datos propietarias que tienen un enfoque dimensional ms fuerte

21

ROLAP y MOLAP

22

Aplicacin de Usuario Final

Un conjunto de herramientas que consultan, analizan y presentan la informacin original para dar soporte a la necesidad del negocio

23

Componentes
Oracle Business Intelligence Reportes

Datos Operacionales Integracin de Datos

Oracle9i
Darwin Express
Entrega de Informacin

Discoverer

Datos ERP

External data

Clickstream

CWM y Repositorio Diseador y Administrador de Empresa

24

Componentes (Otra vista)

Sistemas de Origen rea de Escenario rea de Presentacin

Herramientas de Acceso

Legal Data Warehouse Externo ODS

Operativo

Data Marts Repositorio de Metadatos

25

Propiedades Data warehouse

Orientado por Temas
Integrado

Data Warehouse

No voltil

De tiempo variante

26

Plan Bsico

Arquitectura del diseo:

Elegir un proceso Elegir la tabla de factor de grano Elegir las dimensiones Elegir como administrar las actualizaciones
Enfocarse en el negocio, no la tecnologa Usar una metodologa de desarrollo iterativa Encontrar un campen para el proyecto e incluir los usuario finales
27

Factores de xito crticos:

Elementos Bsicos de Data warehouse

Fuente de la Base de Datos u otra rea de paso de Datos rea intermedia Objetivo Servidor de presentacin para nuevos datos warehouse o data mart

Origen

Escenario de Datos

Destino

28

Forma Bsica de Data warehouse

Cliente

Locacin

Ventas

Proveedor

Producto

Esquema Estrella (Modelo Dimensional)

29

Cambiar Datos Warehouse

Bases de Datos Operacionales Base de Datos Warehouse

Primera carga

Refrescar

Refrescar

Refrescar

Purgar o Archivar

30

Data warehouse vrs OLTP

Propiedad
Tiempo de Respuesta Operaciones Naturaleza de los Datos

OLTP
Sub segundos a segundos DML 30 60 das

Data Warehouse
Segundos a horas Primordialmente slo de Lectura Instantneas sobre el tiempo Tema, tiempo Grande a muy grande Operacional, Interno, Externo Anlisis
31

Organizacin de los Aplicacin Datos Tamao Fuentes de Datos Actividades Pequeo a grande Operacional, Interno Procesos

Data warehouse vrs OLTP (Cont)

A diferencia de OLTP, un diseo Data warehouse debe:

Enfocarse en consultas Permitir el desarrollo incremental No ser una estructura voltil Proveer datos de historial

32

Uso de curvas

Los sistemas Operacionales son predecibles Data warehouse:

Variable Aleatorio

33

Expectativas de Usuario

Expectativas de Control Establecer objetivos alcanzables para respuesta de consulta Establecer SLAs Educar Crecimiento y uso son exponenciales

34

Warehouse de una Empresa

Implementacin de gran escala Alcanza (cobertura) todo el negocio Datos de todas las reas Desarrollo incremental Una sola fuente de datos Datos de toda la empresa sincronizados nico punto de distribucin para data marts dependientes
35

Data warehouse vrs Data Marts

Propiedad
Alcance

Data Warehouse
Empresa

Data Mart
Departamento

Temas

Mltiple

Un slo tema, LOB

Fuente de Datos

Muchas

Pocas

Tiempo de Implementacin

Meses a aos

Meses

36

Data Marts Dependientes

Sistemas Operativos
Data Marts

Datos Legales

Archivos Planos

Data Warehouse

Marketing

Datos de Operaciones

Marketing Sales Finance HR

Sales

Datos Datos Externos Externos

Finance

37

Data Marts Independientes

Sistemas Operativos

Datos Legales

Archivos Planos Sales or Marketing

Datos de Operaciones

Datos Externos

Datos Externos
38

Enfoques de Desarrollo

Enfoque Bing Bang Enfoque incremental:

De arriba hacia abajo De abajo hacia arriba

39

Enfoque Big Bang

Analizar requerimientos de la Empresa

Construir el Almacn de Datos de la Empresa

Reportes en subconjuntos o almacenarlos en data marts

40

Enfoque Big Bang (Cont)

Ventajas
El lugar donde se construye el warehouse como parte de otro proyecto mayor o programa, como reingeniera y dependen entre s
Tener un gran dibujo de los datos warehouse antes de iniciar el proyecto de data warehouse

Desventajas
Alto riesgo

Toma mucho tiempo en entregar cualquier beneficio percibido por el negocio Corre el riesgo de tener que cambiar requerimientos

41

Fases del Enfoque Incremental

Estrategia Definicin Anlisis Diseo Construccin Produccin

Estrategia Definicin Anlisis Diseo Construccin Produccin

42

Enfoque de Arriba hacia Abajo

Analizar los requirimientos a nivel de la empresa Desarrollar un modelo de informacin conceptual Identify and prioritize subject areas Completar un modelo de un rea temtica
seleccionada Mapear los datos disponibles Realizar un anlisis de recursos del sistema

Implementar la arquitectura de base tcnica Establecer metadatos, extraccin y carga de

procesos para el rea de temas inicial

Crear y llenar el rea de data mart de tema inicial

con el marco warehouse

43

Enfoque de Abajo hacia Arriba

Definir el alcance y cobertura del Almacn de
Datos y analizar la fuente de sistemas en esta fuente

Definir el incremento inicial basodo en

la presin poltica, asumida por los beneficios del negocio y el volumen de los datos

Implementar la arquitectura tcnica

y establecer metadatos, extraccin y carga de procesos como se requiera por incremento

Crear y llenar las reas de temas iniciales con

el marco de warehouse

44

Enfoque Incremental para Desarrollo Warehouse

Mltiples iteraciones Implementaciones ms cortas Validacin de cada fase

Incremento 1 Produccin Estrategia Definicin Anlisis

Iterativo

Diseo Construccin

45

Enfoque Cascada
Especificaciones Requerimientos Anlisis Implementacin

Prueba de Unidad Prueba de Aceptacin Despliegue

46

Enfoque Espiral
Anlisis Despliegue Prueba de unidad Requerimientos

y Especificaciones

Implementacin

Prueba de aceptacin

47

Metodologa

Asegura un acceso completo a los datos del Almacn Anima el desarrollo incremental Proporciona un enfoque gradual para un Data warehouse de la Empresa:

Seguro Manejable Demostrado Recomendado

48

Arquitectura

Provee la planeacin, estructura y estandarizacin necesarias para asegurar la integracin de mltiples componentes, proyectos y procesos a travs del tiempo Establece el marco, estndares y procedimientos para el Data warehouse en un nivel empresario Instituto de Data warehouse

49

Extraccin, Transformacin y Carga (ETL)

Los procesos ETL representan el factor nmero uno de xito para su proyecto Data warehouse y puede absorber hasta el 70 por ciento del tiempo gastado en un proyecto tpico de Data warehouse Revisin DM, Marzo 2001

Source

Staging Area

Target
50

Implementacin
Arquitectura Data Warehouse
Ex., Implementacin Incremental

Implementacin Incremento 1 Incremento 2 . . .

Incremento n
51

Operacin y Soporte

Acceso a datos y reportes Refrescar los datos de warehouse Monitoreo Respuesta al cambio

52

CMW

Estndar de Oracle para metadatos warehouse Abrir el estndar para data warehouse y OLAP Permite mayor integracin de los metadatos de los productos Oracle

53

Administra Datos

Relacional Texto, imagen Espaciotemporal Audio Video Web

Tabular

Espacial

Texto, Video
54

Sistema de Toma de Decisiones DSS

DSS ODS DW OLAP Anlisis DM

Almacenamiento

Perfil de consultas DSS

55

Funcionamiento Deseable
Escalabilidad Diseo Manejabilidad
Disponibilidad

Carga Extensibilidad

Datos

Acceso Arquitectura

Metadatos
Flexibilidad Integrado Administracin y revisin Accesibilidad Confiabilidad
Capacidad de planificacin y dimensionamiento

Ajuste y Optimizacin Operacin y Manejo

56

Procesos
Extraccin Arch. planos Transformacin/Carga Publicacin Subscripcin Federated Data Warehouse

ETT
Transformaciones

Data marts
Portal Capa(s) de Acceso B2C Modelo Empresario (Datos Atmicos) B2B Clickstream

rea(s) de Paso

Operacional

ETT RDBMS Externo Archivos de Registros de Servidor

Repositorio de Metadatos
57

Fases de Data warehouse

Definir el modelo de negocios Definir el modelo lgico Definir el modelo dimensional Definir el modelo fsico

58

Resumen

Data warehouse es un almacn de datos Existen diferentes modelos de Data warehouse Data warehouse sirve para solucionar problemas especficos de las empresas Tiene caractersticas que le permiten la flexibilidad de adaptarse a las empresas

59

60