Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
DATA WAREHOUSE.
AUTORES:
FERNANDEZ ROMAN, Ismael.
CHANCAFE QUESQUEN,Stalin.
DOCENTE:
ING.Mg. SANCHEZ GUEVARA, OMAR ANTONIO
INDICE
INTRODUCCION........................................................................................................................ 4
OBJETIVOS ..................................................................................................................................... 5
EN RESUMEN ................................................................................................................................. 5
IMPORTANCIA DEL DATA WAREHOUSE ........................................................................................ 5
ANTES DE IMPLEMENTAR UN DATA WAREHOUSE. ...................................................................... 5
LA ARQUITECTURA Y COMPLEJIDAD EN GENERAL DEL ENTORNO. ...................... 6
Empresas Que Usan Data Warehouse ................................................................................... 6
CARACTERÍSTICAS DE UN DATA WAREHOUSE ............................................................. 6
DIFERENCIAS ENTRE UN SISTEMA DE DATA WAREHOUSE Y APLICACIONES TRADICIONALES ..... 7
METODOLOGÍAS DE DISEÑO DE DATA WAREHOUSE. ................................................. 8
METODOLOGÍA DE KIMBALL (BOTTOM-UP) ..................................................................... 8
METODOLOGÍA AGIL PARA LA IMPLEMENTACIÓN DE UN DW ................................... 8
ARQUITECTURA DE UN DATA WAREHOUSE ................................................................... 9
FLUJO DE DATOS DE UN DATAWAREHOSE .................................................................... 9
ARQUITECTURA DE UN DATA WAREHOUSE. .................................................................. 9
ELEMENTOS DE LA ARQ. DE UN DATAWARE HOUSE ................................................ 10
PROYECTO DE ELABORACION DE UN DATA WAREHOUSE ..................................... 11
Fase 1: Organización ............................................................................................................... 11
Factores En La Planificacion De Un Data Warehouse ....................................................... 11
2 ESTRATEGIAS PARA EL DESARROLLO DE UN DATA WAREHOUSE ................... 11
ESTABLECER UN AMBIENTE "DATA WAREHOUSE VIRTUAL“. ................................. 11
3.- ESTRATEGIAS PARA EL DISEÑO DE UN DATA WAREHOUSE ........................... 12
4 ESTRATEGIAS PARA LA GESTION DE UN DATA WAREHOUSE ............................ 12
FASE 2: DESARROLLO.......................................................................................................... 12
CONSIDERACIONES PREVIAS AL DESARROLLO DE UN DATA WAREHOUSE. ... 13
3 ELEMENTOS CLAVES PARA EL DESARROLLO DE UN DATA WAREHOUSE ..... 14
4 CONFIABILIDAD DE LOS DATOS .................................................................................... 14
5 FACTORES DECISIVOS PARA DECIDIR EL DESARROLLO DE UN DATA
WAREHOUSE........................................................................................................................... 15
FASE 3: IMPLEMENTACION ......................................................................................................... 15
1 ELEMENTOS A CONSIDERAR EN LA IMPLEMENTACION. .......................................................... 15
2 ESTRATEGIAS PARA EL PROCESO DE IMPLEMENTACION ......................................................... 15
3 ESTRATEGIAS EN LA IMPLEMENTACION .................................................................... 16
FASE 4: EVALUACION. .......................................................................................................... 16
EVALUACION DE RENDIMIENTO DE LA INVERSION.................................................... 16
CASO PRÁCTICO .................................................................................................................... 17
1.1 COSTOS Y BENEFICIOS ........................................................................................................... 17
BENEFICIOS A OBTENER .................................................................................................... 17
EL MODELO DE DATOS ........................................................................................................ 18
DATA WAREHOUSE VS BD OPERACIONAL .................................................................... 19
EXTRACCIÓN, TRANSFORMACIÓN Y CARGA. .............................................................................. 19
TRANSFORMACIÓN DE DIMENSIONES DE CAMBIO LENTO ........................................................ 20
CONTROL DE LA EJECUCIÓN ........................................................................................................ 20
EJEMPLOS DE PAQUETES EN ETL. .................................................................................. 20
FLUJO DE CONTROL Y FLUJO DE DATOS. ..................................................................... 20
CONCLUSIONES DEL DATAWAREHOUSE. .................................................................................... 21
REFERENCIAS BIOGRAFICAS. ....................................................................................................... 22
INTRODUCCION.
P á g i n a 4 | 22
OBJETIVOS
Hacer la información de la organización accesible
Hacer a la información de la organización consistente
Controlar el acceso efectivo a los datos
Generar información de manera flexible
Servir de ayuda a la toma de decisiones
EN RESUMEN
Un Data Warehouse tiene como objetivo almacenar y proveer a la
Organización de información relevante y a tiempo.
P á g i n a 5 | 22
LA ARQUITECTURA Y COMPLEJIDAD EN GENERAL DEL ENTORNO.
P á g i n a 6 | 22
DIFERENCIAS ENTRE UN SISTEMA DE DATA WAREHOUSE Y APLICACIONES TRADICIONALES
P á g i n a 7 | 22
METODOLOGÍAS DE DISEÑO DE DATA WAREHOUSE.
P á g i n a 8 | 22
ARQUITECTURA DE UN DATA WAREHOUSE
P á g i n a 9 | 22
ELEMENTOS DE LA ARQ. DE UN DATAWARE HOUSE
P á g i n a 10 | 22
PROYECTO DE ELABORACION DE UN DATA WAREHOUSE
Fase 1: Organización
Implementación incremental
P á g i n a 11 | 22
3.- ESTRATEGIAS PARA EL DISEÑO DE UN DATA WAREHOUSE
1ra. : Los usuarios de los data warehouses usualmente no conocen mucho sobre sus
requerimientos y necesidades como los usuarios operacionales.
2da.: El diseño de un data warehouse, con frecuencia involucra lo que se piensa en
términos más amplios y con conceptos del negocio más difíciles de definir que en el
diseño de un sistema operacional. Al respecto, un data warehouse está bastante cerca
a Reingeniería de los Procesos del Negocio (Business Process Reengineering).
3ra.: Finalmente, la estrategia de diseño ideal para un data warehousing es
generalmente de afuera hacia adentro (outside-in) a diferencia de arriba hacia abajo
(top-down).
FASE 2: DESARROLLO
Se ha reconocido los beneficios del procesamiento analítico en línea (On
Line Analytical Processing - OLAP), más allá de las áreas tradicionales de
marketing y finanzas.
El crecimiento de la computación cliente/servidor, ha creado servidores de
hardware y software más poderosos y sofisticados que nunca. Los
servidores de hoy compiten con las mainframes de ayer y ofrecen
arquitecturas de memoria tecnológicamente superiores, procesadores de
alta velocidad y capacidades de almacenamiento masivas
P á g i n a 12 | 22
CONSIDERACIONES PREVIAS AL DESARROLLO DE UN DATA WAREHOUSE.
Hay muchas maneras para desarrollar data warehouses como tantas organizaciones
existen. Sin embargo, hay un número de dimensiones diferentes que necesitan ser
consideradas:
Alcance de un data warehouse
Redundancia de datos
Tipo de usuario final
P á g i n a 13 | 22
3 ELEMENTOS CLAVES PARA EL DESARROLLO DE UN DATA WAREHOUSE
Si se escoge incorrectamente, el data warehouse se convierte en una gran
empresa con problemas difíciles de trabajar en su entorno, costoso para
arreglar y difícil de justificar.
Para conseguir que la implementación del
depósito tenga un inicio exitoso, se necesita
enfocar hacia tres bloques claves de
construcción:
Arquitectura total del depósito
Arquitecturas del servidor
Sistemas de Gestión de Base de Dato
Hay muchas maneras para desarrollar data
warehouses como tantas organizaciones existen. Sin
embargo, hay un número de dimensiones diferentes
que necesitan ser consideradas:
Alcance de un data warehouse
Redundancia de datos
Tipo de usuario final
P á g i n a 14 | 22
FACTORES DECISIVOS PARA DECIDIR EL DESARROLLO DE UN DATA
WAREHOUSE
La data sucia es un serio peligro para el éxito de un proyecto de data
warehouse. Dependiendo del alcance del problema, simplemente podría no ser
posible dirigirlo rápidamente y abaratarlo.
Los principales factores son:
El tiempo que toma la programación interna
El costo de las herramientas
Los gerentes de proyectos de Data Warehouse necesitan evaluar el problema
con realismo, los recursos internos disponibles para distribuirlos y seleccionar
la solución que se adapte a la planilla y presupuesto del proyecto, o modificar
la planilla y el presupuesto para solucionar el problema.
FASE 3: IMPLEMENTACION
El modelo lógico de datos debe tener un alcance más alto y cubrir todas las áreas
de interés, así como los procesos más estratégicos de cada una de ellas.
P á g i n a 15 | 22
3 ESTRATEGIAS EN LA IMPLEMENTACION
Definir el mejor diseño físico para el modelo de datos. El diseño físico debe
estar orientado a generar buen rendimiento en el procesamiento de
consultas, a diferencia del modelo lógico que está orientado al usuario y a la
facilidad de consulta.
Definir los procesos de extracción, filtro, transformación de información y
carga de datos que se deben implementar para poblar ese modelo de datos.
Definir los procesos de administración de la información que permanece en
el data warehouse
Definir las formas de consultas a la información del data warehouse que se
le proporcionará al usuario. Para ésto, debe considerarse la necesidad de
resolver un problema y la potencia de consulta.
Completar el modelo de consulta base, relativo al área seleccionada.
Implementar los procesos estratégicos del área de trabajo, es decir,
implementar herramientas especializadas de scoring, herramientas
especializadas para inducción de conocimiento (Data Mining), etc.
Completar las áreas de interés, en forma similar a lo descrito anteriormente.
FASE 4: EVALUACION.
¿Cómo tener márgenes de operación sobre los dos últimos años en cada
área de negocio? Donde han disminuido los márgenes, ¿se han
incrementado los costos?
P á g i n a 16 | 22
CASO PRÁCTICO
En un estudio encargado por 20 vendedores y consultores, se encontró un
Retorno Promedio Total de la inversión (Return On Investment-ROI) de
401%.También, se excluyeron los proyectos fracasados, así como los
ejecutados excepcionalmente, tanto buenos como malos.
BENEFICIOS A OBTENER
Para La Empresa
El data warehouse hace lo posible por aprovechar el valor potencial enorme de los
recursos de información de la empresa y volver ese valor potencial en valor verdadero.
Para los Usuarios
El data warehouse extiende el alcance de la información para que puedan accesar
directamente en línea, lo que a la vez contribuye en su capacidad para operar con mayor
efectividad las tareas rutinarias o no.
P á g i n a 17 | 22
Para la Organización en Tecnologías de Información
EL MODELO DE DATOS
Es el modelo por el cual se diseña el esquema de funcionamiento de la Base
de Datos que provee al Data Warehouse.
P á g i n a 18 | 22
DATA WAREHOUSE VS BD OPERACIONAL
Requerimientos de Requerimientos de
respuesta inmediata respuesta no críticos
Multiples Fuentes
Orientadas a trabajo Batch : cagas de estos sistemas son más fuertes
cuando los sistemas de producción tienen poca carga
Conectvidad a diferentes tecnologías, diferentes manejadores de BDs
Transformación
P á g i n a 19 | 22
TRANSFORMACIÓN DE DIMENSIONES DE CAMBIO LENTO
Ayuda a manejar la actualización de una dimensión de cambio lento
o Ejemplo : la información sobre los consumidores cambia
constantemente, pero queremos una historia de estos
Cambio de dirección no queremos el valor anteiror (reemplazo)
Un cambio en el valor VAT ‘duplicamos’ la entrada del
consumidor agregando los datos adicionales (para propósitos
financieros)
OLTP Model
Customer table Bill Table
Customer ID Last Name City Company VAT Nb Bill ID Customer ID Date Amount
00012345 DESPRIEE Paris FR 1234567 67890 00012345 01/01/2008 500 €
FR 5555566 89567 00012345 01/06/2008 400 €
OLAP Model
DimCustomer FactBill Table
Customer Key Customer ID Last Name City Company VAT Nb Bill ID Customer Key Date Amount
2048 00012345 DESPRIEE Paris FR 1234567 67890 2048 01/01/2008 500 €
3057 00012345 DESPRIEE Paris FR 5555566 89567 3057 01/06/2008 400 €
Clave sustituta
CONTROL DE LA EJECUCIÓN
Los datos son muy sensibles, la calidad de los reportes depende la calidad
de estos
Cargar un Data Warehouse puede implicar reglas complejas de extracción,
transformación y carga
Los usuarios del negocio no confiarán en un DW si no confían en su carga
P á g i n a 20 | 22
CONCLUSIONES DEL DATAWAREHOUSE.
Para diseñar una buena arquitectura de DWH es necesario como primer paso conocer
bien los requerimientos del negocio y hacer un estudio profundo de las fuentes externas
que nos van a suministrar los datos. Además, hacer un buen diseño del área de
transformación de datos.
P á g i n a 21 | 22
REFERENCIAS BIOGRAFICAS.
P á g i n a 22 | 22