Business Intelligence y Datawarehouse

DISEO DE BASE DE DATOS

Que es business intelLigence?

Inteligencia de Negocios (BI Business Intelligence) : conjunto de metodologas, aplicaciones y tecnologas que permiten reunir, depurar y transformar datos de los sistemas transaccionales e informacin desestructurada (interna y externa a la compaa) en informacin estructurada, para su explotacin directa (reporting, anlisis OLTP / OLAP, alertas...) o para su anlisis y conversin en conocimiento, dando as soporte a los usuarios en la toma de decisiones sobre el negocio.

Que es business intelligence?

Es

la habilidad para transformar los datos en informacin, y la informacin en conocimiento, de forma que se pueda optimizar el proceso de toma de decisiones en los negocios

Datos, informacin, conocimiento

Datos: Los datos son la mnima unidad semntica, y se corresponden con elementos primarios de informacin que por s solos son irrelevantes como apoyo a la toma de decisiones. Nmero de telfono, nombre, direccin, etc.

Datos, informacin, conocimiento

Informacin: Conjunto de datos procesados y que tienen un significado (relevancia, propsito y contexto), y que por lo tanto son de utilidad para quin debe tomar decisiones, al disminuir su incertidumbre. Los datos se pueden transforman en informacin aadindoles valor:

Por tanto, la informacin es la comunicacin de conocimientos o inteligencia, y es capaz de cambiar la forma en que el receptor percibe algo, impactando sobre sus juicios de valor y sus comportamientos.

Contextualizando: se sabe en qu contexto y para qu propsito se generaron. Categorizando: se conocen las unidades de medida que ayudan a interpretarlos. Calculando: los datos pueden haber sido procesados matemtica o estadsticamente. Corrigiendo: se han eliminado errores e inconsistencias de los datos. Condensando: los datos se han podido resumir de forma ms concisa (agregacin).

Informacin = Datos + Contexto (aadir valor) + Utilidad (disminuir la incertidumbre)

Datos, informacin, conocimiento

Conocimiento: Es una mezcla de experiencia, valores, informacin y know-how (saber cmo) que sirve como marco para la incorporacin de nuevas experiencias e informacin, y es til para la accin. Se origina y aplica en la mente de los conocedores. En las organizaciones con frecuencia no slo se encuentra dentro de documentos o almacenes de datos, sino que tambin esta en rutinas organizativas, procesos, prcticas, y normas. El conocimiento se deriva de la informacin, as como la informacin se deriva de los datos. Para que la informacin se convierta en conocimiento es necesario realizar acciones como:

Comparacin con otros elementos. Prediccin de consecuencias. Bsqueda de conexiones. Conversacin con otros portadores de conocimiento.

Soluciones Business intelligence

En definitiva, una solucin BI completa permite: Observar qu est ocurriendo? Comprender por qu ocurre? Predecir qu ocurrira? Colaborar qu debera hacer el equipo? Decidir qu camino se debe seguir?

Cuadros de Mando Integrales (CMI): Tambin conocido como Balanced Scorecard (BSC) o dashboard, es una herramienta de control empresarial que permite establecer y monitorizar los objetivos de una empresa y de sus diferentes reas o unidades. (financiera, cliente, interna, aprendizaje y crecimiento, etc)

Principales productos BI

Sistema de Soporte a la Decisin (DSS) es una herramienta de Business Intelligence enfocada al anlisis de los datos de una organizacin. Caractersticas:

Informes dinmicos, flexibles e interactivos No requiere conocimientos tcnicos. Rapidez en el tiempo de respuesta Integracin entre todos los sistemas/departamentos de la compaa. Cada usuario dispone de informacin adecuada a su perfil. Disponibilidad de informacin histrica y actual.

Principales componentes
Por

otro lado, los principales componentes de orgenes de datos en el Business Intelligence que existen en la actualidad son: Datawarehouse Datamart

datawarehouse

Un almacn de datos es un sistema que recupera y consolida datos de forma peridica de los sistemas de fuente en un almacn de datos dimensional o normalizado. Por lo general, mantiene aos de historia y es consultado por la inteligencia de negocios o cualquier otro tipo de actividad de anlisis. NOTA: Normalmente se actualiza en lotes (batches) no, cada vez que una transaccin ocurre en el fuente del sistema.

Diagrama de un sistema datawarehouse

Fuente: Building a Data Warehouse - Vincent Rainardi

Diagrama de un sistema datawarehouse

Source Systems (Sistemas fuente): son los sistemas OLTP que contienen los datos que desee cargar en los datos almacn. Online Transaction Processing (OLTP) es un sistema cuyo objetivo principal es capturar y almacenar las transacciones comerciales (RRHH, Ventas, etc). Data Profiler (perfilador de datos) es una herramienta que tiene la capacidad para analizar los datos, tales como encontrar el nmero de registros en cada tabla, el nmero de filas que contiene valores NULL, etc. ETL (Extract Transform Load): Es un sistema que tiene la capacidad de conectar con el sistema fuente(origen), transformar los datos, y la carga en un sistema de destino (el sistema de destino no tiene que ser un almacn de datos). Stage Area (area de ensayo): Almacenamiento temporal de las tablas origen. Su objetivo es no sobrecargar el sistema fuente(origen) con transacciones o consultas. DQ - Data Quality (Calidad de datos): Aplica las normas de calidad de control de datos. Cuando no cumplen con la calidad se almacenan en una base de datos Data Quality y se reporta para su revisin y correccin.

Diagrama de un sistema datawarehouse

DDS - Dimensional Data Store (Almacenamiento de datos dimensional): Los datos estan organizados en un formato de dimensiones que es ms adecuado para el analisis. Contiene data integrada de varios sistemas fuente(origen). Metadata Metadatos: es una base de datos que contiene informacin sobre la estructura de datos, el significado de datos, el uso de datos, los datos de la normas de calidad y otra informacin acerca de los datos. Audit Control- Sistema de Auditoria ETL: Supervisa las actividades operacionales de la ETL los procesos y los registros de sus estadsticas operacionales. Se utiliza para la comprensin de lo que pas durante el proceso de ETL. BMDs Multidimensional Databases: Repositorio final de DDS, es una forma de base de datos donde se almacenan los datos en las celdas y la posicin de cada celda es definido por una serie de variables llamadas dimensiones. Cada celda representa un evento de negocios, y los valores de las dimensiones de mostrar dnde y cundo ocurri este evento

ARQUITECTURA DEL SISTEMA

Metodologias de desarrollo datawarehouse

Waterfall

(cascada): Es una secuencia de pasos que deben de ser completados uno antes de otro, como si bajara las escaleras.

Metodologias de desarrollo datawarehouse

Waterfall Estudio de factibilidad. Requerimientos Arquitectura Diseo Desarrollo Pruebas Implementacin Operacin

 Waterfall

Metodologias de desarrollo datawarehouse

with project Management(cascada): Es combinacin de waterfall con Project Management.

Metodologias de desarrollo datawarehouse

Modelo

Iterativo: Se define la funcionalidad esperada y se divide para asignar prioridad

Metodologias de desarrollo datawarehouse

Vamos a pasar por este proceso paso a paso: 1. En la primera iteracin, se ejecuta toda la arquitectura como un sistema. 2. En la primera iteracin, los usuarios ver y utilizar el almacn de datos. 3. En la primera iteracin, los entornos de prueba y de produccin se utilizan. 4. En la primera iteracin, se ejecuta el sistema a su mxima capacidad para pruebas de rendimiento. 5. En la primera iteracin, se implementa en la produccin (Sistema en vivo). Y en el momento en que llegue a la ltima iteracin, no hay "primeras veces" a la izquierda! esto elimina los riesgos y problemas.

datawarehouse

1. 2.

3. 4.

En resumen para alimentar un Datawarehouse: Identificar las tablas que tiene la informacin a migrar al datawarehouse. Migrar las tablas a la base de datos stage(temporal), para no afectar la base de datos operacional con operaciones que consumen mucho recurso. Ejecutar la extraccin de datos y almacenamiento en las base de datos dimensionales. De acuerdo a la madurez del proceso se hace el control de auditoria y calidad sobre la migracin de informacin.

bibliografia
Building

Reinardi SQL server 2005 Bible Paul Nielsen

a Data Warehouse Vincent