Cetax Consultoria e Treinamento

Outubro/2011

Reviso do Curso de Desenho e Projeto de Data Warehouse

Marco Garcia Cetax Consultoria em Informtica

Propsito do Business Intelligence

O objetivo converter o volume de dados em informaes relevantes ao negcio, atravs de relatrios analticos. Deciso Conhecimento Informao Dados Volume

Valor

Onde podemos Empregar BI

Dashboards e KPI BPMs / CPMs / EPMs

Estratgia

Anlises Tticas

Budgeting e Planning What-If e Simulaes Dashboards e KPIs Minerao de Dados Query Report

Anlises Operacionais

Query Report Reports Fixos ( pdf ) Pginas de Intranet Reports atravs de emails Telas para interao com os dados.

Reviso do Curso de Desenho e Projeto de DW

Cetax Consultoria e Treinamento

Outubro/2011

Para quais processos de negcio

Administrativos Financeiros
Compras. Pagamentos. Recebimentos. Fluxo de Caixa. Inadimplncia. Controles de Custos. Fechamentos. Contabilidade. Estoques e movimentaes de materiais. Logstica e distribuio.

Vendas e Faturamento
Volumes de Vendas. Anlises comparativas. Desempenho de lojas ou filiais. Rankings ( melhores ou piores ). Lucratividade das vendas. Alocao de Receitas.

Processos Diversos
Pesquisas de Dados. Anlises comportamentais e de ambiente. Minerao de dados ( descoberta de padres ). Estudo para novos produtos. Oportunidades e conteno de perdas. Monitoramentos Operacionais.

Benefcios do uso de BI
Maior capacidade de anlise. Maior acompanhamento dos processos de negcio. Agilidade na montagem de informaes. Possibilidade do uso de indicadores de gesto. Padronizao do acesso aos dados. Padronizao de regras de negcio. Diminuio nos ciclos de fechamento, reviso e liberao de informaes. Automao de processos de informao.

Ciclo de Vida do Data Warehouse

Reviso do Curso de Desenho e Projeto de DW

Cetax Consultoria e Treinamento

Outubro/2011

Tcnicas que podem ajudar no Planejamento do DW

Anlise de Alto Nvel sobre os Requisitos de Negcios.

Prova de Conceito (POC).

Anlise Inicial sobre os Requisitos de Negcio

Entender as iniciativas estratgicas de negcio. Identificar quais indicadores de performance ou mtricas para cada iniciativa estratgica. Determinar os processos de negcios que devem ser monitorados e os impactos. Determinar os benefcios que sero incorporados ao negcio, com um melhor acesso a informao

Definio de Escopo
necessrio definir o escopo do projeto sendo esse escopo totalmente justificvel. Algumas dicas para elaborao do escopo :
Escopo um trabalho conjunto entre TI e Negcios. O escopo inicial deve ser significativo e gerencivel. Focar inicialmente em um processo de negcio de somente uma fonte de dados. Limite a quantidade de usurios que vai acessar o DW inicialmente. Defina critrios de sucesso juntamente com o escopo.

Reviso do Curso de Desenho e Projeto de DW

Cetax Consultoria e Treinamento

Outubro/2011

Escopo Preliminar - Documentao

A documentao do escopo de extrema importncia para todo o Ciclo de Vida do DW. O entendimento, a aceitao, as excluses, critrios de sucesso, os riscos e planos de ao, devem sempre estarem declarados e aceitos por todo o grupo de trabalho

Planejamento do Projeto
Tarefas : Determinar o Staff do Projeto.
Gerncia Dia a Dia do Projeto Key Users Suporte

Desenvolver o Plano do Projeto

Cronograma de Atividades e Tarefas

Documentos Documento de Escopo Plano de Projeto

Gerenciamento do Projeto

Reviso do Curso de Desenho e Projeto de DW

Cetax Consultoria e Treinamento

Outubro/2011

Desafios e Documentos da Fase

Desafios :
Times multifuncionais, problemas com dados, escopo.

Documentos :
Relatrio de Status Ata da Reunio de Status Plano de Projeto ( Reviso e Atualizao ) Planilha de Registro de Problemas e Itens Planilha de Controle de Mudanas Documento de Requisio de Mudanas

Definio dos Requisitos de Negcio

Sugesto para coleta de requisitos :

Sesso com todos os envolvidos, para :
Definio dos processos de negcios. Responsveis. Vises necessrias. Sistemas Fontes.

Entrevistas Individuais, para :

Detalhar os processos de negcios. Sistemas Legados.

Quem vamos entrevistar :

Gestores de Negcios. Analistas de Negcios. Analistas dos Sistemas Legados.

Reviso do Curso de Desenho e Projeto de DW

Cetax Consultoria e Treinamento

Outubro/2011

Finalizando o levantamento
Descrio minuciosa das Entrevistas
Transcreva todo o resultado das entrevistas Envie para uma reviso dos usurios Faa isso de uma maneira clara e intuitiva

Documento de Descrio dos Requisitos

Unifique as entrevistas orientadas por assuntos e relacione os tpicos mais relevantes com seus entrevistadores. Monte um documento final de entendimento

Finalizando o Levantamento de Requisitos

Elabore um documento estruturado com :
Viso Executiva Viso Geral do Projeto Requisitos do Negcio
Reviso dos Objetivos do Negcio Requisitos para anlise

Anlise do Sistema Fonte Critrio de sucesso

Documentos da Fase
Email de Pr-Entrevista para os usurios Questionrios :
Para executivos Para Gerentes e Analistas de Negcio Para Analistas de Sistemas Legados

Resumo/Transcrio das Entrevistas Documento Final de Requisitos

Reviso do Curso de Desenho e Projeto de DW

Cetax Consultoria e Treinamento

Outubro/2011

Modelagem Dimensional
Objetivos : Traduz os requisitos levantados em modelos de dados. Transforma os dados dos sistemas de origem em dados mais fceis de serem analisados Documentos : Data Mart Matrix ( Bus Matrix ) Documentao do Modelo de Dados Logical Data Map ( Source to Target ) 4 Passos

Dimenses Chaves e Campos

Sempre tem uma Primary Key (PK) A PK deve ser atribuda pelo Data Warehouse geralmente a surrogate key. Surrogate Key um nmero inteiro, sequencial, sem significado atribudo a cada registro da dimenso. A dimenso deve ter uma chave natural fornecida pelo sistema transacional. Ir conter diversos campos de descrio. Geralmente ocorrem muitos relacionamentos entre as tabelas origem das dimenses, sendo que esses campos devem ser carregados na dimenso. Ela pode conter regras de negcios, que definem as combinaes entre os diversos campos.

Dimenses Estrutura Bsica

Surrogate Key Natural Key Descries Hierarquias Data Incio e Trmino se for SCD2

Reviso do Curso de Desenho e Projeto de DW

Cetax Consultoria e Treinamento

Outubro/2011

Surrogate Keys x Natural Keys

Os Data Warehouses tem uma responsabilidade adicional comparado aos sistemas legados. O Data Warehouse deve ter a obrigao de gerar as chaves. As surrogate keys so atribudas sequencialmente as dimenses, sempre sem significado especfico.
Exceto para dimenses de tempo.

As chaves naturais so usadas nas dimenses para manter a ligao com os sistemas legados.

Implicaes das Surrogate Keys

Requer um lookup e substituio das chaves naturais pelas surrogate keys, tanto para as dimenses quanto para as tabelas fato. Permitem criar verses das informaes, como no SCD2. Isola o Data Warehouse das mudanas que podem ocorrer no sistema operacional. Incrementa a performance dos Joins. Podem reduzir significativamente a complexidade dos JOINs. Trabalho extra nos ETLs. Permitem os registros extras como:
N/A, Empresa Invlida,Dado Invlido, etc.

Tabelas Fatos
Tabela de relacionamento entre dimenses. Chave Primaria
Geralmente um subset das foreign keys.

Fatos / Mtricas / Valores

So mtricas resultantes do processo de negocio ou eventos. Geralmente so numricas. Geralmente so aditivas, mas no sempre.

Reviso do Curso de Desenho e Projeto de DW

Cetax Consultoria e Treinamento

Outubro/2011

Tabelas Fatos Chaves e Campos

As fatos so compostas por uma ou mais dimenses conectadas a ela. A Chave Primria da Fato pode ser todas as FKs das dimenses, mas geralmente um subset, das chaves mais significativas.
Mas a fato precisa de PK ? O que pode acontecer caso ela no tenha ?

Os campos devem ser todos numricos. As excees so os Degenerated Dimensions (DD).

Comportamento das Tabelas Fatos nos Aplicativos

Os dados de uma tabela fato so gerados a partir dos filtros feitos nas dimenses. O comportamento dos dados imprevisvel. A melhor estratgia de indexao criar um ndice por FK. Os valores numricos so agregados em tempo de execuo, geralmente se usa SUM() Os valores dificilmente so indexados ou possuem constraints.

Tabelas Fatos
Tempo Objeto Sujeito Estrutura Mtricas Chave Operacional

Reviso do Curso de Desenho e Projeto de DW

Cetax Consultoria e Treinamento

Outubro/2011

Comparativo entre os tipos de Fatos

Transaction Periodic Snapshot Accumulating Snapshot

Periodicidade

Na ocorrncia do Evento

Regular com intervalos previsveis

Intervalo de tempo indeterminado, geralmente tem curto ciclo de vida

Granularidade Operaes realizadas na Fato

1 linha por Evento Insert

1 linha por Perodo Insert

1 linha por Ciclo de Vida Insert e Update

Updates na Fato

No atualizado

No atualizado

Atualizado somente quando tem atividade

Dimenso de Datas

Data da Transao

Data da Periodicidade

Mltiplas datas para cada passo

Fatos

Atividade Transacional

Indicadores para um intervalo definido

Indicadores de um ciclo de vida

Bridge Tables: Dimenses de Vrios Valores

Correntistas de uma Conta Corrente. Diagnsticos de um paciente. Scios de uma Empresa. Resolvem situaes de N para N

Estrutura do DW segundo Kimball

Reviso do Curso de Desenho e Projeto de DW

10

Cetax Consultoria e Treinamento

Outubro/2011

Estrutura do DW Inmon Corporate Information Factory (CIF)

Abordagem Hbrida CIF e Kimball

4 Passos do Processo de Design Dimensional

Identificar o Processo de Negcio
O que se deseja acompanhar

Identificar o Gro ( Granularidade )

Qual o maior detalhamento possvel

Identificar as Dimenses
Quais so as descries e o contexto dessas informaes

Identificar os Fatos
Quais so as medidas/valores necessrias para esse processo

Reviso do Curso de Desenho e Projeto de DW

11

Cetax Consultoria e Treinamento

Outubro/2011

Estendendo os 4 Passos
Podemos colocar mais algumas atividades para melhorar os 4 passos :
Identificar Business Owner ou Dono da Informao. Identificar Sistemas Fontes. Identificar Principais Hierarquias de Navegao. Identificar Principais Relatrios e Anlises.

Bus Matrix - Tradicional

Identifica os cruzamentos entre as fatos e dimenses. Compartilhamento entre as dimenses. Processos de Negcios a serem analisados.

Bus Matrix - Estendida

Dimenses Comuns ( Conformed Dimensions ) Passo (1) Passo (2) Passo (4) PROCESSOS DE NEGCIO GRANULARIDADE Mtricas Ordem de Compra 1 registro por Ordem, - Valor da Ordem Dia, Produto, - Valor Desconto Fornecedor e - Quantidade de Depsito Itens Data Produto Fornecedor Depsitos Entregador Cliente Promoo X X X X

Detalha os 4 passos em 1 viso somente Melhor visualizao do processo de negcio

Reviso do Curso de Desenho e Projeto de DW

12

Cetax Consultoria e Treinamento

Outubro/2011

Processo de Modelagem Dimensional Requer Envolvimento dos Usurios

Recolher os requisitos de negcios e levantar realidade dos dados Processo de 4 Passos Desenha a Bus Matrix Priorizar e selecionar a linha da Matriz

Modelagem Dimensional Processo Continuado

Pesquisas nas fontes de dados
Explorao nas fontes dos dados Deve envolver usurios de negocio

Conduzir workshops para os passos 2 4

Maior comprometimento e envolvimento dos usurios Identificar itens pendentes e responsabilidades

Validar com outros usurios de negocio

Itens que devem ser observados durante a Reviso do Design

Os requisitos de negcio foram bem entendidos ? Itens de granularidade Granularidade mistas e fatos textuais Nmeros de Controle como Degenerated Dimensions Dimenso de Tempo Surrogate keys Muitas ou Poucas Dimenses Hierarquias Snowflaking desnecessrio

Reviso do Curso de Desenho e Projeto de DW

13

Cetax Consultoria e Treinamento

Outubro/2011

ETL Objetivos do ETL

Extrao - Staging Area

Funo : Servir como intermedirio entre os sistemas fontes e o Data Warehouse. Realizar as rotinas de Transformao e Limpeza dos Dados. Armazenar dados histricos para reprocessamento, conferncia e auditoria. Fazer ou no ? possvel recuperar a mesm a informao do legado ? possvel reprocessar o sistema legado durante o dia ?

Dividindo o ETL
Kimball dividiu o processo de ETL em 34 componentes. Os componentes sero agrupados em 4 categorias (E,T,L e M)
Extract Transform Load Management

Reviso do Curso de Desenho e Projeto de DW

14

Cetax Consultoria e Treinamento

Outubro/2011

E: Carregando os dados no DW
Requisitos de Negcio Preparando para Iniciar Mapa de Dados Data Profiling (1) Change Data Capture (2) Extract (3) Resultado Final: Dados Extrados e Converses de Formatos Julgando e Analisando os dados Capturando Mudanas Carregando o DW

T:Limpando e Formatando
Mecanismos de Limpeza Limpeza e Qualidade dos Dados (4) Tratamento de Erros (5) e Dimenso de Auditoria (6)

Controle de Erros e Auditoria

Integrao

Deduplicao (7) e Padronizao dos Dados (8) Resultado Final: Dados Limpos e Dimenses Padronizadas

L:Preparando para Apresentao

Chaves Processador de SCD (9) e Gerao de Surrogate Keys (10) Construtor de Hierarquias (11) Construtor de Dimenses Especiais (12) Carregador de Fatos (13) Substituio de Surrogate Keys (14) Bridges (Pontes) Gerenciador de Bridge Tables (15) Manipulador para Dados Atrasados (16) Gerenciador de Dimenses (17) e Gerenciador de Fatos (18) Gerenciador de Agregaes (19) Construtor de Cubos Multi Dimensionais (20) Gerenciador de Integrao de Dados (21) Resultado Final: Fatos e Dimenses Prontas para Consulta Dados Atrasados Distribuio

Hierarquias

Agregaes

Dimenses e Fatos

Integrao dos Dados

Reviso do Curso de Desenho e Projeto de DW

15

Cetax Consultoria e Treinamento

Outubro/2011

Trilha de Tecnologia

Plano de Arquitetura
Monte uma fora tarefa Recolha os requisitos Crie um rascunho inicial (draft) Revise o rascunho com os usurios e pessoal de TI e incorpore os feedbacks Crie um modelo de arquitetura tcnica Determine fases de implantao Identifique entregas para cada fase Finalize o Plano de Arquitetura

Seleo de Produtos
Duas linhas principais guiam a seleo dos produtos :
Requisitos de Negcios Requisitos Tcnicos

Podem ser utilizados prottipos ou POC ( Proof of Concept ) para anlise dos produtos.

Reviso do Curso de Desenho e Projeto de DW

16

Cetax Consultoria e Treinamento

Outubro/2011

Trilha de Aplicaes

Tipos de Aplicaes de BI e Modo de Consumo de Dados

Tipo da Aplicao Queries, Relatrios e Mining Relatrios Padronizados Aplicaes Analticas Dashboards e Scorecards BI Operacional Acesso Push Buttom Relatrios Operacionais Modo de Consumo Acesso Ad-Hoc Tipo da Anlise Estratticas

Tticas

Ciclo Anlitico de Business Intelligence

Monitor Activity

Take Action and Track Results

Identify Exceptions

Model Alternatives

Determine Casual Factors

Reviso do Curso de Desenho e Projeto de DW

17

Cetax Consultoria e Treinamento

Outubro/2011

Desenvolvimento dos aplicativos

Implemente os templates na ferramenta escolhida Monte os aplicativos de acordo com as necessidades dos usurios Se houverem aplicativos de planning, forecasting, budgeting e what-if, implemente os de maneira separada dos demais. Teste e valide os dados com os usurios

Implantao, Manuteno e Crescimento

Consideraes Finais :
Business Intelligence um processo de negcio, tecnologia o meio de construo. Foco no negcio ! As ferramentas so muito semelhantes. Foco no processo e no nas pessoas ! O processo deve ficar, as pessoas vo embora. Seja o mais minuscioso possvel, os detalhes realmente fazem a diferena. Pense no amanh, use solues que possam ser reutilizadas. Pense no processo de negcio como um todo, no somente em 1 relatrio especfico

Reviso do Curso de Desenho e Projeto de DW

18

Cetax Consultoria e Treinamento

Outubro/2011

Obrigado !
Boa sorte a todos ! Se precisarem de mim :
mgarcia@cetax.com.br http://twitter.com/mgarcia_cetax Telefones :
(11) 8380-3288 / (11) 8779-0500

http://www.linkedin.com/profile/view?id=9506117&trk=tab_pro Obrigado, Abrao. Marco Garcia.

Reviso do Curso de Desenho e Projeto de DW

19