Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
FORTALEZA – 2010
JOÃO PAULO DE SOUSA NETO
FORTALEZA – 2010
IMPLEMENTAÇÃO DE UM MODELO DIMENSIONAL
UTILIZANDO APLICATIVOS FREEWARE
1° examinador:
2° examinador:
INTRODUÇÃO ............................................................................................................................................... 8
1.1 MOTIVAÇÃO ............................................................................................................................................. 8
1.2 OBJETIVOS............................................................................................................................................... 9
1.2.1 OBJETIVO GERAL ................................................................................................................................ 9
1.2.2 OBJETIVOS ESPECÍFICOS .................................................................................................................. 9
1.3 METODOLOGIA ....................................................................................................................................... 9
1.4 ESTRUTURA DO TRABALHO ............................................................................................................. 10
DATA WAREHOUSE .................................................................................................................................. 11
2.1 HISTÓRICO ............................................................................................................................................. 11
2.2 ARQUITETURA ...................................................................................................................................... 12
2.2.1 ARQUITETURA EM DUAS CAMADAS ........................................................................................... 12
2.2.2 ARQUITETURA EM TRÊS CAMADAS ............................................................................................ 13
2.2.3 ARQUITETURA EM VÁRIAS CAMADAS ....................................................................................... 14
2.3 MODELAGEM ......................................................................................................................................... 16
2.3.1 MEDIDAS ............................................................................................................................................. 17
2.3.2 GRANULARIDADE............................................................................................................................. 18
2.3.3 TABELA DE FATOS E DIMENSÕES ................................................................................................ 19
2.4 MODELAGEM DAS TABELAS ............................................................................................................. 20
2.5 FASES PARA CONSTRUÇÃO DE DATA WAREHOUSE ............................................................... 22
2.6 DATA MART ............................................................................................................................................ 24
2.7 CONCLUSÃO .......................................................................................................................................... 26
ESTUDO DE CASO ..................................................................................................................................... 27
3.1 DEFINIÇÃO DO ESTUDO DE CASO .................................................................................................. 27
3.2 MODELAGEM ......................................................................................................................................... 28
3.2.1 POWER ARCHITECT .......................................................................................................................... 28
3.3 ETL............................................................................................................................................................ 30
3.3.1 SPOON .................................................................................................................................................. 30
3.4 GERAR BANCADA DE TRABALHO .................................................................................................... 31
3.4.1 SCHEMA WORKBENCH .................................................................................................................... 32
3.5 FERRAMENTA DE BI ............................................................................................................................. 33
3.5.1 CONFIGURANDO PENTAHO ............................................................................................................ 33
3.6 CONCLUSÃO .......................................................................................................................................... 36
CONCLUSÃO ............................................................................................................................................... 37
4.1 TRABALHOS FUTUROS....................................................................................................................... 38
REFERÊNCIAS .................................................................................................................................................... 39
8
INTRODUÇÃO
1.1 MOTIVAÇÃO
O uso de um data warehouse vem sendo aplicado nas mais diversas áreas,
como gestão, vendas, compras e outros exemplos conforme ilustrado por [KIMBALL,
2002].
1
3FN – Refere-se à normalização das tabelas de um banco de dados.
2
Armazena medidas numéricas do negócio
3
Armazena descrição textual da dimensão do negócio
4
Nível de detalhamento da medição dos dados
9
1.2 OBJETIVOS
1.3 METODOLOGIA
DATA WAREHOUSE
2.1 HISTÓRICO
2.2 ARQUITETURA
[KIMBALL, 98] afirma que arquitetura em camadas pode ser vista de duas
formas: a divisão de dados operacionais e analíticos e a divisão de funcionalidades
para acesso ao DW. A Figura 2 mostra este tipo de arquitetura.
Na divisão em três camadas, temos na primeira camada os aplicativos
que interagem com os usuários que, neste caso, podem ser web e com interface
bem amigável. Os aplicativos para processamento do negócio ficam na segunda
camada, já os aplicativos para gerenciamento do banco de dados, ficam na terceira
camada, que é responsável pelo compartilhamento de dados entre os sistemas On-
line Transaction Processing (OLTP) e os aplicativos da segunda camada.
A característica da segunda camada entende-se pela forma estática em
que os dados ficam armazenados, ou seja, nunca há alteração, apenas inserção de
dados, isso traz a possibilidade de fazer uma análise histórica do negócio, e com a
sua performance em alto nível por se tratar de sistema On-line Analytical Processing
(OLAP) .
14
2.3 MODELAGEM
2.3.1 MEDIDAS
Figura 4: http://www.devmedia.com.br/post-5656-Artigo-SQL-Magazine-13-Modelagem-de-Data-
Warehouses-e-Data-Marts-Parte-1.html
2.3.2 GRANULARIDADE
Figura 6: http://imasters.com.br/artigo/3836/modelo_dimensional_para_data_warehouse
20
Figura 7: http://mymsiad.blogspot.com/2007/09/o-modelo-dimensional-md-uma-tcnica-de.html
21
Figura 8: http://www.shammas.eng.br/acad/sitesalunos1106/dw/mod_dime.htm
22
Uma vez tendo a sua modelagem no banco de dados, se tem então uma nova
fase, que é a modelagem da estrutura dimensional para a ferramenta que
disponibilizará os dados para o usuário final. Esta modelagem pode ser feita em uma
estrutura XML, uma vez que esta estrutura facilita a comunicação entre interfaces.
Esta modelagem XML segue a mesma estrutura do banco de dados dimensional e
que a partir deles a consulta de dados pode ser feita de forma bem flexível. Por fim
este modelo será publicado em uma ferramenta, seja esta web ou desktop.
como mesma estrutura, mas sim de qualquer fonte de dados e com qualquer
formato.
E por fim a carga, esta subfase é a atualização dos dados no banco de dados
dimensional, fazendo a carga necessária nas suas estruturas respectivas e, neste
caso, pode-se haver redundância dos dados. A a Figura 9 ilustra todas as atividades
acima mencionadas.
Figura 9: http://www.infoescola.com/informatica/data-warehouse/
3 – Criar o ETL
5 – Configurar a ferramenta de BI
2.7 CONCLUSÃO
ESTUDO DE CASO
3.2 MODELAGEM
3.3 ETL
Esta etapa exige o maior esforço da atividade de criação, pois nela iremos
fazer as consultas no banco de dados operacionais, depois fazer o tratamento nos
dados com a finalidade de padronizar dados e por fim carregar os dados tratados
para o banco de dados dimensional. Utilizamos então a ferramenta spoon que
facilita este trabalho, permitindo executar estas três tarefas de forma gráfica.
3.3.1 SPOON
permite gerar a bancada de forma bem simples, uma vez que o XML pode ser
gerado de forma gráfica.
Esta ferramenta é utilizada para gerar o XML que será importado para o
pentaho, como ponto mais positivo pode ser entendido a forma de edição deste XML
que é feito de forma totalmente gráfica permitindo então uma maior compreensão do
modelo dimensional, muito embora esta modelagem tenha sido feita pela ferramenta
power arquitect, a partir desta estrutura visualizaremos a forma como um cubo
estará disposto, conforme ilustra a Figura 14.
3.5 FERRAMENTA DE BI
O new analysis view vai nos permitir trabalhar com o cubo OLAP, ou seja,
com ele vamos pegar o nosso cubo e gerar relatórios gerenciais com os dados que o
usuário desejar. Com isso, ele pode graficamente executar consultas sem a
necessidade de conhecimento de linguagens de baixo nível, necessitando apenas
de ter conhecimento de manipulação da informação, portanto, é um usuário que
sabe ler a informação de forma quantitativa e com isso usar como suporte a decisão,
e ainda gera imediatamente um gráfico que pode ser personalizado para a
apresentação da consulta.
O cubo que utilizamos no analysis view fica disponível a partir do deploy
feito na ferramenta schema workbench, portanto quando clicamos nessa atividade a
opção que devemos escolher é o schema e a partir dele selecionamos os cubos
disponíveis para fazer a manipulação da informação.
Outras funcionalidades que podemos utilizar é deixar relatórios pré-
definidos evitando retrabalhos de montagem de relatórios. Podemos escalonar a
atualização do data warehouse, ou seja, o seu ETL. Além disso, ele nos disponibiliza
os dashboards, que são gráficos dinâmicos os quais permitem navegar dentro de
certo intervalo de dados. A Figura 16 mostra exemple de relatório gerados pelo cubo
OLAP, proporcionando uma visão por meio de gráficos ou dados quantitativos a
partir das métricas.
3.6 CONCLUSÃO
CONCLUSÃO
REFERÊNCIAS BIBLIOGRÀFICAS
INMON, William Harvey; HACKATHORN, Richard D.. Using the Data warehouse.
1a Ed. USA: Wiley, 1994.
INMON, William Harvey. Building the Data warehouse. 2a Ed. USA: Wiley, 1996.
INMON, William Harvey. Corporate Information Factory. With Claudia Imhoff and
Ryan Sousa. John Wiley and Sons, Wiley 1998
KIMBAL, Ralph. The Data Warehouse Toolkit. New York: John Wiley & Sons,
Wiley, 1996.
KIMBALL, Ralph. Data Warehouse toolkit. São Paulo: Makron Books, 1998.
KIMBALL, Ralph; ROSS, Margy. The Data Warehouse toolkit: The Complete
Guide to Dimensional Modeling. 2a Ed. USA: Wiley, 2002.