BUSINESS INTELLIGENCE

E DATA WAREHOUSE

Projeto e Arquitetura de ETL

( Introdução )

tutorpro.com.br | cetax.com.br
Cetax Consultoria e Treinamento

Quem somos

2
Cetax Consultoria e Treinamento

3
Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 4

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 5

Cetax Consultoria e Treinamento

Começamos esse treinamento resumindo o principal objetivo do ETL que é

transportar dados ! E devemos fazer isso sempre buscando a melhor maneira
possível.
Durante esse treinamento vamos dividir o ETL em pequenas partes gerenciáveis.

Projetando e Construindo o ETL 6

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 7

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 8

Cetax Consultoria e Treinamento

Objetivos do ambiente de ETL

Projetando e Construindo o ETL 9

Cetax Consultoria e Treinamento

Funções principais do ambiente de ETL

Figura do livro “The Data Warehouse ETL Toolkit”

Projetando e Construindo o ETL 10

Cetax Consultoria e Treinamento

Tarefas da Extração

Projetando e Construindo o ETL 11

Cetax Consultoria e Treinamento

As opções mais usuais de acesso aos dados são via banco de dados ou via
arquivos ( geralmente txt ).

As ferramentas de ETL também disponibilizam conectores que podem ser

utilizados com Mainframe, SAP, entre outros.

Projetando e Construindo o ETL 12

Cetax Consultoria e Treinamento

Prós e Contras dos bancos de dados

Projetando e Construindo o ETL 13

Cetax Consultoria e Treinamento

Os arquivos são uma boa maneira de extrair e manipular dados, as ferramentas

de Etl aceitam e trabalham muito bem com arquivos. Eles tem performance
superior aos bancos de dados

Projetando e Construindo o ETL 14

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 15

Cetax Consultoria e Treinamento

Alguns motivos para se fazer staging área, ou seja, faça !

Projetando e Construindo o ETL 16

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 17

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 18

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 19

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 20

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 21

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 22

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 23

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 24

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 25

Cetax Consultoria e Treinamento

Estes são os 4 grupos de componentes do ambiente de ETL, o detalhamento de

todos esss componentes serão estudados no modulo de ETL II

Projetando e Construindo o ETL 26

Cetax Consultoria e Treinamento

Extração, nessa categoria listamos e estudamos todos os processos que são

responsáveis por extrair e capturar os dados dos sistemas legados.

Projetando e Construindo o ETL 27

Cetax Consultoria e Treinamento

Transformação, nessa categoria os dados são limpos e formatados, as

diferenças de tipos de dados são tratadas. O controle de erros de carga é feito
nesse momento.

Projetando e Construindo o ETL 28

Cetax Consultoria e Treinamento

Load ou Transporte, é talvez a maior etapa do processo de ETL, onde as

informações são tratadas para alimentar o modelo dimensional.

Projetando e Construindo o ETL 29

Cetax Consultoria e Treinamento

Management, o M talvez seja a letra do ETL que é menos citada, mas nem por
isso seja menos importante. O gerenciamento é a parte responsável por
encadear e controlar todas as cargas, além de dar segurança, estabilidade e
performance para todo o ambiente de ETL

Projetando e Construindo o ETL 30

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 31

Cetax Consultoria e Treinamento

Antes de iniciarmos a construção dos ETL’s é necessário que tenhamos uma

estratégia clara para tratamento dos itens acima. Todos esses itens afetam a
entregas e os prazos do DataWarehouse,

Projetando e Construindo o ETL 32

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 33

Cetax Consultoria e Treinamento

Compliance são os padrões e rotinas necessárias para uma empresa funcionar

dentro de determinadas regras. Essas regras podem ser internas, que são
padrões ditados pela empresa. Ou externas, que podem ser leis ou padrões de
ética.

Projetando e Construindo o ETL 34

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 35

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 36

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 37

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 38

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 39

Cetax Consultoria e Treinamento

O que geralmente acontece é que quando chegamos a essa fase as ferramentas

já foram definidas anteriormente, cabendo a nós somente definir quais usuários
acessarão quais ferramentas.

Projetando e Construindo o ETL 40

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 41

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 42

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 43

Cetax Consultoria e Treinamento

Acima estão algumas ferramentas de ETL disponíveis no mercado, no entanto

temos visto poucas dessas utilizadas no mercado brasileiro, acreditamos que as
principais são :
-Informatica PowerCenter
-Oracle Warehouse Builder
-BO Data Integrator
-Cognos Decision Stream
- IBM Data Stage
-Microsoft SQL Server DTS
-SAS Enterprise ETL Server ( mais utilizada nos projetos que utilizam o SAS
Studio )
-Oracle Data Integrator, poderosa ferramenta de integração adquirida da
Sunopsis.

Projetando e Construindo o ETL 44

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 45

Cetax Consultoria e Treinamento

Os processos de ETL consomem até 75% do tempo de desenvolvimento dos

projetos de Data Warehouse.

46
Cetax Consultoria e Treinamento

Começar a planejar e mesmo construir sem ter claramente os itens acima, com
certeza implica em retrabalhos nos programas ou mesmo reconstrução no caso
de grandes modificações.

47
Cetax Consultoria e Treinamento

Esses são os 10 passos para o planejamento do ambiente de ETL

48
Cetax Consultoria e Treinamento

Visão Geral de um plano de alto nível

49
Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 50

Cetax Consultoria e Treinamento

Use sempre uma ferramenta, seja paga ou mesmo opensource

Projetando e Construindo o ETL 51

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 52

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 53

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 54

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 55

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 56

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 57

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 58

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 59

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 60

Cetax Consultoria e Treinamento

Projetando e Construindo o ETL 61