Data Warehouse / Data Marts / DataMining /OLAP

Apostila 7 Prof. Me. Eduardo Botelho Corra

Introduo

Informatizao dos meios produtivos permitiu a gerao de grandes volumes de dados:

Transaes eletrnicas; Novos equipamentos cientficos e industriais para observao e controle; Dispositivos de armazenamento em massa;

Aproveitamento da informao permite ganho de competitividade:

conhecimento poder

Recursos de anlise de dados tradicionais so inviveis para acompanhar esta evoluo:

processo iterativo de criao, teste e refinamento de hipteses;

DATA WAREHOUSE
Definies
Uma definio simples de Data Warehouse a sua traduo literal para o portugus, Armazm de Dados.

Data Warehouse um banco de dados voltado para suporte

deciso de usurios finais, derivado de diversos outros banco de dados operacionais.

Coleo de dados orientados por assunto , integrados, variveis com o tempo e no volteis para dar suporte ao processo de tomada de deciso. (Inmom)

DATA WAREHOUSE
Motivos que levam uma empresa a adotar a tecnologia de Data Warehouse

O sucesso de uma empresa depende, entre outros fatores, da agilidade e preciso com que ela toma as suas decises. Para que isto ocorra, necessrio que a empresa tenha informaes precisas e no momento adequado. justamente neste ponto que entra a tecnologia Data Warehouse, auxiliando na integrao e consolidao dos dados.

Funes de um
DATA WAREHOUSE

coleta e armazenamento de dados de vrias bases de dados, armazenamento de dados resumidos, fornecimento de cpia estvel dos dados para consultas de suporte a deciso.

DATA WAREHOUSE

Arquitetura de um Data Warehouse

DATA WAREHOUSE
Extrao de Informaes do Data Warehouse

Data Mining

Data Mining visa analisar dados tambm, s que com a utilizao de mtodos mais complexos, como conseqncia, os resultados so mais elaborados.

DataMining

Nova tecnologia que permite extrair informaes escondidas em grandes bancos de dados. Prever tendncias e comportamentos futuros, permitindo aos gestores tomarem a deciso baseada em fatos e no em suposio.

Data Mining

a descoberta de conhecimento dentro em banco de dados freqentemente ligada com DW fornece insights para gerenciar oportunidades e problemas potenciais ( ou existentes)

DataMining

DataMining fornece 5 tipos de informao: Associao: ocorrncias esto ligadas a um evento.Por exemplo: num supermercado, quando se compra batatas fritas,compra-se tambm coca-cola. Sequncia: eventos ligados ao longo do tempo. Por exemplo se uma casa comprada, ento 45% das vezes um fogo ser comprado dentro de um ms. Classificao: mais comum nos dias de hoje. Encontrar caractersticas dos clientes e determinar quais tipos de promoes sero mais eficientes. Conjuntos: descobrir diferentes agrupamentos de dados.Utilizado, por exemplo para descobrir defeitos na fabricao de produtos Previso: se um cliente ir renovar uma assinatura, por exemplo.

Relao DW e Data Mining

So independentes e podem ser utilizados em separado.

Contudo, um ambiente de anlise completo necessita resultados de ambos, ou seja, o melhor utilizar os dois em conjunto. Existe uma tendncia de ter as duas formas de anlise no mesmo ambiente

Exemplos de Aplicao

Marketing

Mala direta de produtos para clientes que tem possibilidade de comprar aquele produto Produtos organizados nas prateleiras de forma que o cliente ponha no carrinho de compra os produtos que vendem em conjunto Ligaes fraudulentas de Celulares clonados

Varejo

Telecomunicaes

Exemplos de Aplicao

Bancrio

Liberao de emprstimos para clientes que tem caractersitca de bom pagador NASA cataloga imagem de satlites classifica eventos similares nas imagens Disciplinas de graduao que tem maior probabilidade de serem cursadas em conjunto

Cientfico

Acadmico

DATA MART

Subconjunto de um datawarehouse: vrios data marts formam um datawarehouse; Construdo com um escopo menor de informaes, segmentado para uma determinada rea; Custa menos e leva menos tempo para ser projetado e implementado

DATA MART

um subconjunto lgico de um completo Data Warehouse [KIM98a]. Esse termo usado para se referir a um Data Warehouse de pequena capacidade usado para atender especificamente a uma Unidades Estratgica de Negcio ou a um departamento da corporao. um pequeno DW, com limitado escopo de dados [BON98], para representar uma funo particular do negcio.

DATA MART

Pode ser utilizado com projeto piloto do warehouse completo da organizao Implementao mais rpida Custo de implementao menor Controle Local na Unidades Estratgica de Negcio Integrao com outros Data Marts pode ser difcil se no houver um projeto mestre

Data Marts e Warehouses

Os dados em um Data Warehouse :

So dados operacionais consolidados. Em geral representam os dados operacionais passados, ou seja, o histrico dos dados

operacionais.

Unidades Estratgica de Negcio (SBU)

Os requisitos entre diferentes unidades de negcio dentro de uma organizao no so necessariamente comuns. Uma estratgia para atender separadamente as unidades de negcios so os data marts.

DATAWAREHOUSE /DATA MART

OLAP

Conjunto de ferramentas que possibilta efetuar a explorao dos dados contidos no DW; Melhorar desempenho das pesquisas; Processo interativo: usurio faz perguntas, recebe informaes, verifica um dado especfico e faz comparaes; Perguntas que um OLAP responde: Por que as vendas de automveis de determinado modelo diminuem no segundo trimestre? Qual regio vendeu mais? Qual diferena entre vendas de determinado produto por regio ou por vendedor?

Diferenas entre DataMining x OLAP

Analista gera uma hiptese e usa OLAP para verificar a hiptese;

O DataMining usado para criar a hiptese;

DataMining e OLAP se complementam;

Business Intelligence
Chegou a era da fidelizao, da customizao, da seduo do cliente e da Inteligncia aplicada aos negcios. Assim sendo, os grandes bancos de dados corporativos (Data Warehouse), esto entregando aos tomadores de deciso, a informao na forma mais precisa e utilizvel possvel. Os dados que at ento eram simples representantes de fatos comuns como nome, endereo, telefone, dentre outros, hoje se sofisticam na representao de imagens, vdeos, sons, dados temporais, indicadores econmicos, planilhas, pginas HTML.

Business Intelligence
Business Intelligence define um conceito que,
congrega: Ferramentas e processos que comeam com a coleta de dados, que so organizados e transformados em informao, para depois de analisada e processada se transformar em inteligncia. Essa, por sua vez, quando aplicada aos processos de decises, gera vantagem competitiva para a organizao. (HABERKORN, 2004)

Business Intelligence
O termo BI (business Intelligence) foi criado pelo mercado de sistemas com o propsito de dar uma nova roupagem a termos mais conceituais, como SAD e SAE. Mas na realidade, so sistemas que tem o mesmo propsito [...] (MIGLIOLI, 2007). Com essa afirmao, muito da confuso que se cria em torno da definio de BI, se esclarece, j que BI, em ltima anlise, pode ser entendido, como SAD e ou SAE/EIS.

Business Intelligence
BI representa a habilidade de se estruturar, acessar e explorar informaes,normalmente guardadas em DW/DM (Data Warehouse, Data Marts) com o objetivo de desenvolver percepes, entendimentos e conhecimentos, os quais podem produzir um melhor processo de tomada de deciso.

As aplicaes de Business Intelligence, que utilizam as informaes armazenadas em um Data Warehouse, podem incluir consultas e relatrios, anlises, estatsticas, previses, O BI pode utilizar informaes do ERP, CRM, SCM e BSC.

Business Intelligence
Business Intelligence tem como principais caractersticas:
- A capacidade de extrair e integrar dados de mltiplas fontes. - A transformao dos registros obtidos em informao til para o conhecimento empresarial. - A valorizao da experincia. - A anlise de dados contextualizados. - A procura de relaes de causa e efeito, trabalhando com hipteses e desenvolvendo estratgias e aes competitivas.