BANCO DE DADOS Data Mining

edermatias@up.com.br

Roteiro
Caractersticas Bases de dados para Data Mining Como funciona o processo de Data Mining Aplicabilidade Avaliao de Competncia(s)

Data Mining
Minerao de Dados
Descoberta de padres

Surgiu como uma proposta e necessidade em que recursos de anlise de dados tradicionais so inviveis para acompanhar evoluo da competitividade do uso da informao Aplica conceito de processo iterativo de criao, teste e refinamento de hipteses Foco na descoberta do conhecimento

Data Mining
Sistemas Transacionais so desenvolvidos para atender s demandas de um grupo de usurios, gestores e corporaes
Aplica o conceito de regras fixas e prdeterminadas Fazem aquilo a que foram programadas para fazer Fornecem base para tomada de deciso, mas sempre a deciso tomada por um usurio ou gestor

Data Mining
Sistemas de Data Mining so capazes de tomar decises baseado em regras, clculos, inteligncia artificial, heurstica e reconhecimento de padres
No necessitam diretamente de um usurio para tomada de deciso muito preciso nas afirmativas, mas ainda depende de entrada de dados primria para autoregenerar e melhorar as decises tomadas

Data Mining
Motivao para uso de Data Mining
Morrendo de sede de informao num oceano de dados
CEO do Wall Mart

Rico em dados e pobre em informao e conhecimento

Prof. Deborah Ribeiro Carvalho

Data Mining
INTERPRETAO/ AVALIAO DATA MINING CONHECIMENTO

?
PADRES

TRANSFORMAO DADO TRANSFORMADO DADO PROCESSADO DADO ANALISADO DADOS

PR-PROCESSAMENTO

SELEO

FAYYAD 1996

Data Mining
Os problemas de anlise de dados para tomada de deciso so muito grandes:
BD da Wal-Mart: 20 milhes de transaes por dia Data Warehouse da Mobil: 100 TB BD da NASA: recebe de satlites 50 GB por hora

Dados de 2007

Data Mining
Utilizado como:
Ferramentas de automatizao das tarefas repetitivas e sistemtica de anlise de dados Ferramenta de auxlio para as tarefas cognitivas da anlise Integrao das ferramentas em sistemas apoiando o processo completo de descoberta de conhecimento para tomada de deciso

Data Mining
NO a soluo definitiva para os problemas computacionais
Sempre h interveno humana num deterninado momento

Trata-se de uma aposta

Lana-se regras e se analisa resultados Mesmo aps um bom aprendizado, erros de tomada de deciso podem acontecer

Altssimo custo computacional e de pessoal qualificado para implantao

Alm do tempo de retorno de investimento girar em torno de 5 anos ou mais

10

Tcnicas de Data Mining

KDD (Reconhecimento de Padres)
Knowlegge Data Discovery

Processo de descoberta do conhecimento baseado em tcnicas de Inteligncia Artificial

Inteligncia
Faculdade de aprender, compreender ou compreender, percepo, apreenso, intelecto, intelectualidade. Qualidade ou capacidade de compreender e adaptar-se facilmente; capacidade, penetrao, agudeza, perspiccia.

Artificial
Produzido pela arte ou pela indstria; no natural. Dissimulado, disfarado, fingido.
Aurlio Buarque de Holanda Ferreira

11

Tcnicas de Data Mining

Sistemas inteligentes para apoio na tomada de decises podem usar:
rvores Binrias Algoritmos genticos Reder Neurais Lgica Fuzzy

12

KDD
Objetivo de se utilizar tcnicas de KDD
Ser correto (quanto possvel) Ser compreensvel por usurios humanos Ser interessante, til e principalmente surpreendente

13

KDD
KDD utiliza sempre regras binrias do tipo SE x ENTO y Quais os clientes que tm alta probabilidade de comprar videogames? Exemplo de conhecimento extrado do Banco de Dados
SE (idade < 18) E (profissao = estudante) ENTO (compra = videogame) 90%

14

KDD
Sexo M M F F F M M F F M Pas Frana Inglaterra Franca Inglaterra Frana Alemanha Alemanha Alemanha Frana Frana Idade 25 21 23 34 30 21 20 18 34 55 Comprar sim sim sim sim no no no no no no

15

KDD
SE (pas = Alemanha) ENTO (comprar=no) SE (pas = Inglaterra) ENTO (comprar = sim) SE (pas = Frana E idade <= 25) ENTO (comprar = sim) SE (pas = Frana E idade > 25) ENTO (comprar = no)

16

Data Mining
rvores de deciso:
Representaes simples do conhecimento Utilizao de regras condicionais A partir de um conjunto de valores decide SIM ou NO Mais rpida e mais compreensvel que redes neurais Exemplo: Sair ou no de acordo com o tempo

17

Data Mining

18

Aplicaes de Data Mining

Vendas e Marketing
Identificar padres de comportamento de consumidores Associar comportamentos caractersticas demogrficas de consumidores Campanhas de marketing direto (mailing campaigns) Identificar consumidores leais

19

Aplicaes de Data Mining

Mdica
Comportamento de pacientes Identificar terapias de sucessos para diferentes tratamentos Fraudes em planos de sades Comportamento de usurios de planos de sade

20

Aplicaes de Data Mining

Bancos
Identificar padres de fraudes (cartes de crdito) Identificar caractersticas de correntistas Mercado Financeiro ($$$)

21

Aplicaes de Data Mining

Exemplo Wall Mart: Cervejas e fraldas tem tudo a ver!
So homens casados, entre 25 e 30 anos; Compravam fraldas e/ou cervejas s sextas-feiras tarde no caminho do trabalho para casa; Wal-Mart otimizou s gndolas nos pontos de vendas, colocando as fraldas ao lado das cervejas;

Resultado: o consumo cresceu 30% .

22

Aplicaes de Data Mining

Exemplo Lojas Brasileiras (Info 03/98)
Aplicou 1 milho de dlares em tcnicas de data mining Reduziu de 51000 produtos para 14000 produtos oferecidos em suas lojas.

Anomalias detectadas:
Roupas de inverno e guarda chuvas encalhadas no nordeste Batedeiras 110v a venda em SC onde a tenso 220v

23

Aplicaes de Data Mining

Exemplo Bank of America (Info 03/98)
Selecionou entre seus 36 milhes de clientes Aqueles com menor risco de dar calotes tinham filhos com idades entre 18 e 21 anos

Resultado em trs anos o banco lucrou 30 milhes de dlares com a carteira de emprstimos.

24

Data Mining
Empresas de software para Data mining:
SAS Information Havesting Red Brick Oracle Sybase Informix IBM

25

Data Mining
Concluses
Data mininig um processo que permite compreender o comportamento dos dados Data mining X Data warehouse Tem um suporte muito forte em I. A. Pode ser bem aplicado em diversas reas S ser eficiente se o valor das informaes extradas exceder o custo do processamento dos dados brutos. Ainda no h um consenso entre os autores e pesquisadores.
26

Data Mining
Aplicativo ALICE
http://alice.pandorabots.com/

Trabalha com o conceito de rvore Binria

Pergunta: What are ALICE? Pergunta: What your creator? Pergunta: What you eat?

27

Validao de Competncia(s)
1. Com base nos conceitos aplicados a Data Mining, escolher uma das tcnicas de implementao e redigir um texto explicativo do funcionamento da tcnica escolhida.
rvores Binrias Algoritmos genticos Reder Neurais Lgica Fuzzy

28

Validao de Competncia(s)
REGRAS!
Atividade individual Entregar material por e-mail at aula AMT dia 25/06/2012 necessrio encontrar pelo menos um exemplo prtico da tcnica de Data Mining escolhida.

29