SITEMAS DE APOIO DECISAO SAD

Conceitos de SAD Em uma definio bem genrica o Sistema de Apoio Deciso (SAD) um sistema de informao baseado em computador que combina modelo e dados, em uma tentativa de solucionar problemas semi-estruturados com grande envolvimento por parte do usurio. O SAD pode ser entendido muito mais como uma abordagem ou como uma filosofia do que como uma metodologia precisa. Caractersticas do SAD 1. SAD d apoio aos tomadores de deciso em todos os nveis gerenciais, seja individualmente ou em grupo, combinando a capacidade humana de julgamento com informaes objetivas; 2. O SAD da apoio a diversas decises interdependentes e/ou seqenciais; 3. D apoio a todas as fases do processo decisrio inteligncia, desenho, escolha e implementao bem como a uma variedade de processos e estilos de deciso; 4. O SAD mais avanado equipado com um componente de gesto do conhecimento que permite a soluo eficiente e eficaz de problemas bastante complexos. Um SAD um sistema que suporta tecnologicamente e gerencialmente a tomada de decises. O seu desenvolvimento tem contribuies de vrias reas interdisciplinares, inclusive da cincia da computao. Os tipos de decises podem ser tomadas da seguinte forma: Decises de Planejamento Estratgico relacionadas com a escolha de objetivos e polticas, e alocao de recursos; Decises de Controle Gerencial para assegurar a eficcia na aquisio e uso de recursos; Decises de controle Operacional para assegurar a eficcia no controle das operaes; Decises de Desempenho Operacional decises do dia-a-dia feitas durante a execuo das operaes. Em SADs, o usurio final precisa de dados que descrevam bem a organizao, que sejam acessveis, internamente consistentes e sejam organizados de forma a facilitar o seu acesso e carga pelas ferramentas de anlise. Assim, bancos de dados que suportam SAD devem ser capazes de recuperar grandes conjuntos de dados histricos e agregados, com um tempo de resposta razovel.

Data Warehouse
Um data warehouse (ou armazm de dados, ou depsito de dados no Brasil) um sistema de computao utilizado para armazenar informaes relativas s atividades de uma organizao em bancos de dados, de forma consolidada. O desenho da base de dados favorece os relatrios, a anlise de grandes volumes de dados e a obteno de informaes estratgicas que podem facilitar a tomada de deciso. O data warehouse possibilita a anlise de grandes volumes de dados, coletados dos sistemas transacionais (OLTP). So as chamadas sries histricas que possibilitam uma melhor anlise de eventos passados, oferecendo suporte s tomadas de decises presentes e a previso de eventos futuros. Por definio, os dados em um data warehouse no so volteis, ou seja, eles no mudam, salvo quando necessrio fazer correes de dados previamente carregados. Os dados esto disponveis somente para leitura e no podem ser alterados. A ferramenta mais popular para explorao de um data warehouse a Online Analytical Processing OLAP ou Processo Analtico em Tempo Real, mas muitas outras podem ser usadas. Os data warehouse surgiram como conceito acadmico na dcada de 80. Com o amadurecimento dos sistemas de informao empresariais, as necessidades de anlise dos dados cresceram paralelamente. Os sistemas OLTP no conseguiam cumprir a tarefa de anlise com a simples gerao de relatrios. Nesse contexto, a implementao do data warehouse passou a se tornar realidade nas grandes corporaes. O mercado de ferramentas de data warehouse, que faz parte do mercado de Business Intelligence, cresceu ento, e ferramentas melhores e mais sofisticadas foram desenvolvidas para apoiar a estrutura do data warehouse e sua utilizao. Atualmente, por sua capacidade de sumarizar e analisar grandes volumes de dados,o data warehouse o ncleo dos sistemas de informaes gerenciais e apoio deciso das principais solues de business intelligence do mercado.

O Armazenamento
O armazenamento se d num depsito nico mas que seja de rpido acesso para as anlises. Tal armazenamento tem que ser histrico com todos os dados possveis para que possa se ter uma anlise mais bem apurada.

Modelagem Multidimensional
Os sistemas de base de dados tradicionais utilizam a padronizao no formato de dados para garantir consistncia dos dados e uma minimizao do espao de armazenamento necessrio. Entretanto, algumas transaes e consultas em bases de dados normalizadas podem se tornar lentas devido s operaes de juno entre tabelas. Um Data Warehouse utiliza dados em formato semi-estruturadas . Isto aumenta o desempenho

das consultas e, como benefcio adicional, o processo torna-se mais intuitivo para os usurios comuns.

Metadado
O conceito Metadado considerado como sendo os "dados sobre dados", isto , os dados sobre os sistemas que operam com estes dados. Um repositrio de metadados uma ferramenta essencial para o gerenciamento de um Data Warehouse no momento de converter dados em informaes para o negcio. Entre outras coisas, um repositrio de metadados bem construdo deve conter informaes sobre a origem dos dados, regras de transformao, nomes e alias, formatos de dados, etc. Ou seja, esse "dicionrio" deve conter muito mais do que as descries de colunas e tabelas: deve conter informaes que adicionem valor aos dados. Tipo de Informao considerada Metadado Os metadados so utilizados normalmente como um dicionrio de informaes e, sendo assim, devem incluir:

ORIGEM DOS DADOS - Todo elemento de dado precisa de identificao, sua origem ou o processo que o gera. Esta identificao muito importante no caso da necessidade de saber informaes sobre a fonte geradora do dado. Esta informao deve ser nica, ou seja, cada dado deve ter uma e somente uma fonte de origem. FLUXO DE DADOS - Todo elemento de dado precisa ter identificado os fluxos nos quais sofre transformaes. importante saber que dados servem de base para que processos. FORMATO DOS DADOS - Todo elemento de dados deve ter identificado seu tamanho e tipo de dado. NOMES E ALIAS - Todo elemento de dados deve ser identificado por um nome. Este nome pode ser da rea de Negcios ou um nome tcnico. No caso de serem usados alias para os nomes, pode-se ter os dois. Devem existir padres para criao de nomes e alias (ex.: convenes para abreviaes), evitando assim ambigidades. DEFINIES DE NEGCIO - Estas definies so as informaes mais importantes contidas nos metadados. Cada elemento de dado deve ser suportado por uma definio do mesmo no contexto da rea de Negcio. O mtodo de manuteno destas informaes tambm deve ser muito consistente, de forma que o usurio possa obter facilmente definies para as informaes desejadas. Nestas definies devem ser evitadas referncias a outros metadados que necessitem de uma segunda pesquisa para melhor entendimento. REGRAS DE TRANSFORMAO - So consideradas como sendo as Regras de Negcio codificadas. Estas regras so geradas no momento da extrao, limpeza e agrupamento dos dados dos Sistemas Operacionais. Cada regra de transformao codificada deve estar associada a um elemento de Metadado. Se mais de uma aplicao contiver a mesma regra de transformao, dever ser garantido que estas sejam idnticas. ATUALIZAO DE DADOS - O histrico das atualizaes normalmente mantido pelo prprio banco de dados, mas definir um elemento de metadado, indicando as datas de atualizao dos dados, pode ajudar o usurio no momento

de verificar a atualidade dos dados e a consistncia da dimenso tempo do Data Warehouse. REQUISITOS DE TESTE - Identifica os critrios de julgamento de cada elemento de dado. Valores possveis e intervalos de atuao. Deve conter tambm padres para procedimentos de teste destes dados. INDICADORES DE QUALIDADE DE DADOS - Podem ser criados ndices de qualidade baseados na origem do dado, nmero de processamentos feito sobre este dado, valores atmicos X valores sintetizados, nvel de utilizao do dado, etc. TRIGGERS AUTOMTICOS - Podem existir processos automticos associados aos metadados definidos. Estes processos ou triggers devem estar definidos de forma que possam ser consultados por usurio e desenvolvedores, para que os mesmos no venham a criar situaes conflitantes entre as regras definidas nestes processos. RESPONSABILIDADE SOBRE INFORMAES - Deve ser identificado o responsvel por cada elemento de dados do Data Warehouse e tambm o responsvel pela entrada de metadados. ACESSO E SEGURANA - Os metadados devem conter informao suficiente para que sejam determinados os perfis de acesso aos dados. Deve-se poder identificar que usurios podem ler, atualizar, excluir ou inserir dados na base. Deve haver, tambm, informaes sobre quem gerencia estes perfis de acesso e como se fazer contato com o Administrador da Base de Dados.

Data Marts O Data Warehouse normalmente acessado atravs de Data Marts, que so pontos especficos de acesso a subconjuntos do Data Warehouse. Os Data Marts so construdos para responder provveis perguntas de um tipo especfico de usurio . Por exemplo: um Data Mart financeiro poderia armazenar informaes consolidadas dia-adia para um usurio gerencial e em periodicidades maiores (semana, ms, ano) para um usurio no nvel da diretoria. Um Data Mart pode ser composto por um ou mais cubos de dados. Hoje em dia, os conceitos de Data warehouse e Data Mart fazem parte de um conceito muito maior chamado de Corporate Performance Management.

Extrao de Dados
Os dados introduzidos num Data Warehouse geralmente passam por uma rea conhecida como rea de stage. O stage de dados ocorre quando existem processos peridicos de leitura de dados de fontes como sistemas OLTP. Os dados podem passar ento por um processo de qualidade, de normalizao (ou mudana de normas da organizao) e gravao dos dados no Data Warehouse.

Ferramentas
OLAP
As ferramentas OLAP (do ingls, Online Analytical Processing) so geralmente desenvolvidas para trabalhar com banco de dados sem padro definido ou

desnormalisados, embora existam ferramentas que trabalham com esquemas especiais de armazenamento, com dados (informaes) normalizados. Essas ferramentas so capazes de navegar pelos dados de um Data Warehouse, possuindo uma estrutura adequada tanto para a realizao de pesquisas como para a apresentao de informaes. Nas ferramentas de navegao OLAP, possvel navegar entre diferentes nveis de granularidades (detalhamento) de um cubo de dados. Atravs de um processo chamado Drill o usurio pode aumentar (Drill down) ou diminuir (Drill up) o nvel de detalhamento dos dados. Por exemplo, se um relatrio estiver consolidado por pases, fazendo um Drill down, os dados passaro a ser apresentados por Estados, cidades, bairros e assim sucessivamente at o menor nvel de detalhamento possvel. O processo contrrio, o Drill up, faz com que os dados sejam consolidados em nveis superiores de informao. Outra possibilidade apresentada pela maioria das ferramentas de navegao OLAP o recurso chamado Slice and dice. Esse recurso usado para criar vises dos dados por meio de sua reorganizao, de forma que eles possam ser examinados sob diferentes perspectivas. O uso de recursos para manipular, formatar e apresentar os dados de modo rpido e flexvel um dos pontos fortes de um data warehouse. Essa caracterstica faz com que a apresentao de relatrios na tela seja mais comum do que imprimi-los. Alm disso, o usurio tem liberdade para examinar as informaes que quiser de diversas maneiras e, ao final, pode imprimir e at mesmo salvar as vises mais importantes para uma futura consulta.

Data mining
Data mining, ou minerao de dados, o processo de descoberta de padres implcitos existentes em grandes massas de dados. Apesar de existirem ferramentas que ajudam na execuo do processo, o Data mining no tem automatizao simples (muitos discutem se sequer factvel) e precisa ser conduzido por uma pessoa, preferencialmente com formao em Estatstica ou reas afins.

Exemplo terico
Um site de vendas quer que quando seu cliente entre no site ele veja produtos similares ao que ele j havia comprado ou olhado. Ento ele dever armazenar o trajeto do cliente pelo site para que consiga traar o perfil do cliente.

Business Inteligence

Data Mining - Minerao de dados

Minerao de dados (tambm conhecida pelo termo ingls data mining) o processo de explorar grandes quantidades de dados procura de padres consistentes, como regras de associao ou sequncias temporais, para detectar relacionamentos sistemticos entre variveis, detectando assim novos subconjuntos de dados. Esse um tpico recente em cincia da computao mas utiliza vrias tcnicas da estatstica, recuperao de informao, inteligncia artificial e reconhecimento de padres.

Viso geral
Esta tecnologia formada por um conjunto de ferramentas que atravs do uso de algoritmos de aprendizagem ou baseados em redes neurais e estatstica, so capazes de explorar um grande conjunto de dados, extraindo destes conhecimento na forma de hipteses e de regras. Diariamente as empresas acumulam diversos dados nas suas bases de dados, inclusive com dados e hbitos de seus clientes. Todos estes dados podem contribuir com a empresa, sugerindo tendncias e particularidades pertinentes a ela e seu meio ambiente interno e externo, visando uma rpida ao de seus gestores. Com a gerao de informaes e conhecimentos teis para as empresas, os seus negcios podem dar mais lucratividade para as mesmas. Os recursos da tecnologia da informao, mais precisamente a capacidade do hardware e software disponveis podem efetuar atividades em horas, o que tradicionalmente as pessoas levariam meses. Efetivamente a minerao de dados cumpre o papel de descoberta de conhecimentos.

Etapas da minerao de dados

Os passos fundamentais de uma minerao bem sucedida a partir de fontes de dados (bancos de dados, relatrios, logs de acesso, transaes, etc.) consistem de uma limpeza (consistncia, preenchimento de informaes, remoo de rudo e redundncias, etc.). Disto nascem os repositrios organizados (Data Marts e Data Warehouses). a partir deles que se pode selecionar algumas colunas para atravessarem o processo de minerao. Tipicamente, este processo no o final da histria: de forma interativa e frequentemente usando visualizao grfica, um analista refina e conduz o processo at que os padres apaream. Observe que todo esse processo parece indicar uma hierarquia, algo que comea em instncias elementares (embora volumosas) e terminam em um ponto relativamente concentrado. Encontrar padres requer que os dados brutos sejam sistematicamente "simplificados" de forma a desconsiderar aquilo que especfico e privilegiar aquilo que genrico. Faz-se isso porque no parece haver muito conhecimento a extrair de eventos isolados. Uma loja de sua rede que tenha vendido a um cliente uma quantidade impressionante de um determinado produto em uma nica data pode apenas significar que esse cliente em particular procurava grande quantidade desse produto naquele exato momento. Mas isso provavelmente no indica nenhuma tendncia de mercado.

Localizando padres
Padres so unidades de informao que se repetem. A tarefa de localizar padres no privilgio da minerao de dados. O crebro dos seres humanos utiliza-se de processos similares, pois muito do conhecimento que temos em nossa mente , de certa forma, um processo que depende da localizao de padres. Para exemplificar esses conceitos, vamos propor um breve exerccio de induo de regras abstratas. Nosso objetivo tentar obter alguma expresso genrica para a seguinte seqncia:
Seqncia original: ABCXYABCZKABDKCABCTUABEWLABCWO

Observe atentamente essa seqncia de letras e tente encontrar alguma coisa relevante. Veja algumas possibilidades: Passo 1: A primeira etapa perceber que existe uma seqncia de letras que se repete bastante. Encontramos as seqncias "AB" e "ABC" e observamos que elas ocorrem com freqncia superior das outras seqncias.

Passo 2: Aps determinarmos as seqncias "ABC" e "AB", verificamos que elas segmentam o padro original em diversas unidades independentes:
"ABCXY" "ABCZK" "ABDKC" "ABCTU" "ABEWL" "ABCWO"

Passo 3: Fazem-se agora indues, que geram algumas representaes genricas dessas unidades:
"ABC??" "ABD??" "ABE??" e "AB???",

onde '?' representa qualquer letra No final desse processo, toda a seqncia original foi substituda por regras genricas indutivas, o que simplificou (reduziu) a informao original a algumas expresses simples. Esta explicao um dos pontos essenciais da minerao de dados, como se pode fazer para extrair certos padres de dados brutos. Contudo, mais importante do que simplesmente obter essa reduo de informao, esse processo nos permite gerar formas de predizer futuras ocorrncias de padres.

Exemplo prtico
Vamos observar aqui apenas um pequeno exemplo prtico do que podemos utilizar com as expresses abstratas genricas que obtivemos. Uma dessas expresses nos diz que toda vez que encontramos a seqncia "AB", podemos inferir que iremos encontrar mais trs caracteres e isto completaria um "padro". Nesta forma abstrata ainda pode ficar difcil de perceber a relevncia deste resultado. Por isso vamos usar uma representao mais prxima da realidade. Imagine que a letra 'A' esteja representando um item qualquer de um registro comercial. Por exemplo, a letra 'A' poderia significar "aquisio de po" em uma transao de supermercado. A letra 'B' poderia, por exemplo, significar "aquisio de leite". A letra 'C' um indicador de que o leite que foi adquirido do tipo desnatado. interessante notar que a obteno de uma regra com as letras "AB" quer dizer, na prtica, que toda vez que algum comprou po, tambm comprou leite. Esses dois atributos esto associados e isto foi revelado pelo processo de descoberta de padres. Esta associao j nos far pensar em colocar "leite" e "po" mais prximos um do outro no supermercado, pois assim estaramos facilitando a aquisio conjunta desses dois produtos. Mas a coisa pode ir alm disso, bastando continuar nossa explorao da induo. Suponha que a letra 'X' signifique "manteiga sem sal", e que a letra 'Z' signifique "manteiga com sal". A letra 'T' poderia significar "margarina". Parece que poderamos tentar unificar todas essas letras atravs de um nico conceito, uma idia que resuma uma caracterstica essencial de todos esses itens. Introduzimos a letra 'V', que significaria "manteiga/margarina", ou "coisas que passamos no po". Fizemos uma

induo orientada a atributos, substitumos uma srie de valores distintos (mas similares) por um nome s. Ao fazer isso estamos perdendo um pouco das caractersticas dos dados originais. Aps essa transformao, j no sabemos mais o que manteiga e o que margarina. Essa perda de informao fundamental na induo e um dos fatores que permite o aparecimento de padres mais gerais. A vantagem desse procedimento de que basta codificar a seqncia original substituindo a letra 'V' em todos os lugares devidos. Assim fica essa seqncia transformada:
ABCVYABCVKABDKCABCVUABEWLABCVO

Daqui, o sistema de minerao de dados ir extrair, entre outras coisas, a expresso "ABCV", que ir revelar algo muito interessante:
A maioria dos usurios que adquiriram po e leite desnatado tambm adquiriram manteiga ou margarina.

De posse desta regra, fica fcil imaginar uma disposio nas prateleiras do supermercado para incentivar ainda mais este hbito. Em linguagem mais lgica, podese dizer que po e leite esto associados (implicam) na aquisio de manteiga, isto , .

Exemplos Reais Wal-Mart

Embora recente, a histria da minerao de dados j tem casos bem conhecidos. O mais divulgado o da cadeia americana Wal-Mart, que identificou um hbito curioso dos consumidores. Ao procurar eventuais relaes entre o volume de vendas e os dias da semana, o software apontou que, s sextas-feiras, as vendas de cervejas cresciam na mesma proporo que as de fraldas. Crianas bebendo cerveja? No. Uma investigao mais detalhada revelou que, ao comprar fraldas para seus bebs, os pais aproveitavam para abastecer as reservas de cerveja para o final de semana.

Vestibular PUC-RJ
Utilizando as tcnicas da minerao de dados, um programa de obteno de conhecimento depois de examinar milhares de alunos forneceu a seguinte regra: se o candidato do sexo feminino, trabalha e teve aprovao com boas notas no vestibular, ento no efetivava a matrcula. Estranho, ningum havia pensado nisso. Mas uma reflexo justifica a regra oferecida pelo programa: de acordo com os costumes do Rio de Janeiro, uma mulher em idade de vestibular, se trabalha porque precisa, e neste caso deve ter feito inscrio para ingressar na universidade pblica gratuita. Se teve boas notas provavelmente foi aprovada na universidade pblica onde efetivar matrcula. Claro que h excees: pessoas que moram em frente PUC, pessoas mais velhas, de alto poder aquisitivo e que voltaram a estudar por outras razes que ter uma profisso, etc.. Mas a grande maioria obedece regra anunciada.

Fontes: RESENDE, Solange Oliveira, Business Inteligence, 2002 SANTOS, Kelline, Um estudo sobre Data Warehouse, Dissertaao de Mestrado, 1999 http://pt.wikipedia.org/wiki/Minera%C3%A7%C3%A3o_de_dados, Acessado em 10/04/2008 http://pt.wikipedia.org/wiki/Data_Warehouse, Acessado em 10/04/2008 TURBAN, MACLEAN,WETHERBE, Tecnologia da Informaao para Gestao, Porto Alegre, 3 Edio, BOOKMAN, 2004.