DeepWeb Intro PDF

Deep Web
Ronaldo S. Mello
GBD/INE/CTC/UFSC
GBD
UFSC
Novembro, 2010
Grupo de Banco de
Dados da Universidade
Federal de Santa
Catarina
Roteiro
1. Introduo
2. Principais Tpicos de Pesquisa
i. Crawling
ii. Extrao
iii. Matching
iv. Consulta
3. Algumas Iniciativas
4. Tendncias
Referncias
Roteiro
1. Introduo
i. Crawling
ii. Extrao
iii. Matching
iv. Consulta
4. Tendncias
Referncias
Dados na Web
Um oceano de contedo
Pesquisa a dados na Web
Atirar uma rede neste oceano
Oceano
Tem uma superfcie
Alguns animais (dados) so facilmente visveis

Fcil captur-los com a rede (pesquis-los)
profundo
Animais que no so visveis

Difcil encontr-los e captur-los
Surface Web (ou Web Visvel)
Dados em pginas Web estticas
Dados alcanados pelas mquinas de busca search engines - barcos pesqueiros
Google, Yahoo!, Bing, ...
Processo de pesquisa
No focado em domnio (keywords)
Dados so facilmente localizados no contedo

da pgina ou atravs de seus links
Deep Web (ou Web Escondida)
Dados invisveis
Visveis
apenas
quando
mostrados
em
pginas
dinmicas criadas a
partir do resultado de
uma
pesquisa
definida sobre um
formulrio - Web
Form
Web Form (WF)

Interface de pesquisa
para um Banco de
Dados
(BD)
escondido na Web
Deep Web: Oceano de Dados & Domnios
Cars.com
Amazon.com
Biography.com
Apartments.com
411localte.com
401carfinder.com
Deep Web vs. Surface Web

Similaridade
- Ambas crescem rapidamente em diversos domnios
Diferenas
- Quadrantes de Kevin Chang
Access
Structure
Surface Web
Deep Web
Por qu o Interesse pela Deep Web?
Principal fonte de dados estruturados na Web a

disposio
Servios teis em diversos domnios!
Companhias areas, concessionrias e revendas

de veculos, hotis, classificados, acervos
bibliogrficos e cientficos,
Exemplo:
Vou mudar de cidade por motivos pessoais e

preciso investigar opes baratas para a viagem,
aluguel de carro e casa, bem como ofertas de
emprego no novo local
No consider-los (descobrir e utilizar) um

desperdcio!
Por qu o Interesse pela Deep Web?
Principais Aplicaes
Diretrios/catlogos de BDs escondidos (BDs na Web)

por domnio
Sistemas de busca de BDs na Web baseados em seus

dados/metadados
Sistemas integrados de busca/prestao de servicos

baseados em BDs na Web
Preciso comprar um carro. Onde encontro revendas online?

Desejo consultar informaes de marca, modelo, ano e
preo
Quero consultar valores de dirias de hotel em Florianpolis

(num nico site, de preferncia...)
Busca por WFs similares
Esse formulrio de busca de ofertas de emprego um

pouco limitado ou tem poucos dados. Quero acessar
outros...
Deep Web Algumas Informaes
Deep Web ~2000x maior que Surface Web
No h estimativas atualizadas do seu tamanho...
2001: 7500 Tb (Deep Web) vs. 19 Tb (Visible Web)
#WFs ~= 25 milhes
#Deep Web (#BDs na Web) ~= 2.6 milhes
95% da Deep Web estimada como pblica
No est sujeita a taxas e registros
Grandes domnios em ordem de frequncia

1) Servios (hotis, veculos, empregos, previso do tempo, )
2) Cincia & educao (bases cientficas, sites educacionais,
instituies, )
3) Arte & cultura (cinema, msica, eventos, tickets, )
4) Acervo bibliogrfico (conferncias, peridicos, ...)
Roteiro
1. Introduo
i. Crawling
ii. Extrao
iii. Matching
iv. Consulta
4. Tendncias
Referncias
Deep Web - Tpicos de Pesquisa
Implementar aplicaes para Deep Web traz desafios

de pesquisa para a comunidade de BD
Como descobrir onde existem BDs na Web?
Como descobrir a estrutura/dados dos BDs na Web?
Extrao de dados da Deep Web
Como prover catlogos e servios integrados por

domnio para BDs na Web?
Deep Web crawling
Matching (casamento) de dados da Deep Web
Como acessar dados de interesse em BDs na Web?
Consulta a dados na Deep Web
Roteiro
1. Introduo
i. Crawling
ii. Extrao
iii. Matching
iv. Consulta
4. Tendncias
Referncias
Web Crawling (tradicional)
Descoberta de dados (estticos) na Web pelas

mquinas de busca
Web

mquinas de busca
Web
pgina seed

mquinas de busca
Navegao em
Web
hyperlinks a partir
das seeds

mquinas de busca
ndice de termos
Web
...
Graduao
(URL1, freq y), ...
...
SECCOM
(URL1, freq x), ...
...
BD de pginas
com alto acesso
Deep Web Crawling
O que procurar?
Pginas que possuam forms para BDs!
Abordagem mais simples
Encontrar pginas HTML com tag <form>

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
"http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<HTML>
...
<FORM ...>
<LABEL for="firstname">First name: </LABEL>
<INPUT type="text" id="firstname"><BR> ...
</FORM> ...
</HTML>
Deep Web Crawling

Forms
para cadastro
O que procurar?
Forms
para Login
Pginas que possuam forms para
BDs!
Abordagem mais simples:
Encontrar pginas HTML com tag <form>

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
"http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<HTML>
...
<FORM ...>
<LABEL for="firstname">First name: </LABEL>
<INPUT type="text" id="firstname"><BR> ...
</FORM> ...
</HTML>
PROBLEMA: Nem toda WF uma porta de entrada

para pesquisa um BD na Web!
Deep Web Crawling
Necessita-se de focused-crawlers !
Crawlers especializados na busca de WFs para

BDs (geralmente focados em um domnio)
Algumas Abordagens
Comparao com termos relevantes do domnio
Comparao com templates estruturais de WFs
Tcnicas de aprendizado de mquina (machine

learning)
...
Aprendizado de caractersticas de WFs

relevantes a partir de amostras de pginas
Abordagem de (Barbosa & Freire, 2007)
Um classificador de pginas de WFs de BDs em

um certo domnio
Aplica machine learning (classificao)
Aprende caracteristicas relevantes existentes

nas WFs
Aprimora, a cada crawling, estas caractersticas
Incorpora novas caractersticas encontradas

Aprende a classificar melhor a relevncia das
WFs
Passos da Abordagem
1) Treinamento
Anlise do contedo e dos links (navegao

backward) que conduzem a pginas "seeds"
(amostra)
Seleo manual de caractersticas do domnio
atributos (aspectos estruturais relevantes)

termos (valores mais significativos do dominio)
encontrados nas WFs, ncoras e links
Passos da Abordagem
2) Aprendizado
Analisa links para outras pginas, comparando termos na

ncora e palavras prximas a ela (at uma certa distncia)
com termos do domnio
Aplica stemming (radicalizao) e remoo de stop words

(artigos, preposies, ...) para facilitar a comparao
Exemplo: 'make of cars', 'car makes' 'car make'
Analisa a URL do link, verificando se termos significativos

aparecem como substrings nela
Analisa o contedo da pgina apontada pelo link, comparando
os atributos e valores na WF com atributos e termos j
aprendidos no domnio
Caso a pgina seja considerada relevante:
Registra a sua URL
Cataloga novos aspectos estruturais e termos aprendidos
Exemplo Domnio de Veculos
Caractersticas conhecidas
Termos: buy, rent, new, used,

car, make, model, year,
price, from, to
Estruturas:
Make
Model
Year
Make
Model
Price: From
To
URL:
http://www.cars.com

price, from, to
Estruturas:
Make
Model
Year
Make
Model
Price: From
To
URL:
http://www.cars.com

price, from, to
Estruturas:
Make
Model
Year
Make
Model
Price: From
To
Aprendizado:
Termos: ZIP, miles,
Estrutura: Maximum Price
, ..., Your Zip
URL:
http://www.cars.com

price, from, to
Estruturas:
Make
Model
Year
Make
Model
Price: From
To
PROBLEMAS:
- No considera sinnimos na comparao
Ex.: brand ~ make e manufacturer ~ make
- Domnios com WFs muito heterogneas
(muitos templates possveis...)
URL:
http://www.cars.com
Roteiro
1. Introduo
i. Crawling
ii. Extrao
iii. Matching
iv. Consulta
4. Tendncias
Referncias
Deep Web - Extrao
Aquisio e catalogao de informaes

relevantes sobre os BDs na Web
Tipos de extrao
Metadados (WFs)
Atributos e restries (valores e dependncias)
Dados
Contedo escondido nos BDs
Extrao de Metadados
Analisa a tag <label> das WFs nas pginas

HTML, extrando informao delas
<HTML> ...
<FORM> ...
<LABEL for="example_text_1">Name:</label>
<INPUT type="text" name="text_1" id="text_1" /> ...
<LABEL for="example_select_1">State:</label>
<SELECT name="select_1" id="select_1">
<option>AK</option>
<option>AL</option>
<option>AR</option> ...
</SELECT> ...
restries de valor
rtulos de
</FORM>
de atributos
atributos
</HTML>
Extrao de Metadados
Analisa a tag <label> das WFs nas pginas

HTML, extrando informao delas
<HTML> ...
<FORM> ...
<LABEL for="example_text_1">Name:</label>
<INPUT type="text" name="text_1" id="text_1" /> ...
<LABEL for="example_select_1">State:</label>
<SELECT name="select_1" id="select_1">
<option>AK</option>
<option>AL</option>
<option>AR</option> ...
</SELECT> ...
</FORM>
PROBLEMAS:
</HTML>
- Nem todo campo de uma WF possui <label>

- Nem sempre fcil descobrir o rtulo e as restries de um campo
em um cdigo HTML!
Extrao de Metadados
<HTML> ...
<FORM ...> ...
Name: <INPUT type="text" name="customerName"> ...
eMail: <script language="JavaScript" ...> ... </script>
... (required field) ...
<INPUT type="text" name="email"> ...
</FORM> ...
</HTML>
<HTML> ...
<FORM ...> ...
<LABEL for="makeid">Make:</label>
<SELECT name="makeid" id="makeid"
onchange="popMakes();">
</SELECT> ...
</FORM> ...
</HTML>
PROBLEMAS:
- Nem todo campo de uma WF possui <label>
- Nem sempre fcil descobrir o rtulo e as restries de um campo
em um cdigo HTML!
Extrao de Metadados
Algumas abordagens
Comparao com termos do domnio
Anlise do layout da WF e inferncia do nome do

atributo
Tcnicas de machine learning
Aprendizado da estrutura e da teminologia de

atributos de WFs em um certo domnio
Anlise de dependncias entre atributos
Proximidade rtulo-campo, tamanho e estilo de

fonte, ...
...
Make e Model so atributos que em geral aparecem

juntos, pois Make Model. Se encontrei um (1)
deles, provavelmente encontrarei o outro
Abordagem de (Alvarez et al., 2007 )
Abordagem para extrao de atributos de WFs
Estratgias:
anlise do layout da WF
comparao com termos do domnio
Compara o contedo de cada WF com um

template do domnio que descreve
atributos (nomes, sinnimos e peso)
valores (termos mais comuns em buscas)
Exemplo de Template de Domnio
Descoberta de Atributos de WFs

1) Determina a relevncia de palavras prximas a campos
com base em
Distncia mnima no layout da WF
ngulo no layout da WF (preferncia por posies left / top)
Comparao de nomes e sinnimos no template
Comparao de valores vlidos (caso existam)
Similaridade das palavras
Mtricas de similaridade: TF-IDF + Jaro-Winkler
TF-IDF: importncia de um termo nas WFs de

mesmo domnio (sua frequncia)
Jaro-Winkler: similaridade de strings
2) Ranking de associaes candidatas e poda com base

em um threshold
Descoberta de Atributos - Anlise de Layout
Campo 1 (f1): apesar da string (example: Thinking in Java) estar ligeiramente

mais prxima que a string Book Title, a string Book Title est
posicionada em um ngulo mais adequado
(posicionamento mais usual)
Descoberta de Atributos - Resultados
Descoberta de Atributos - Resultados
PROBLEMAS:
- Dependncia do template de domnio (que fixo!)
- A abordagem falha em casos como este (rtulo
do atributo dentro dos valores permitidos!):
Extrao de Dados
Problema: no se sabe quantos dados existem,

pois o BD est escondido!
Principal questo:
Qual o conjunto adequado e mnimo de consultas

a serem submetidas nas WFs para cobrir todos
os dados do BD?
Compromisso: cobertura vs. #consultas
Tema ainda em aberto
Poucas solues na literatura...
Abordagem de (Halevy et al., 2008)
Abordagem utilizada em experimentos para

indexao da Deep Web pela Google
Estratgia:
Define templates de consulta (TCs)
Subconjunto de atributos da WF
Verifica se um TC informativo
Testam combinaes de valores e verificam a

cobertura dos resultados
TC informativo se D / S > threshold, onde

D = #conjuntos fortemente distintos de resultado
(leva em conta tambm volume de dados)
S = #consultas submetidas (<= 200)
Estratgia: (cont.)
Inicia com TCs de tamanho 1 (1 atributo) e vai

incrementando at tamanho 3 (3 atributos)
TCs superiores a 3 so muito restritivos

Um TC pouco informativo descartado
Exemplo: (make, year) mais informativo que (make,

price), pois existem mais veculos de um certo ano do
que veculos com um certo preo
Inicia com valores seeds (considerados relevantes)

para cada atributo
Novos valores relevantes descobertos vo sendo

incorporados aos testes
Exemplo: inicia-se com 'Ford' e 'Fiat' para make, mas

posteriormente, ao testar outros atributos, descobre-se
que h muitos veculos 'Toyota'. Novos testes so feitos
ento com make = 'Toyota'
Estratgia: (cont.)
Iniciam com TCs de tamanho 1 (1 atributo) e vo

incrementando at tamanho 3 (3 atr.)
TCs superiores a 3 so muito restritivos
PROBLEMAS:
Um TC pouco informativo descartado
- Difcil avaliar
a cobertura de qualquer abordagem...
Exemplo: (make, year) mais informativo que (make,
- Valores seeds
ruins reduzem a cobertura, pois retornam
price), pois existem menos veculos com um certo preo
poucos dados no do
resultado
(chute
!!)
que veculos
em umruim
certo ano.
- Abordagem fica pesada para WFs com muitos atributos
Iniciam com entre
valores
seeds
relevantes)
- Dependncias
atributos
no (considerados
foi considerada,
para cada
atributo
no sentido
de evitar
o teste de combinaes invlidas
Novos
Exemplo:
makevalores
= 'Fiat' relevantes
e model = 'Focus'
descobertos vo sendo
incorporados aos testes
Exemplo: inicia-se com 'Ford' e 'Fiat' para make, mas

posteriormente, ao testar outros atributos, descobre-se
que h muitos veculos 'Toyota'. Novos testes so feitos
ento com make = 'Toyota'
Roteiro
1. Introduo
i. Crawling
ii. Extrao
iii. Matching
iv. Consulta
4. Tendncias
Referncias
Deep Web - Matching
Foco: casamento de esquemas de WFs
Enfoques tradicionais de matching de BDs so usados
Esquema global
ai:
aj:
ai:
aj:
ai:
aj:
ai:
aj:
Expanso de consultas (WFs interoperveis)
ai:
aj:
ai:
aj:
Viso integrada (cetralizada) de esquemas de WFs

Distribuio da consulta e integrao do resultado
Vantagens: usurio interaje sobre uma viso mais
ampla do domnio; mapeamentos apenas 1-N
Desvantagem: manuteno do esquema global
ai:
aj:
Consulta em uma WF propagada para outras WFs

Resultados apesentados segundo o esquema local
Vantagem: evita a gesto de um esquema global
Desvantagens: mapeamentos do tipo M-N
Deep Web - Matching
Problema fundamental de matching em WFs
Definio de afinidades entre atributos
Problema complicado devido a alta heterogeneidade das WFs
Mapeamentos 1-N
Diversidade de nomenclaturas e de restries de valores
Dicotomia atributo-valor
...
Deep Web - Matching
Tcnicas aplicadas (no-exclusivas)
Dicionrios gerais (Wordnet) e de domnio
Funes de similaridade para atributos (rtulos,

tipos de dados inferidos e valores permitidos)
Correlaes
Anlise da co-ocorrncia / proximidade

conjuntos de atributos em WFs
Exemplo: make e model
de
Abordagem de (Nguyen et. al, 2008)
Definio de grupos (clusters) de atributos

similares em WFs distintas
Principais passos:
a) Pr-processamento: stemming e eliminao de "stop
words"
Ex.: "select a make", "select makes" "select make"
b) Definio da similaridade entre pares de atributos:

Sim (ai, aj) = f ( labelSim (ai,aj), valueSim (ai,aj),
correlNeg (ai,aj), correlPos (ai,aj) )
LabelSim (ai, aj) = cos (ai.label, aj.label)
Converte as strings de rtulos em vetores e

calcula a distncia cosseno entre eles
Considera a frequncia de cada termo do rtulo

sozinho ou em conjunto com outros termos
nas WFs no clculo da similaridade
Fato muito comum em WFs
Exemplo:
LabelSim (ai.'departure',aj.'departure date') = 0.76
strings parecidos
date aparece com alta frequncia associada a departure
no domnio areo
ValueSim (ai, aj) = cos (

concat (sort(ai.valor-1, ..., ai.valor-n)),
concat (sort(aj.valor-1,...,aj.valor-n)))
Converte
as
strings
representativas
da
concatenao ordenada dos valores permitidos
para os atributos em vetores e calcula a distncia
cosseno entre eles
Considera tambm a frequncia dos valores na

amostra no clculo da similaridade
Exemplo:
ValueSim ( ai.{'fiat ford toyota'},

aj.{'fiat ford wolkswagen'} ) = 0.67
correlNeg(ai,aj) = 0, se ai, aj esto na mesma WF

freq(ai).freq(aj) / freq(ai)+freq(aj),
caso contrrio.
Considera que 2 atributos que aparecem juntos em

WFs jamais tero correlao negativa
A frmula gera valores mais altos para termos

sinnimos (no aparecem juntos em WFs)
correlPos(ai,aj) = freq(ai+aj) / min (freq(ai), freq(aj))
2 atributos que aparecem juntos em WFs tero alta

correlao positiva
Exemplos (situaes extremas)

Model
Alta correlao
Make
correlNeg(Make, Model) = 0
50
50
100
5000
correlPos(Make, Model) = 5000 / min(50,100) = 100

Brand
Sem correlao
Make
10
20
5000
correlNeg(Make, Brand) = 5000.20 / (5000+10) = 100000 / 5020 ~= 20

correlPos(Make, Brand) = 0 / min(20,5000) = 0
Exemplos (situaes extremas)

Model
Alta correlao
Make
correlNeg(Make, Model) = 0
50
50
100
5000
correlPos(Make, Model) = 5000 / min(50,100) = 100
PROBLEMAS:
- Requer uma amostra de WFs pr-computada com
Brand
frequncias de rtulos e valores vlidos
1
- No trata a dicotomia atributo-valor, pois no0define
uma
0
10
20
Sem correlao
estratgia
para comparao de rtulos
Make e valores
1
5000 0
- No trata correspondncias 1-N entre atributos
(testa apenas pares de atributos em WFs diferentes)

correlNeg(Make, Brand) = 5000.20 / (5000+10) = 100000 / 5020 ~= 20
correlPos(Make, Brand) = 0 / min(20,5000) = 0
Roteiro
1. Introduo
i. Crawling
ii. Extrao
iii. Matching
iv. Consulta
4. Tendncias
Referncias
Deep Web - Consultas
Crawling,
extrao
e
matching
visam
disponibilizar dados para consultas integradas
Quadrantes
Metadados
(WFs)
Dados
Consultas
No-Estruturadas
Consultas
Estruturadas
Principal foco de pesquisa

e desenvolvimento

- algumas iniciativas
Mquinas de busca
matching
visam
baseadas
em keywords
Crawling,
extrao
e
- indexam domnios, rtulos
disponibilizar dados para consultas
integradas
e valores de atributos das WFs
Dados de WFs geralmente

mantidos
em
BDs
relacionais
Quadrantes
Metadados
(WFs)
Dados
Consultas
No-Estruturadas
Consultas
Estruturadas
Pouca iniciativa, devido

dificuldade de extrao
Informaes sobre strings
de dados extrados de WFs
Crawling,
extrao
e somatching
mantidas emvisam
BDs
relacionais integradas
disponibilizar dados para consultas
Abordagens (prottipos)
Quadrantes
Metadados
(WFs)
Dados
- retorna as WFs onde o dado

(keyword de entrada) se
encontra
Consultas - preencheConsultas
WFs com os dados
(keywords)
de
entrada,
No-Estruturadas
Estruturadas
retornando os resultados ao
usurio (Ex.: 'Fiat' infere que
uma marca de carro e busca

informaes em WFs de veculos) Google
Problema ainda em aberto
- Inexistncia de sistemas e linguagens de

consulta para WFs e para dados dos BDs na
Web
Crawling,
extrao
e
matching
visam
Carncia de BDs tradicionais (visveis) com
disponibilizar
esquemas
e dados bemdados
definidos para
sobre aconsultas integradas
Deep Web (por domnio) que permitam
consultas
a seus dados e metadados
Quadrantes
Exemplos:
Consultas
SELECT * FROM WebForms
WHERE LABEL = 'Make' No-Estruturadas
(filtro por metadado)
SELECT Model FROM Veiculos
WHEREMetadados
Make = 'Ford'
(filtro por dado)
(WFs)
* Para formular estas consultas, preciso saber que

'LABEL' um metadado passvel de consulta e
que 'Make' um atributo do esquema de um BD na
Dadoscujos dados tambm posso
Web (Veculos)
consultar
Consultas
Estruturadas
Roteiro
1. Introduo
i. Crawling
ii. Extrao
iii. Matching
iv. Consulta
4. Tendncias
Referncias
Deep Web Algumas Iniciativas
Catlogos / Diretrios de sites / metadados
Busca Integrada em um ou mais Domnios
http://metaquerier.cs.uiuc.edu/repository/
http://www.completeplanet.com
...
http://www.expedia.com
http://www.travelocity.com
(hotis, carros, areo)
http://apartments.cazoodle.com/ (locaes)
...
Mquinas de Busca
http://www.deeppeep.org
http://turbo10.com
...
Roteiro
1. Introduo
i. Crawling
ii. Extrao
iii. Matching
iv. Consulta
4. Tendncias
Referncias
Deep Web Tendncias de Pesquisa
Mecanismos eficientes de extrao e matching
Lidar com a alta heterogeneidade de metadados nas WFs
Boa cobertura de dados recuperados de BDs na Web
Conhecimento da semntica da Deep Web
Preencher automaticamente WFs a partir de keywords (Ex.:

'Toyota corolla 2010' preencher WFs de Veculos)
Contextualizar keywords
determinados domnios
como
atributos
ou
valores
Extrair esquemas/dados de BDs na Web e organiz-los em

BDs relacionais
Viabiliza consultas estruturadas e por similaridade
(Edital Universal CNPq Projeto: 481569/2010-3)
em
Identificar relacionamentos entre dados na Web
Viabiliza consultas inter-BDs na Web
(Ex.: livros a venda (BD e-commerce) de atores famosos (BD cinema))
Roteiro
1. Introduo
i. Crawling
ii. Extrao
iii. Matching
iv. Consulta
4. Tendncias
Referncias
Algumas (Outras) Referncias Web
www.press.umich.edu/jep/07-01/bergman.html
(Deep Web artigo introdutrio)
http://dblp.mpi-inf.mpg.de/dblpmirror/index.php#query=deep
web&qp=H1.20.21:W1.4:F1.4:F2.4:F3.4
(Deep Web artigos acadmicos)
http://en.wikipedia.org/wiki/Deep_Web
http://www.inf.ufsc.br/~ronaldo/deepWeb
Deep Web
Ronaldo S. Mello
GBD/INE/CTC/UFSC
GBD
UFSC
Novembro, 2010
Grupo de Banco de
Dados da Universidade
Federal de Santa
Catarina

DeepWeb Intro PDF

Caricato da

Informazioni sul documento

Titolo originale

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

DeepWeb Intro PDF

Caricato da

Copyright:

Formati disponibili

Deep Web

Pesquisa a dados na Web

Atirar uma rede neste oceano

Tem uma superfcie

Alguns animais (dados) so facilmente visveis

Animais que no so visveis

Surface Web (ou Web Visvel)

Dados em pginas Web estticas

Dados alcanados pelas mquinas de busca search engines - barcos pesqueiros

Google, Yahoo!, Bing, ...

No focado em domnio (keywords)

Dados so facilmente localizados no contedo

Deep Web (ou Web Escondida)

Web Form (WF)

Deep Web: Oceano de Dados & Domnios

Deep Web vs. Surface Web

Por qu o Interesse pela Deep Web?

Principal fonte de dados estruturados na Web a

Servios teis em diversos domnios!

Companhias areas, concessionrias e revendas

Vou mudar de cidade por motivos pessoais e

No consider-los (descobrir e utilizar) um

Por qu o Interesse pela Deep Web?

Diretrios/catlogos de BDs escondidos (BDs na Web)

Sistemas de busca de BDs na Web baseados em seus

Sistemas integrados de busca/prestao de servicos

Preciso comprar um carro. Onde encontro revendas online?

Quero consultar valores de dirias de hotel em Florianpolis

Busca por WFs similares

Esse formulrio de busca de ofertas de emprego um

Deep Web Algumas Informaes

Deep Web ~2000x maior que Surface Web

No h estimativas atualizadas do seu tamanho...

2001: 7500 Tb (Deep Web) vs. 19 Tb (Visible Web)

#Deep Web (#BDs na Web) ~= 2.6 milhes

95% da Deep Web estimada como pblica

No est sujeita a taxas e registros

Grandes domnios em ordem de frequncia

Deep Web - Tpicos de Pesquisa

Implementar aplicaes para Deep Web traz desafios

Como descobrir onde existem BDs na Web?

Como descobrir a estrutura/dados dos BDs na Web?

Extrao de dados da Deep Web

Como prover catlogos e servios integrados por

Deep Web crawling

Matching (casamento) de dados da Deep Web

Como acessar dados de interesse em BDs na Web?

Consulta a dados na Deep Web

Web Crawling (tradicional)

Descoberta de dados (estticos) na Web pelas

Web Crawling (tradicional)

Descoberta de dados (estticos) na Web pelas

Web Crawling (tradicional)

Descoberta de dados (estticos) na Web pelas

Web Crawling (tradicional)

Descoberta de dados (estticos) na Web pelas

(URL1, freq y), ...

(URL1, freq x), ...

Deep Web Crawling

Pginas que possuam forms para BDs!

Abordagem mais simples

Encontrar pginas HTML com tag <form>

Deep Web Crawling