Sei sulla pagina 1di 22

ENTRE ESTIMADORES DE SEMIVARIANCIA

COMPARAC
AO

Marcilia Bruna dos Reis TEIXEIRA1


Joao Domingos SCALON2

RESUMO: Uma das principais tecnicas da geoestatstica e o semivariograma, porque


atraves dele e possvel modelar a dependencia espacial, realizar a krigagem e, assim,
obter estimativas da vari
avel de interesse em locais n
ao amostrados. Para obter
o semivariograma e necess
ario estimar as semivari
ancias. H
a na literatura v
arios
estimadores propostos, assim, o pesquisador deve escolher qual estimador utilizar.
Contudo, eles comumente apresentam estimativas de semivari
ancia distintas, o que
pode gerar estruturas de dependencia espacial diferentes. Desta forma, a escolha do
estimador torna-se um fator de influencia na detecc
ao da variabilidade espacial. Neste
contexto, este trabalho compara os seguintes estimadores: Matheron, Robusto, Mediana,
New-1, New-2, Hastlett e Genton por meio de dados simulados com dependencia espacial,
seguindo o modelo esferico. As comparac
oes foram realizadas com o objetivo de verificar
o desempenho desses estimadores em dados com presenca de diferentes quantidades de
outliers e diferentes tamanhos amostrais. Por meio das comparac
oes, buscou-se indicar
quais estimadores apresentam melhores resultados em determinadas situac
oes, para
que a utilizac
ao dos estimadores mais adequados otimizem a detecc
ao da estrutura de
variabilidade espacial, gerando resultados mais confi
aveis nos estudos de geoestatstica.
Os resultados mostraram que, em geral, o estimador New-1 apresentou os melhores
resultados na presenca de poucos outliers, enquanto os estimadores da mediana e robusto
demonstraram um melhor desempenho em casos de contaminac
oes mais severas de
outliers. O estimador de Genton apresenta bom desempenho de robustez apenas na
presenca de grandes amostras.
PALAVRAS-CHAVE: Geoestatstica; semivariograma; dependencia espacial; robustez.

1 Universidade

Federal de Lavras UFLA, P


os-graduac
ao em Estatstica e Experimentac
ao
Agropecu
aria, CEP: 37200-000, Lavras, MG, Brasil. E-mail: marciliabruna@yahoo.com.br
2 Universidade Federal de Lavras UFLA, Departamento de Ci
encias Exatas, CEP: 37200-000,
Lavras, MG, Brasil. E-mail: scalon@dex.ufla.br

248

Rev. Bras. Biom., S


ao Paulo, v.31, n.2, p.248-269, 2013

Introduc
ao

A estatstica espacial tem apresentado um grande desenvolvimento nos u


ltimos
anos. Os grandes diferenciais desta area sao as tecnicas e modelos que utilizam a
referencia espacial associada `a cada valor da informacao observada. Alem disso,
a dependencia espacial entre observacoes tem se tornado, cada vez mais, uma
preocupac
ao por parte dos pesquisadores. O desenvolvimento tecnologico permite
uma maior facilidade na obtencao de dados espaciais e impulsiona, fortemente, os
estudos e a utilizac
ao da estatstica espacial. A maior capacidade computacional e
o desenvolvimento de softwares especcos facilitam os intensos calculos que a area
exige.
A analise espacial e classicada, por autores como Bailey e Gatrell (1995),
Cressie (1993) e Waller e Gotway (2004) em quatro categorias, dependendo da
natureza estocastica da observacao. Essas categorias sao: dados de processos
pontuais, dados de area, dados de superfcies contnuas e dados de interacao espacial.
O que distingue estas categorias e o tipo de dado aleatorio e, portanto, e natural
que para cada um dos tipos de dados existam metodos estatsticos diferentes
para analisa-los. Este trabalho esta concentrado apenas na analise dos dados de
superfcies contnuas, tambem conhecida como Geoestatstica.
A Geoestatstica e uma metodologia que permite identicar a existencia, ou
n
ao, de dependencia espacial entre as observacoes de superfcies contnuas, como o
solo, fenomenos naturais e recursos geologicos, por exemplo. Ela pode ser aplicada
em mapeamentos, orientac
ao de futuras amostragens e modelagens, permitindo,
assim, estimar o valor do atributo em locais nao amostrados facilitando, por
exemplo, a gestao de recursos naturais existentes no solo (ISAAKS e SRIVASTAVA,
1989).
A estrutura de variabilidade espacial e detectada, na Geoestatstica, a partir
da estimac
ao das semivari
ancias e, consequentemente, da construcao do graco de
semivariograma. Existem varios estimadores de semivariancia, sendo o estimador
cl
assico de Matheron o mais utilizado. Contudo, e sabido que este estimador
n
ao e robusto diante de caractersticas adversas nos dados como, por exemplo,
dados discrepantes e ausencia de normalidade (CRESSIE, 1993). Assim, outros
estimadores foram propostos, no intuito de tentar aprimorar as estimativas obtidas
pelo estimador de Matheron. Deste modo, e interessante e u
til comparar esses
estimadores diante de diferentes situacoes existentes na pratica, em busca de
potencializar a conabilidade dos resultados.
Encontram-se na literatura alguns trabalhos que comparam os estimadores de
semivari
ancia. Cressie e Hawkins (1980) mostram que o seu estimador e melhor que
o estimador de Matheron na presenca de outliers e nao normalidade. Genton (1998)
mostra que o seu estimador e melhor do que os estimadores da mediana (CRESSIE,
1993), robusto (CRESSIE e HAWKINS, 1980) e Matheron na presenca de outliers.
Lark (2000) compara varios estimadores robustos e conclui que todos sao afetados
pela ausencia de normalidade, exceto, o estimador de Matheron. Genton (1998)
e Lark (2000) usam em suas compararacoes o modelo de variograma esferico para
Rev. Bras. Biom., S
ao Paulo, v.31, n.2, p.248-269, 2013

249

mostrar a importancia de estimadores robustos na presenca de outliers. Mingoti e


Rosa (2008) extendem os trabalhos de Genton (1988) e Lark (2000), ao incluir
um modelo nao esferico e o estimador de Hastlett (1997) na analise de dados
contaminados com outliers.
No presente trabalho, compara-se, alem dos estimadores mencionados
anteriormente (Matheron, Cressie e Hawkins, Mediana, Hastlet e Genton), dois
estimadores pouco utilizados, que foram propostos por Li e Lake (1994). Esses
estimadores sao avaliados em dados simulados utilizando o modelo esferico
contaminado com diferentes n
umeros de outliers. Este trabalho tambem avalia
esses estimadores quando na superfcie contnua sao realizados diferentes n
umeros
de medic
oes.

Refer
encial te
orico

Soares (2000) delineia o objeto da Geoestatstica como a caracterizacao dos


fen
omenos espaciais naturais e a quanticacao da incerteza desse conhecimento.
O autor explana que, partindo de um conjunto discreto e limitado de dados
experimentais, a Geoestatstica permite a concepcao de modelos que visam descrever
as diferentes realidades de cada estudo, denindo-a assim, como um conjunto
de metodos, tecnicas e instrumentos estatsticos que caracterizam os fenomenos
importante enfatizar que, nesta abordagem, os dados devem
espaciais naturais. E
ser referenciados espacialmente.
Para realizar a analise basica geoestatstica de um banco de dados, assim como
na estatstica classica, primeiramente, e necessario realizar um estudo exploratorio
do mesmo. Apos conhecer melhor os dados, prossegue-se com a deteccao da
estrutura da variabilidade espacial, por meio da construcao do semivariograma.
Ao nal, podem-se estimar pontos nao amostrados e criar mapas pelo processo de
krigagem (ISAAKS e SRIVASTAVA, 1989).
Assim, a construc
ao do semivariograma exerce uma grande inuencia no
resultado nal das analises, pois os erros cometidos no modelo de variabilidade
espacial serao reetidos na krigagem. Por exemplo, jazidas minerais ou o volume
de madeira de uma oresta podem ser subestimados ou superestimados devido a
uma detecc
ao nao adequada da estruturas de variabilidade. Portanto, e preciso
ter cuidado e buscar a otimizacao da construcao do semivariograma em prol de
estimativas mais precisas.
2.1

O semivariograma

A semivari
ancia e uma medida do nvel de dependencia entre duas amostras
separadas pelo vetor distancia h, com locais amostrais (xi ) e (xi + h), de uma
vari
avel regionalizada Z. Esta medida e representada por (h) e e denida pela
seguinte expressao:
(h) =
250

1
1
E[Z(x + h) Z(x)]2 = {V ar[Z(x + h) Z(x)]}.
2
2

(1)

Rev. Bras. Biom., S


ao Paulo, v.31, n.2, p.248-269, 2013

Na literatura, como, por exemplo, Mingoti e Rosa (2008) e Genton (1998), e


possvel encontrar abordagens que adotam a utilizacao de 2(h), que e a variancia,
a qual gera o variograma. No entanto, por conveniencia matematica, e mais comum
a utilizac
ao da semivari
ancia ((h)), que gera o semivariograma. Contudo, a
utilizac
ao de ambos retorna resultados semelhantes.
O semivariograma e um graco da funcao semivariancia versus as distancias
h. Um semivariograma emprico, com caractersticas muito proximas do ideal, pode
ser observado na Figura 1:

Figura 1 - Semivariograma.
O semivariograma apresenta os seguintes parametros com as suas respectivas
denic
oes (YAMAMOTO; LANDIM, 2013):
alcance (a): e a distancia h, segundo a qual (h) atinge o patamar, tambem
pode ser chamado de amplitude (range). Em distancias menores que a as
amostras apresentam-se correlacionadas espacialmente. A partir deste valor
o graco estabiliza, ou seja, torna-se aproximadamente constante.
causado pela variancia
efeito pepita (C0 ): e uma descontinuidade na origem. E
aleatoria. O valor da semivariancia no ponto h = 0 e nula, visto que a
vari
ancia de um valor amostrado com ele mesmo e zero. Contudo, a curva
do semivariograma proximo da origem costuma sofrer uma descontinuidade.
Isso acontece devido a variacoes que podem ocorrer a distancias menores do
que a menor distancia amostrada, assim como tambem pode ser proveniente
de erros na amostragem, erros na analise laboratorial, entre outros fatores;
contribuic
ao (C1 ): e a diferenca entre o patamar (C) e o efeito pepita (C0 ),
sendo a vari
ancia espacial;
patamar (C): C0 +C1 e o valor da semivariancia correspondente `a distancia a.
Deste ponto em diante, considera-se que nao existe mais dependencia espacial
entre as amostras porque a variancia da diferenca entre pares de amostras
(V ar[Z(x + h) Z(x)]) torna-se invariante com a distancia.
Rev. Bras. Biom., S
ao Paulo, v.31, n.2, p.248-269, 2013

251

Tambem existem os casos em que o semivariograma nao tem patamar, ou seja,


existe dispersao innita e os casos em que nao ha ou nao foi detectada dependencia
espacial, havendo assim um efeito pepita puro. Os semivariogramas tambem podem
apresentar utuac
oes, sendo, entao, chamados de semivariogramas periodicos
ou cclicos, eles indicam uma periodicidade nos dados. Pode haver tambem
um semivariograma com mais de uma estrutura de variancia, que e chamado
de semivariograma com estruturas entrelacadas ou semivariogramas imbricados
(ISAAKS; SRIVASTAVA, 1989).
A distancia maxima para qual a semivariancia e estimada e chamada Cut-o.
Os pontos que estao posicionados alem desta distancia maxima sao considerados nao
inuentes (ISAAKS; SRIVASTAVA, 1989). O calculo das semivariancias nao deve
exceder a valores de h superiores a, aproximadamente, metade da maior distancia
(SOARES, 2000).
Um dos estimadores de semivariancia mais comumente utilizados na literatura
e o classico, proposto por Matheron (1962). Contudo, muitos autores, como Genton
(1998) e Mingoti e Rosa (2008), destacam que esse estimador e muito afetado pela
presenca de outliers nos dados, nao apresentando propriedades de robustez, nem
sendo suciente para fazer modicacoes simples, como os propostos por Cressie
e Hawkins (1980), a m de alcancar robustez. Entao, outros estimadores foram
propostos na literatura, tendo muitos sido elaborados com o intuito de serem mais
robustos.
Schabenberger e Gotway (2004) explicam que o semivariograma nao e apenas
um dispositivo para derivar a estrutura de dependencia espacial e para construir a
matriz de vari
ancia-covari
ancia de Z(x), que e necessaria para o modelo com base
em inferencias estatsticas. O semivariograma tambem e um instrumento estrutural
que, por si so, transmite muita informacao sobre o comportamento de um fenomeno.
Por exemplo, semivariogramas que aumentam lentamente a partir da origem e ou
apresentam um comportamento quadratico perto da origem implicam processos
mais suaves do que aqueles nas quais as semivariancias apresentam comportamento
linear perto da origem.
2.2

Estimadores de semivari
ancia

No levantamento bibliograco foram encontrados sete estimadores de


semivari
ancia, sendo estes abordados nas comparacoes realizadas neste trabalho.
2.2.1

Estimador cl
assico de Matheron

O estimador de semivariancia classico, desenvolvido por Matheron (1962),


foi construdo a partir das medias dos quadrados dos incrementos do processo,
e fundamenta-se no metodo dos momentos. O estimador e denido pela seguinte
express
ao:
N (h)
1
2
M (h) =
(Z(xi + h) Z(xi ))2
N (h) i=1

252

(2)

Rev. Bras. Biom., S


ao Paulo, v.31, n.2, p.248-269, 2013

em que
(h) e o valor da estimativa da semivari
ancia;
Z(xi ) e o valor da vari
avel Z no ponto xi ;
Z(xi + h) e o valor da variavel Z no ponto xi + h;
N (h) e o n
umero de pares separados por uma determinada distancia h.
Este estimador, como aponta Cressie (1993) e Li e Lake (1994), e nao viciado,
mas e inuenciado pela presenca de outliers. O fato de as medias amostrais nao
serem robustas faz com que o estimador de Matheron tambem nao seja robusto.
Uma das propriedades atraentes do estimador de Matheron e a simplicidade dos
c
alculos utilizados na estimacao.
Vamos considerar o conjunto {U1 , U2 , . . . , UN (h) }, tal que Ui = (Z(xi + h)
Z(xi ))2 . O primeiro momento populacional e dado por
1 = E[U 1 ] = E[(Z(xi + h) Z(xi ))2 ] = 2(h),
pois, por denic
ao,
2(h) = V ar[Z(xi + h) Z(xi )] ,
e
V ar[Z(xi + h) Z(xi )] = E[(Z(xi + h) Z(xi ))2 ] (E[Z(xi + h) Z(xi )])2 ,
ou seja,
V ar[Z(xi + h) Z(xi )] = E[(Z(xi + h) Z(xi ))2 ] (E[Z(xi + h)] E[Z(xi )])2 .
Como assume-se a estacionariedade da media, entao, E[Z(xi + h)] = E[Z(xi )].
Assim,
2(h) = V ar[Z(xi + h) Z(xi )] = E[(Z(xi + h) Z(xi ))2 ],
portanto,
2(h) = E[(Z(xi + h) Z(xi ))2 ].
O primeiro momento amostral e dado por
M1 =

1
n

n
i=1

Ui1 =

1
N (h)

N (h)
i=1

(Z(xi + h) Z(xi ))2 .

Igualando-se o momento populacional ao momento amostral (1 = M1 ) tem-se


o estimador proposto por Matheron.
Rev. Bras. Biom., S
ao Paulo, v.31, n.2, p.248-269, 2013

253

2.2.2

Estimador robusto de Cressie e Hawkins

Devido `a sensibilidade do estimador de Matheron frente aos outliers, Cressie


e Hawkins (1980) quiseram propor um estimador mais robusto. Para tanto,
eles removeram o quadrado presente nos incrementos do estimador de Matheron.
Basicamente, a ideia era a de que a raiz quadrada diminusse a contaminacao por
valores discrepantes (CRESSIE, 1993).
A construcao do estimador robusto de Cressie e Hawkins parte da ideia de que
se Z(x) e um processo gaussiano, entao,

Z(xi +h)Z(xi )
2(h)

N (0, 1).

Elevando ao quadrado, tem-se que


[Z(xi +h)Z(xi )]2
2(h)

21 .

Cressie e Hawkins (1980) vericaram que a raiz quarta de (Z(xi + h) Z(xi ))2
tem distribuic
ao aproximadamente gaussiana, com media
1

E[|Z(xi + h) Z(xi )| 2 ] 12 2 (0, 75)(h) 4 .


N (h)
1
Alem disso, o valor esperado de N 1(h) i=1 |Z(xi + h) Z(xi )| 2 elevado a
quarta potencia e
N (h)
1
0,045
E{( N 1(h) i=1 | Z(xi + h) Z(xi ) | 2 )4 } 2
(h)(0, 457 + 0,494
N (h) + (N (h))2 ).
Segundo os Cressie e Hawkins (1980), o termo (N0,045
ao afeta signicamente
(h))2 n
a estimativa e, assim, ele foi omitindo da expressao. Entao, isolando-se 2(h),
obtem-se o estimador robusto de Cressie e Hawkins dado por

2
CH (h) =

1
N (h)

N (h)

i=1

(
)
1
0, 494
|(Z(xi + h) Z(xi ))| 2 ) / 0, 457 +
N (h)

(3)

em que
(h) e o valor da estimativa da semivari
ancia;
Z(xi ) e o valor da vari
avel Z no ponto xi ;
Z(xi + h) e o valor da variavel Z no ponto xi + h;
N (h) e o n
umero de pares separados por uma determinada distancia h.
Apesar do estimador de Cressie e Hawkins atenuar o efeito de dados
contaminados, Genton (1998) arma que ele ainda e sensvel `a presenca de outliers
nos dados. Schabenberger e Gotway (2004) explicam que uma vez que se calcula
primeiramente a raiz quadrada das diferencas, o estimador e menos afetado por
valores discrepantes do que a media das diferencas de quadrados do estimador de
Matheron. O autor explica que o estimador robusto nao e imparcial, mas o termo
no denominador garante uma maior estabilidade.
254

Rev. Bras. Biom., S


ao Paulo, v.31, n.2, p.248-269, 2013

2.2.3

Estimador das medianas de Cressie

Cressie (1993) propos outro estimador em que a media no estimador robusto


de Cressie e Hawkins e substituida pela mediana. Este estimador e obtido seguindo
a mesma ideia do estimador robusto de Cressie e Hawkins: se Z(x) for gaussiano,
ent
ao,
[Z(xi +h)Z(xi )]2
2(h)

21 ,

de onde tem-se que


[Z(xi + h) Z(xi )]2 21 2(h).
Seja Q o quantil emprico de ordem e F21 o quantil de ordem da
distribuic
ao 21 , ent
ao,
2
(h) =

{Q (Z(xi +h)Z(xi ))2 :(xi ,xi +h)N (h)}


,
F2
1

quando = 12 , obtem-se o estimador das medianas dado por

2
M d (h) =

[
]4
1
med |(Z(xi + h) Z(xi )| 2
0, 457

(4)

em que
(h) e o valor da estimativa da semivari
ancia;
Z(xi ) e o valor da vari
avel Z no ponto xi ;
Z(xi + h) e o valor da variavel Z no ponto xi + h;
N (h) e o n
umero de pares separados por uma determinada distancia h;
med{} denota a mediana da sequencia {}.
Emerson e Hoaglin (1983) comentam que a media amostral nao oferece
protec
ao contra erros grosseiros. Devido ao fato de dar o peso de n1 a cada uma
das observac
oes na amostra, a presenca de um u
nico valor discrepante distorce
seriamente o valor da media. A mediana, por outro lado, e muito mais tolerante a
erros grosseiros. Quase a metade de um conjunto de n
umeros pode ser de valores
discrepantes, sem alterar muito o valor da mediana.
Rev. Bras. Biom., S
ao Paulo, v.31, n.2, p.248-269, 2013

255

2.2.4

Estimador das diferen


cas de Haslett

Este estimador foi proposto por Haslett (1997) para utilizacao em series
temporais, com o objetivo principal de reconhecer processos ARMA. O estimador
das diferencas de Hastlett surgiu baseado na funcao de variancia
s2 =

(ti t)2
.
n1

Considerando-se dhi = (Z(xi + h) Z(xi )) e sendo dh a media de todos os


pares com distancia h, ent
ao, a variancia dos valores dhi e
2
H (h) =

N (h)

1
(dhi dh )2
N (h) 1 i=1

(5)

em que
(h) e o valor da estimativa da semivari
ancia;
Z(xi ) e o valor da vari
avel Z no ponto xi ;
Z(xi + h) e o valor da variavel Z no ponto xi + h;
N (h) e o n
umero de pares separados por uma determinada distancia h;
dhi = (Z(xi + h) Z(xi )).
2.2.5

Estimador altamente robusto de Genton

Genton (1998) propos um estimador denominado altamente robusto que


foi criado com a nalidade de ser resistente a outliers, utilizando a teoria dos
estimadores de escala M para obter robustez. A ideia fundamental para a construcao
deste estimador foi a de estimar diretamente a variancia dos incrementos, utilizando
um estimador de escala robusto e com boa eciencia em modelos normais. Assim,
foi utilizado o estimador de escala Qn , proposto por Rousseeuw e Croux (1993 apud
GENTON, 1998). O estimador de Genton e denido como
2
(h) = (QN (h) )2

(6)

em que
(h) e o valor da estimativa da semivari
ancia;
QN (h) = 2, 2191{(|Vi (h) Vj (h)|; i < j}(k) ;
V (h) = Z(x + h) Z(x);
2, 2191 e a consistencia da distribuicao gaussiana;
)
(
N (h)
[ 2 ]+1
;
k=
2
256

Rev. Bras. Biom., S


ao Paulo, v.31, n.2, p.248-269, 2013

[ N 2(h) ] denota a parte inteira de

N (h)
2 .

O estimador de escala Qn e denido por


Qn (W1 , W2 , . . . Wn ) = c{|Wi Wj | : 1 i < j n}(k)
)
[ n ]+1
.
sendo k = 2 2
(

Se considerarmos Wi = Z(xi + h) Z(xi ) e Wj = Z(xj + h) Z(xj ), temos o


estimador de Genton
Qn = c{|Z(xi + h) Z(xi ) (Z(xj + h) Z(xj ))| : i < j}(k)
(
)
N (h)
[ 2 ]+1
em que k =
e c=2,2191.
2
2.2.6

Estimadores New-1 e New-2

A falta de precisao das estimativas das semivariancias esta diretamente ligada


ao n
umero cada vez menor de pares de observacoes, com o aumento gradativo
das distancias h. Sustentados por este fato, Li e Lake (1994) propuseram dois
estimadores de semivari
ancia.
O estimador New-1, que e denido pela expressao

2 1
2
N 1 (h) =
(7)
(Z(xi ) Z(xj ))2
2m

n
i=1

jDi,h

em que
N 1 (h) e o valor da semivariancia estimada pelo New-1;
Z(xi ) e Z(xj ) sao os valores da variavel Z nos respectivos pontos i e j;
n e o n
umero total de dados;
Di,h e o ndice de um conjunto de valores de dados em uma janela movel i, h
(de tamanho h centrada no ponto bloco i), excluindo o ponto xi ;
m e o n
umero de dados em Di,h .
O estimador New-2 e denido por
2
N 2 (h) = 2(
N 1 (h) +

h
(h));
d N1

(8)

em que
N 2 (h) e o valor da semivariancia estimada pelo New-2;
N 1 (h) e a derivada de N 1 (h) em relacao a h, calculada pelo Metodo da
Diferenca Central;
Rev. Bras. Biom., S
ao Paulo, v.31, n.2, p.248-269, 2013

257

h vetor de distancias;
d e a dimensao no espaco euclidiano.
O grande diferencial entre os estimadores New-1 e New-2 se deve ao fato de
que eles usam todos os dados na obtencao de cada estimativa, independentemente
do h. Segundo os autores, os dois estimadores propostos sao imparciais, robustos e
resistentes `a contaminac
ao.
Na Figura 2 observa-se um exemplo, de duas dimensoes, da janela movel. A
ideia e movimentar a janela. Os estimadores New utilizam todos os pontos na
janela, realizando as diferencas entre o ponto xi com todos os pontos xj da janela,
exceto com o proprio ponto xi .

Figura 2 - Janela movel bidimensional para um campo isotropico


Para construir os novos estimadores, Li e Lake (1994) deniram uma nova
semivari
ancia, tomando um (d 1)-esimo momento da denicao semivariancia:
h d1
1

()d
N (h) = h d1
d 0
0

Esta denicao pode ser interpretada como uma media ponderada de () sobre
h
(0, h), com uma func
ao de ponderacao d1 / 0 d1 d, em que d e a dimensao no
espaco euclidiano (LI; LAKE, 1994).
Utilizando a denic
ao da funcao de distribuicao de probabilidade condicional
e a denic
ao de esperanca, Li e Lake (1994) chegaram `a seguinte relacao:
E[u(S, T )] = E{E[u(S, T )|S ]}
em que E[u(S, T )] e a esperanca conjunta, E[u(S, T )|S ] e a esperanca condicional e
E{} e a esperanca marginal. Calculando
h
E{ 2 h 1d1 d 0 d1 E[(Z(x) Z(x + ))2 |Z(x) ]d}
0

chega-se ao estimador New-1.


258

Rev. Bras. Biom., S


ao Paulo, v.31, n.2, p.248-269, 2013

O segundo estimador e proveniente da seguinte relacao entre a (h) e N (h):


(h) = N (h) + hd N (h)
em que N (h) e a derivada de N (h) em relacao a h
Por meio da combinac
ao do New-1 e da relacao anterior, realizando as devidas
substituic
oes, tem-se o estimador New-2.

Metodologia

A edicac
ao deste trabalho constituiu-se de tres etapas: levantamento
bibliogr
aco, simulac
ao e comparacao.
Na primeira etapa foi realizado um levantamento bibliograco no intuito de
identicar diferentes estimadores de semivariancia disponveis na literatura. Na
sec
ao (2.2) apresentou-se os sete estimadores resultantes desse levantamento.
Para fazer as comparac
oes entre os estimadores, foram realizadas simulacoes
de diferentes tipos de bancos de dados, com o objetivo de vericar o comportamento
de cada estimador diante de determinada caracterstica. Assim, a segunda etapa
foi de trabalhos de simulac
ao. Todas as simulacoes foram feitas no software R (R
DEVELOPMENT CORE TEAM, 2012), realizadas com o auxlio da biblioteca
RandomFields (SCHLATHER, 2006). Por meio da funcao GaussRF foram
simulados processos gaussianos estacionarios, sendo utilizado o modelo teorico
esferico dado por:

se h = 0

0,
[ ( )

( )3 ]

1 h
3 h
(h) =
, se 0 < h a
(9)

C + C1
0
2 a
2 a

C0 + C1 ,
se h > a
em que

(h) e a semivari
ancia para um determinado h;
C0 e o efeito pepita;
C1 e a contribuic
ao;
a e o alcance;
h s
ao os valores das distancas.
Os bancos de dados abordados, foram simulados em formato de malhas
regulares quadradas, com grides de tamanhos 5x5, 10x10 e 20x20. Estes tamanhos
foram escolhidos, pois, e comum, na literatura, encontrar indicacoes de que se
deve trabalhar com mais de 30 observacoes, como, por exemplo, no trabalho de
Sullivan (2006). Outro fator importante para a escolha dos tamanhos das malhas
Rev. Bras. Biom., S
ao Paulo, v.31, n.2, p.248-269, 2013

259

foi relacionado a questoes computacionais, nos processos de simulacao e estimacao


das semivari
ancias. Assim, aqui foram abordados um banco de dados considerado
pequeno (25 dados), um de porte medio (100 dados) e um relativamente grande
(400 dados).
As contaminac
oes dos dados, com valores discrepantes, foram realizadas em
quatro situac
oes distintas, referentes `a porcentagem de outliers presente no banco de
importante observar que no banco de
dados, sendo: 0%, 1%, 5% e 10% de outliers. E
dados com tamanho 25, as porcentagens de dados discrepantes nao correspondem a
valores inteiros. Assim, foi considerado o menor inteiro superior ao valor calculado.
A princpio, os dados foram simulados, sendo posteriormente contaminados
com valores discrepantes, por meio do pacote simframe (ALFONS; TEMP;
FILZMOSER, 2010). A porcentagem pre-denida de dados foi contaminada de
forma aleatoria, sendo estes valores substitudos por valores discrepantes, maiores
que o valor maximo e/ou menores que o valor mnimo, gerados por uma distribuicao
uniforme.
Na terceira etapa, ja com os resultados das simulacoes, foram realizadas as
comparac
oes entre os estimadores de semivariancia, utilizando-se o erro medio
quadr
atico dado por
N
1
EM Q =
((hi ) (hi ))2
N i=1

(10)

em que

e a semivari
ancia;
e o valor estimado de (h);
N e o n
umero total de semivariancias calculadas.
Ap
os a simulac
ao de cada banco de dados, foram obtidas as estimativas de
cada um dos sete estimadores de semivariancia. Como o estimador New-2 nao
calcula a semivari
ancia referente `a u
ltima distancia, nao foi calculada a estimativa
de semivari
ancia para a maior distancia nos demais estimadores.
Foram consideradas duas situacoes. Na primeira, foi calculado o erro
quadr
atico medio, considerando-se as N 1 estimativas e, em um segundo momento,
o erro foi calculado, contudo utilizando-se um cuto de 50%.
O interessante, ao se observar estas duas situacoes, e que, nas maiores
dist
ancias, o n
umero de pares e pequeno, o que, comumente, aumenta o erro das
estimativas. Assim, um estimador pode ser bom, contudo, seu erro em distancias
maiores pode mascarar um bom comportamento em distancias menores.
Como foram utilizadas quatro situacoes de outliers e tres situacoes de
tamanhos da amostra, foram obtidos 12 tipos de banco de dados provenientes das
combinac
oes das caractersticas adotadas. Para cada tipo de banco de dados foram
realizadas 500 simulac
oes.
260

Rev. Bras. Biom., S


ao Paulo, v.31, n.2, p.248-269, 2013

Resultados e discuss
oes

A Figura 3 apresenta a analise dos bancos de dados de tamanho 25.


Nela, e possvel perceber a inuencia da utilizacao do cuto, o qual diminui,
consideravelmente, o erro da maioria dos estimadores. Esta diferenca e muito
realcada, principalmente, nos estimadores altamente robusto de Genton e das
medianas de Cressie. O estimador New-1 e o que aparenta sofrer menor inuencia
do cuto.
Tambem, pode-se perceber que o estimador New-1, na maioria das situacoes,
apresentou os menores erros. O estimador de Cressie e Hawkins demonstrou bom
desempenho, de acordo com o aumento da quantidade de outliers, em casos com
cuto.

Figura 3 - Erro Medio Quadratico (EMQ) versus quantidade de outliers dos dados
com n=25 para os estimadores de Matheron (M), Cressie-Hawkins (CH),
Mediana (Md), Haslett (H), Genton (G), New-1 (N1) e New-2 (N2).
N
ao foi detectada normalidade na amostra de tamanho 25, entao foi aplicado
o teste de Kruskal Wallis. O resultado foi signicativo (p-valor < 2, 2x1016 )
para as diferencas entres os estimadores em todas as quantidades de outliers
trabalhadas, assim como na sua ausencia, englobando as situacoes sem e com cuto.
Os resultados referentes `as diferencas entre os estimadores dois-a-dois pode ser
vericado na Tabela 1, a qual considera um p-valor de 5%.
Pelo teste, nas amostras de tamanho 25, foi possvel vericar que na maioria
possvel observar que
dos casos houve diferenca signicativa entre os estimadores. E
os estimadores de Matheron e Hastlett nao diferiram em nenhuma das situacoes, o
que tambem e perceptvel na Figura 3.
Rev. Bras. Biom., S
ao Paulo, v.31, n.2, p.248-269, 2013

261

O estimador New1 apresentou diferenca em relacao aos demais estimadores


em quase todas as situac
oes, sendo este estimador o que obteve os menores erros,
nas amsotras de tamanho 25, em todas as quantidade de outliers, com e sem cuto,
com excec
ao da congurac
ao 10% de contaminacao com cuto.
Tabela 1 - Diferencas entre estimadores de semivariancia ao nvel de 5% de
signic
ancia, n=25
Estimadores
Matheron - Robusto
Matheron - Mediana
Matheron - Hastlett
Matheron - Genton
Matheron - New1
Matheron - New2
Robusto - Mediana
Robusto - Hastlett
Robusto - Genton
Robusto - New1
Robusto - New2
Mediana - Hastlett
Mediana - Genton
Mediana - New1
Mediana - New2
Hastlett - Genton
Hastlett - New1
Hastlett - New2
Genton - New1
Genton - New2
New1 - New2

outliers
cuto

Significativo
0%
1%
nao sim nao sim
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*

5%
nao sim
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*

10%
nao sim
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*

* - Estimadores significativamente diferentes ao nvel de 5%

Os resultados referentes `a analise dos bancos de dados de tamanho 100,


encontram-se na Figura 4. Percebe-se que as contaminacoes de 10% de outliers
causaram forte inuencia nos resultados, ocasionando um aumento nos erros. A
utilizac
ao de cuto gerou uma reducao nos erros das estimativas.
O estimador New-1 apresentou o melhor desempenho nas quantidades de 0%,
1% e 5% de outliers, sendo seguido de perto pelo estimador New-2. Os estimador de
Cressie e Hawkins demonstrou bons resultados na contaminacao de 10% de outliers.
O estimador das medianas tambem apresentou bons resultados nesta conguracao
dos dados.
O teste de Kruskal Wallis tambem foi utilizado nos dados das amostras de
tamanho 100, devido `a ausencia de normalidade. As diferencas entre os estimadores
262

Rev. Bras. Biom., S


ao Paulo, v.31, n.2, p.248-269, 2013

Figura 4 - Erro Medio Quadratico (EMQ) versus quantidade de outliers dos dados
com n=100 para os estimadores de Matheron (M), Cressie-Hawkins
(CH), Mediana (Md), Haslett (H), Genton (G), New-1 (N1) e New-2
(N2).

foram signicativas (p-valor < 2, 2x1016 ) em todas as quantidades de outliers,


assim como na sua ausencia, considerando os casos com e sem cuto. Na Tabela
2 encontram-se os resultados referentes `as diferencas entre os estimadores tomados
dois-a-dois.
As congurac
oes com menos diferencas signicativas foram as de 1% e 5% de
outliers, ambas com a presenca de cuto, este fato tambem e bem claro na Figura
4. Ja os casos de 0% e 1% outliers, ambos sem cuto, sao os que apresentaram mais
diferencas signicativas.
Assim como nas amostras de tamanho 25, os estimadores de Hastlett e
Matheron nao demonstram diferencas signicativas, exceto no caso de 1% outliers,
sem cuto. O estimador New1 teve diferenca signicativa em quase todas as
situac
oes, sendo este o que apresentou os menores erros nas quantidades de 0%,
1% e 5% de outliers.
Na Figura 5, pode-se observar que as contaminacoes de 10% de outliers
afetaram fortemente os bancos de dados de tamanho 400. Os estimadores menos
afetados foram o estimador das medianas, o estimador de Genton e o estimador de
Cressie e Hawkins. Os demais estimadores apresentaram grandes aumentos no Erro
Medio Quadratico.
Para melhor visualizarmos os resultados, a Figura 6 apresenta um recorte da
gura anterior. Podemos perceber que estimador New-1, seguido do estimador New2, apresentou os melhores resultados nos casos de 0% e 1% de outliers. O estimador
das medianas, seguido do estimador de Genton, demonstrou melhor desempenho
Rev. Bras. Biom., S
ao Paulo, v.31, n.2, p.248-269, 2013

263

Tabela 2 - Diferencas entre estimadores de semivariancia ao nvel de 5% de


signic
ancia, n=100
Estimadores
Matheron - Robusto
Matheron - Mediana
Matheron - Hastlett
Matheron - Genton
Matheron - New1
Matheron - New2
Robusto - Mediana
Robusto - Hastlett
Robusto - Genton
Robusto - New1
Robusto - New2
Mediana - Hastlett
Mediana - Genton
Mediana - New1
Mediana - New2
Hastlett - Genton
Hastlett - New1
Hastlett - New2
Genton - New1
Genton - New2
New1 - New2

outliers
cuto

Significativo
0%
1%
nao sim nao sim
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
-

5%
nao sim
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*

10%
nao sim
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*

* - Estimadores significativamente diferentes ao nvel de 5%

nas demais contaminac


oes. A utilizacao de cuto contribuiu para a reducao dos
erros.
Nos dados das amostras de tamanho 400 tambem foi utilizado o teste de
Kruskal Wallis. O teste tambem foi signicativo (p-valor < 2, 2x1016 ) em todos
os casos com e sem outliers, tanto na presenca quanto na ausencia do cuto. Os
resultados considerando os estimadores dois-a-dois encontra-se na Tabela 3.
Assim como nos demais tamanhos de amostras, a maioria dos estimadores
diferem signicativamente.
Os estimadores de Matheron e Hastlett nao
apresentaram diferencas signicativas, o que tambem e observado nas Figuras 5
e 6. Os estimadores de Genton e o Robusto geram resultados mais semelhantes em
amostras com 0% e 1% de outliers.
Os resultados apresentados anteriormente mostram que foi possvel perceber a
grande inuencia que a presenca de outliers exerce nos estimativas de semivariancia.
O estimador New-1, de forma geral, apresentou os melhores resultados em situacoes
de ausencia de outliers, com 1% e, `as vezes, com 5% de contaminacao. Ja os
264

Rev. Bras. Biom., S


ao Paulo, v.31, n.2, p.248-269, 2013

Figura 5 - Erro Medio Quadratico (EMQ) versus quantidade de outliers dos dados
com n=400 para os estimadores de Matheron (M), Cressie-Hawkins
(CH), Mediana (Md), Haslett (H), Genton (G), New-1 (N1) e New-2
(N2).

Figura 6 - Recorte da Figura Erro Medio Quadratico (EMQ) versus quantidade de


outliers dos dados com n=400 para os estimadores de Matheron (M),
Cressie-Hawkins (CH), Mediana (Md), Haslett (H), Genton (G), New-1
(N1) e New-2 (N2).

Rev. Bras. Biom., S


ao Paulo, v.31, n.2, p.248-269, 2013

265

Tabela 3 - Diferencas entre estimadores de semivariancia ao nvel de 5% de significancia,


n=400.

Estimadores
Matheron - Robusto
Matheron - Mediana
Matheron - Hastlett
Matheron - Genton
Matheron - New1
Matheron - New2
Robusto - Mediana
Robusto - Hastlett
Robusto - Genton
Robusto - New1
Robusto - New2
Mediana - Hastlett
Mediana - Genton
Mediana - New1
Mediana - New2
Hastlett - Genton
Hastlett - New1
Hastlett - New2
Genton - New1
Genton - New2
New1 - New2

outliers
cuto

Significativo
0%
1%
nao sim nao sim
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*

5%
nao sim
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*

10%
nao sim
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
*
-

* - Estimadores significativamente diferentes ao nvel de 5%

estimadores das medianas e robusto de Cressie e Hawkins demonstraram um melhor


comportamento, em casos de contaminacoes mais severas, de 5% e 10% de outliers
nos bancos de dados de tamanho 25 e 100.
Nas amostras de tamanho 400, o estimador New-1 apresentou bons resultados
nos casos com 0% e 1% de contaminacao. Os estimadores de Genton, Haslett e
das medianas revezaram os menores erros nos casos de 5% e 10% de contaminacao,
para este tamanho de amostra. E, como defendem Genton (1998) e Schabenberger
e Gotway (2004), a escolha de um estimador robusto e uma opcao viavel, visto
que, em casos de contaminac
ao dos dados, encontramos estimadores que obtiveram
resultados signicativamente melhores que o estimador classico de Matheron.
Tambem foi possvel perceber que o tamanho da amostra inuenciou o
desempenho dos estimadores. Um exemplo disso e o estimador de Genton, que
teve um desempenho ruim nos bancos de dados pequenos, contudo, nos maiores, o
desempenho foi muito melhor, em relacao aos demais estimadores.

266

Rev. Bras. Biom., S


ao Paulo, v.31, n.2, p.248-269, 2013

Na literatura estudada, observou-se que a caracterstica mais mencionada


como inuente na escolha do estimador de semivariancia e a presenca de outliers.
Genton (1998) comenta que em estudos de ciencias aplicadas mostra-se que os
dados medidos contem, em media, entre 10% a 15% de valores perifericos, devido a
erros grosseiros, erros de medicao, gravacao defeituosa, etc. Genton (1998) explica
ainda que, apesar de analises exploratorias identicarem outliers nos dados, esta
abordagem e subjetiva e informal. Alem de haver perda de informacao, o uso de
tecnicas mais robustas, como solucao deste problema, tem maior credibilidade.
Schabenberger e Gotway (2004) defendem que, a menos que uma medicao
tenha sido mal amostrada, a remocao de observacoes extremas nao e o melhor
caminho. Alem disso, retira-la reduz o n
umero de pares disponveis nas classes. A
m de manter as observac
oes, mas reduzir sua inuencia negativa, pode-se escolher
uma estatstica que e menos afetada pelo valor discrepante.
Genton (1998) tambem discute a importancia da escolha do estimador a
ser utilizado. O autor arma que o estimador de variograma robusto melhora
signicativamente a estimativa do variograma que e uma etapa crucial da predicao
espacial, pois determina os pesos de krigagem. Ele enfatiza a importancia de o
estimador se manter proximo ao variograma verdadeiro, mesmo quando outliers
est
ao presentes nos dados. Caso contrario, a krigagem pode produzir mapas com
informac
oes erradas.
A literatura, muitas vezes, apresenta o estimador classico de Matheron como
o u
nico estimador existente. Contudo, com o presente trabalho, mostrou-se que,
dependendo das condic
oes dos dados, a escolha do estimador de semivariancia pode
apresentar grande inuencia na estrutura de variabilidade espacial detectada.

Conclus
oes

Os estimadores de semivariancia podem ser inuenciados de diversas maneiras,


tanto pela quantidade de outliers quanto pelo n
umero de observacoes amostradas.
Na presenca de poucos outliers o estimador New-1 apresenta melhores
resultados na estimativa da semivariancia que os estimadores Matheron, Cressie
e Hawkins, Mediana, Hastlett, Genton e New 2. Em casos de contamincao mais
severas os estimadores das Medianas e Robusto de Cressie e Hawkins demonstraram
um melhor comportamento que os demais estimadores. Em grandes amostras o
estimador de Genton apresenta bom desempenho.

Agradecimentos
Ao CNPq, pela concessao da bolsa de mestrado, `a primeira autora.
Agradecemos tambem aos dois revisores pelas sugestoes e comentarios que
possibilitaram melhorar o presente trabalho.
TEIXEIRA, M. B. R.; SCALON, J. D. Comparison among semivariance estimators.
Rev. Bras. Biom., S
ao Paulo, v.31, n.2, p.248-269, 2013.
Rev. Bras. Biom., S
ao Paulo, v.31, n.2, p.248-269, 2013

267

ABSTRACT: One of the main techniques of geostatistics is the semivariogram, because


through it is possible to model the spatial dependence, perform kriging and, hence,
obtain estimates of the variable of interest at unsampled locations. For getting the
semivariogram it is necessary to estimate the semivariance. There are several estimators
proposed in the literature, so the researcher must choose which estimator to use.
However, they commonly have dierent estimates of semivariance , which can generate
dierent spatial dependence structures. Thus, the choice of the estimator becomes
a factor inuencing the detection of the spatial variability. This paper compares
the following estimators: Matheron, Robust, Median, New 1, New 2, Hastlett and
Genton using simulated data with spatial dependence following the spherical model.
Comparisons were made with the purpose of evaluating the performance of these
estimators for data with the presence of dierent amounts of outliers and dierent
sample sizes. Through these comparisons, we sought to indicate which estimators have
better results in certain situations, to use the most appropriate estimators detection will
optimize the structure of spatial variability, generating more reliable results in studies
of geostatistics. The results showed that, overall, the estimator New 1 shows the best
results in the presence of a few outliers, while the median and robust estimator shows
a better performance in more severe cases of contamination of outliers. The Gentons
estimator presents good performance only in the presence of large samples.
KEYWORDS: Geoestatistics; semivariogram; spatial dependence; robustness.

Refer
encias

ALFONS A.; TEMPL, M.; FILZMOSER, P. An object-oriented framework for


statistical simulation: the R package simFrame. Journal of Statistical Software,
Los Angeles, v.37, n.3, p.1-36, 2010.
BAILEY T. C.; GATRELL, A. C. Interactive spatial data analysis. Harlow:
Longman Scientic & Technical, 1995. 413 p.
CRESSIE N. A. C. Statistics for spatial data. New York: J. Wiley, 1993. 900 p.
CRESSIE N. A. C.; HAWKINS, D. M. Robust estimation of the variogram.
Mathematical Geology, New York, v.12, n.2, p.115-125, 1980.
EMERSON J. D.; HOAGLIN, D. C. Analise de tabelas bidimensionais atraves de
medianas. In: HOAGLIN, D. C.; MOSTELLER, F.; TUKEY, J. W. (Ed.). An
alise
explorat
oria de dados: tecnicas robustas. Lisboa: Salamandra, 1983. p.167-212.
GENTON M. G. Highly robust variogram estimation. Mathematical Geology, New
York, v.30, n.2, p.213-221, 1998.
HASLETT J. On the sample variogram and the sample autocovariance for nonstationary time series. The Statistician, Washington, v.46, n.4, p.475-485, 1997.

268

Rev. Bras. Biom., S


ao Paulo, v.31, n.2, p.248-269, 2013

ISAAKS E. H.; SRIVASTAVA, R. M. Applied geoestatistics. Oxford:


University, 1989. 560p.

Oxford

LARK R. M. A comparison of some robust estimators of the variogram for use in


soil survey. European Journal of Soil Sciences, n.51, p.137-157, 2000.
LI D.; LAKE, L. W. A moving window semivariance estimator. Water Resources
Research, Washington, v.30, n.5, p.1479-1490, May 1994.
MATHERON G. Traite de geostatistique appliquee. Tome I. Memoires du Bureau de
Recherches Geologiques et Minieres. No.14. Paris: Technip. 1962.
MINGOTI S. A.; ROSA, G. A note on robust and non-robust variogram estimators.
Revista Escola de Minas, Ouro Preto, v.61, n.1, 2008.
R DEVELOPMENT CORE TEAM. R: a language and environment for statistical
computing. Vienna: R Foundation for Statistical Computing, 2012. Disponvel em:
http://www.R-project.org. Acesso em: 20 dez. 2012.
SCHABENBERGER O.; GOTWAY, C. Statistical methods for spatial data analysis:
texts in statistical science. New York: Taylor & Francis, 2004. 488p.
SCHLATHER M. Randomelds: simulation and analysis of random elds: r package
version 2.0.59. Journal of Statistical Software, Los Angeles, v.1, n.2, p.18-20, June
2006.
SOARES A. Geoestatstica para as ciencias da terra e do ambiente. 2. ed. Lisboa:
IST, 2000. 214 p. (Ensino da Ciencia e da Tecnologia, 9).
SULLIVAN L.M. Statistical primer for cardiovascular research: estimation from
samples. Circulation 114, p.445449. 2006.
WALLER L. A.; GOTWAY, C. A. Applied spatial statistics for public health data.
New Jersey: Wiley-Interscience, 2004. 494p.
YAMAMOTO J.K.; LANDIM, P.M.B.. Geoestatstica:
Editora Ocina de Textos, 2013. 215p.

Conceitos e Aplicacoes.

Recebido em 26.06.2013.
Aprovado apos revisao em 17.10.2013.

Rev. Bras. Biom., S


ao Paulo, v.31, n.2, p.248-269, 2013

269

Potrebbero piacerti anche