Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
CORRELATION COEFFICIENT DERIVED FROM PEARSON LINEAR COEFFICIENT FOR ORDINAL AND DICHOTOMIC VARIABLES Sachiko Araki Lira
Instituto Paranaense de Desenvolvimento Econmico e Social - IPARDES Rua Mximo Joo Kopp, 274 - Bloco 2 - Santa Cndida CEP: 82630-900 - Curitiba - Paran sachiko@onda.com.br
RESUMO
Devido a grande utilizao da Anlise de Correlao em diferentes reas do conhecimento, importante conhecer os diferentes mtodos para a obteno dos coeficientes de correlao. comum as situaes em que as variveis no so medidas em nvel intervalar, mas em nvel ordinal e/ou dicotmica. Apresentam-se no presente trabalho os mtodos de coeficientes de correlao derivados do coeficiente linear de Pearson, para situaes que envolvem variveis medidas em nvel intervalar, ordinal e dicotmica, quais sejam: coeficiente de correlao ponto bisserial, phi, de Spearman, entre variveis intervalar e ordinal e entre variveis ordinal e dicotmica. Palavras-chave: coeficiente de correlao; coeficiente de correlao para variveis ordinais e dicotmicas.
ABSTRACT
As the Correlation Analysis is used in several knowledge areas, it is important to be familiar with the different methods existing to obtain correlation coefficients. Usually, we can find situations where variables are not measured by interval level but according to ordinal and/or dichotomic. The present work shows the correlation coefficient methods derived from Pearson linear coefficient and applied to situations involving variables measured by interval, ordinal and dichotomic levels, such as: bi-serial point, phi and Spearman correlation coefficient, between interval and ordinal variables, and between ordinal e dichotomic variables. Keywords: correlation coefficient; correlation coefficient for ordinal and dichotomic variables
1 - INTRODUO A Anlise de Correlao uma ferramenta importante para as diferentes reas do conhecimento, no somente como resultado final, mas como uma das etapas para a utilizao de outras tcnicas de anlise. A anlise de confiabilidade em sistemas de engenharia tem como objetivo avaliar a probabilidade de no haver falha durante a sua vida til, atendendo aos objetivos para os quais o sistema foi projetado. A avaliao da probabilidade de falha usualmente identificada como a anlise de confiabilidade estrutural. Dois mtodos analticos bastante utilizados so: First Order Reliability Method (FORM) e Second Order Reliability Method (SORM). Segundo Haldar e Mahadevan [6], os mtodos FORM e SORM assumem implicitamente que as variveis envolvidas na anlise so no correlacionadas. Portanto, deve-se, obter inicialmente as correlaes entre as variveis. O mtodo usualmente conhecido para medir a correlao entre duas variveis o coeficiente de correlao linear de Pearson, tambm conhecido como coeficiente de correlao do momento produto. Este foi o
primeiro mtodo de correlao, introduzido por Karl Pearson em 1897, conforme apresentado em Lira [7]. Uma das suposies para a utilizao deste coeficiente de que as variveis envolvidas na anlise sejam medidas no mnimo em nvel intervalar. Entretanto, em muitas situaes, no possvel a utilizao desse tipo de escala de medida. Foram ento desenvolvidos os coeficientes de correlao derivados do coeficiente linear de Pearson para situaes que envolvem variveis medidas em nvel ordinal e dicotmica. 2 - OBJETIVO O objetivo deste trabalho apresentar uma reviso sobre os diferentes mtodos de correlao derivados do coeficiente linear de Pearson, quais sejam: coeficiente de correlao ponto bisserial, coeficiente de correlao phi, coeficiente de correlao de Spearman, coeficiente de correlao entre varivel ordinal (rank) e varivel intervalar e coeficiente de correlao entre varivel ordinal (rank) e varivel dicotmica. Estes dois ltimos coeficientes so apresentados em Wherry [10].
45
3 - MTODOS PARA A OBTENO DO COEFICIENTE DE CORRELAO 3.1. Coeficiente de correlao linear de Pearson O coeficiente de correlao populacional (parmetro) e sua
Cabe lembrar que o coeficiente de determinao a relao entre a variao explicada pelo modelo linear
esto intimamente relacionados com a estimativa amostral distribuio normal bivariada, cuja funo densidade de probabilidade dada por:
f X, Y (X, Y) =
1 1 exp 2(1 2 ) 1 2 X X X X X 2 X
2
X , onde = so constantes) e a variao e + (Y total. A significncia do coeficiente de correlao estimado verificada atravs de teste de hipteses. A estatstica para testar a hiptese H 0 : = 0 contra H 1 : 0 tem distribuio t com n - 2 graus de liberdade, ou seja:
t=
n2 2 1
~ t n 2
(4)
2 X Y
Y Y Y
Y Y + Y
(1)
COV ( X , Y )
onde: n o nmero de observaes da amostra o coeficiente de correlao linear de Pearson 3.2. Coeficientes de correlao derivados do coeficiente linear de Pearson 3.2.1. Coeficiente de correlao ponto bisserial
sendo X , Y = =
XY
X ,Y XY
(2)
X eY
X,Y = =
n
n i=1
(Xi X)(Yi Y)
n i=1
(X X) (Y Y)
2 i n i
= i=1
(Xi X)(Yi Y)
n
X Y n
(3)
i=1
Embora seja usada normalmente como medida de correlao entre escores e itens de testes, a correlao ponto bisserial pode ser empregada em outras situaes onde a varivel dicotmica pode ser, a ttulo de exemplo, perfeito ou defeituoso, certo ou errado. O coeficiente de correlao ponto bisserial derivado do coeficiente de correlao linear de Pearson. Esse mtodo indicado quando uma das variveis (Y) dicotmica e a outra (X), contnua. Conforme apresentado em Ferguson [4], a correlao ponto bisserial fornece uma medida da relao entre uma varivel contnua, e outra varivel com duas categorias ou dicotmicas, como perfeito ou defeituoso. Segundo Ferguson [4], Downie e Heath [3] e Guilford [5], a correlao ponto bisserial a correlao do momento produto. Se for atribudo 1 para observaes de uma categoria e zero para outra, e se for calculado o coeficiente de correlao do momento produto, o resultado ser o coeficiente ponto bisserial. Ele interpretado da mesma . forma que O estimador do coeficiente de correlao ponto bisserial foi obtido a partir do estimador do coeficiente de correlao linear de Pearson, conforme apresentado em Guilford [5]. Fazendo x i = Xi X e yi = Yi Y , o estimador do coeficiente linear de Pearson :
x i yi
i =1
x i2 y i2
i =1 i =1
= n
x i yi
i =1
(X i X ) (Yi Y )
n 2 n i =1 i =1
x i yi
i =1
x y n
46
Coeficientes de correlao para variveis ordinais e dicotmicas derivados do coeficiente linear de pearson
De acordo com Wherry [10], a significncia do coeficiente estimado testada pela estatstica: t=
pb n 2 2 1 pb
~ t n2
(12)
x = Sx =
(X i X )
n i =1
(6)
onde: n o nmero de observaes da amostra pb o coeficiente de correlao ponto bisserial 3.2.2. Coeficiente de correlao de Spearman Este coeficiente o mais antigo e tambm o mais conhecido para calcular o coeficiente de correlao entre variveis mensuradas em nvel ordinal, chamado tambm de coeficiente de correlao por postos de Spearman, s . designado rho e representado por importante enfatizar, segundo Bunchaft e Kellner [2], que as correlaes ordinais no podem ser interpretadas da mesma maneira que para variveis medidas em nvel intervalar. Inicialmente, no mostram necessariamente tendncia linear, mas podem ser consideradas como ndices de monotonicidade, ou seja, para aumentos positivos da correlao, aumentos no valor de X correspondem a aumentos no valor de Y, e para coeficientes negativos ocorre o oposto. O quadrado do coeficiente de correlao no pode ser interpretado como a proporo da varincia comum s duas variveis. Seu estimador foi derivado a partir do estimador do coeficiente de correlao linear de Pearson, conforme apresentado em Siegel [8]. Tem-se da expresso (5) que:
Y = pq , onde p = e q = (1 - ) da Sy =
distribuio de Bernoulli. Desenvolvendo (5), tem-se: (7)
x i yi = (Xi X )(Yi Y )
n n i =1 n i =1 n
(8)
x i yi = [Xi Yi Xi Y XYi + X Y ]
x i yi = Xi Yi n X Y
i =1 i =1
i =1 n
i =1 n
(9)
Xi Yi n XY
i =1
nSx pq
mas
X i Yi = n p X p
i =1
e n X Y = n X p = n p X , ento,
np Xp np X nS x pq
(10)
x i yi
i =1
pXp pX S x pq
(X =
X p
i =1
x i2
(13)
y i2
i =1
S x pq
X
i =1
n ( n + 1) , onde 2
pb = X p X
Sx
p q
n = postos=rank = 1, 2, 3,..., n
(14)
(11)
Ento:
X
i =1
2 i
n ( n + 1)(2n + 1) 6
(15)
2
Assim,
n
x i2 = (
n n i =1 i =1
n Xi n 2 Xi X = Xi2 i =1 n i =1
(16)
i =1
x i2 =
n ( n + 1)( 2n + 1) [n ( n + 1) / 2] 2 6 n
47
x i2
i =1
n3 n 12
(17)
n3 n 12
(18)
Para n 10 , a expresso acima tem distribuio t de Student com n-2 graus de liberdade. Segundo Silveira [9], a relao entre uma escala intervalar e ordinal de monotonicidade e a transformao monotnica em uma varivel causa pouco efeito sobre coeficientes de correlao, razes t e F. Assim, uma varivel medida em nvel ordinal pode ser tratada como intervalar. 3.2.3. Coeficiente de correlao phi
(19)
d 2 = (x i yi )2 = x i2 2x i yi + yi2
i
(20)
fazendo o somatrio:
= x i2 + yi2 2 x i yi d2 i
i =1 i =1 i =1 i =1 n n n n
(21)
Em algumas situaes, as variveis so medidas em nvel nominal ou por categorias discretas e expressas em forma de freqncias. Nesses casos, no possvel a utilizao de nenhum dos mtodos vistos anteriormente. O estimador do coeficiente de correlao phi tambm foi obtido a partir do estimador do coeficiente linear de Pearson, bastando fazer com que a varivel X tambm seja dicotmica e distribuda conforme apresentada a seguir:
Varivel X
s = fazendo
x i yi
i =1
x i2 y i2
i =1 i =1
, tem-se que
1 Varivel 1 Y TOTAL 0 a c
0 b d
TOTAL
np nq n
s x i2 yi2 x i yi =
i =1 i =1 i =1
n p'
n q'
(22)
x i2 yi2
i =1 i =1
bp = X p X
Sx
p q
(25)
Assim, obtm-se:
6 di2 n (n 1)
i =1 2 n
mas X p =
p=
a a c c = = e Xq = np a + b nq c+ d
(26) (27)
s = 1
(a + b ) e
n
q=
(c + d )
n
(23)
onde: s o coeficiente de correlao de Spearman d i a diferena entre as ordenaes n o nmero de pares de ordenaes Quando a seleo dos elementos que compem a amostra feita de forma aleatria, a partir de uma populao, possvel determinar se as variveis em estudo so associadas na populao. Ou seja, possvel testar a hiptese de que as duas variveis esto associadas na populao. Para amostras superiores a 10, segundo Siegel [8], a s pode ser verificada significncia de um valor obtido de atravs de t calculado pelo estimador apresentado a seguir.
X = pX p + q X q =
(a + b )
n
(c + d ) c = (a + c ) (28) a + (a + b ) n (c + d ) n
(29)
S x = n p' n q' =
(a + c) ( b + d ) 1 = (a + c)(b + d ) n n n
a (a + c) (a + b) n 1 (a + c)(b + d )
(a + b) (a + c)
na (a + b )(a + c ) n (a + b ) = 1 (a + c)(b + d ) n
(a + b) (a + c)
=
=
s t =
n2
2 s 1
(a + b ) (a + c )(b + d )
(ad bc )
na (a + b )(a + c )
(a + b ) (a + c )
(30)
(24)
48
Coeficientes de correlao para variveis ordinais e dicotmicas derivados do coeficiente linear de pearson
onde:
n 2 1 12
(36)
(31)
onde: n o nmero total de observaes da amostra n 0 o nmero de observaes cuja varivel X assume valor zero n 1 o nmero de observaes cuja varivel X assume valor um
e comparando com o
X i Yi = Yi 1 + Yi 0 = Yi
i =1 i =1 i =1 i =1
n1
n0
n1
(37) (38)
variam entre -1 e +1. Entretanto, para Os valores de Bunchaft e Kellner [2] suficiente que a e d indiquem ou concordncia ou discordncia, o mesmo acontecendo com b e c.
3.2.4. Coeficiente de correlao entre variveis dicotmica e ordinal (rank) Este coeficiente utilizado, segundo Wherry [10], quando uma das variveis (X) dicotmica e a outra ordinal (rank). O seu estimador tambm foi obtido a partir do coeficiente de correlao linear de Pearson. O estimador do coeficiente de correlao linear de Pearson dado pela expresso (3) pode ser reescrito como:
n
Xi = Xi2 = n1
i =1 i =1
X=
Xi
i =1
n
n2 n =
n1 n
2 n n1 n1 n = n
(39)
X =
n1 n
n 1 (n n 1 ) n2
(40)
X,Y =
(X i X )(Yi Y )
n i =1
X i Yi i =1
i =1
X i Yi
i =1
Yi -
2 Yi - n1 (n + 1)
i =1
dr
(32)
[n1(n1 + n 0 )] n 2 - 1
n2 12
2n
X Y n
X Y
Resultando em:
2 Yi n 1 (n + 1)
n
Yi
dr =
(33)
2 2 2 2
i =1
n1 n 0 n 2 1 3
(41)
Yi2 =
i =1
n ( n + 1)( 2n + 1) 6
Yi
i =1
Y=
Yi
i =1
n +1 2
(35)
n o nmero total de observaes n 0 o nmero de observaes cuja varivel X assume valor zero; n 1 o nmero de observaes cuja varivel X assume valor um. A significncia do coeficiente estimado para amostras com n 30 , poder ser obtida atravs da estatstica Z, como segue:
49
dr Z=
n 1
(42)
3.2.5. Coeficiente de correlao entre varivel ordinal (rank) e intervalar Quando tem-se uma varivel (X) ordinal e outra (Y) intervalar, possvel estimar o coeficiente atravs do estimador apresentado em Wherry [10], que tambm derivou-se do coeficiente linear de Pearson. Conforme apresentado na expresso (32), o estimador do coeficiente linear de Pearson :
n
ri t=
n2 2 1 ri
t n 2
(50)
X,Y =
(X i X )(Yi Y )
n i =1
X i Yi i =1
i =1
X i Yi
i =1
4 - RESULTADOS E DISCUSSO Para a aplicao de diferentes mtodos de coeficiente de correlao derivados do coeficiente linear de Pearson, gerou-se diferentes amostras pelo processo de simulao Monte Carlo, utilizando o Statistical Software Analysis (SAS), atendendo s suposies quanto ao nvel de mensurao das variveis envolvidas na anlise. Os algoritmos utilizados encontram-se no apndice. 4.1. Aplicao do coeficiente de correlao ponto bisserial Gerou-se uma amostra aleatria em que a varivel X intervalar e a varivel Y dicotmica. A amostra aleatria e as estatsticas encontram-se nos quadros A.1 e A.2 do apndice. O coeficiente de correlao ponto bisserial calculado pb = 0,76533 . Calculando-se o coeficiente linear de foi Pearson para as variveis X e Y, evidentemente obteve-se o mesmo valor, pois trata-se do mesmo coeficiente. A significncia do coeficiente de correlao ponto bisserial quanto do coeficiente linear de Pearson < 0,01 , cujo valor de t calculado foi 7,33. 4.2. Aplicao do coeficiente de correlao de Spearman As variveis X e Y geradas aleatoriamente so ordinais, apresentadas no quadro A.3. Foram calculados os coeficientes de correlao de Spearman e o linear de = S = 0,80423 , Pearson, cujo coeficiente estimado foi com t = 7,16 , significativo, portanto, para < 0,01. 4.3. Aplicao do coeficiente de correlao phi
X Y n
X Y
(43)
Xi
i =1
Ento:
X2 i =
X=
Xi
i =1
n
n
n (n + 1) n + 1 = n2 2
(45)
2
X =
(X i X )
i =1
n Xi n i =1 2 X i n i =1 n
(46)
Tem-se que:
n Xi n n3 n Xi2 i =1 n = 12 i =1
2
(47)
X =
n3 n = 12 n
n 2 1 12
(48)
X i Yi
i =1
ri =
(n + 1) Yi
i =1
X i Yi
i =1
2n
n 2 1
12
12
(n + 1) Y
2
Gerou-se uma amostra aleatria de variveis dicotmicas X e Y que se encontra no quadro A.4. O coeficiente de correlao phi calculado a partir da tabela de contingncia apresentada na tabela A.1 exatamente igual ao coeficiente linear de Pearson, calculado a partir das variveis dicotmicas X e Y, qual
(49)
n 2 1
= 0,78667 . = seja O teste de significncia utilizando a estatstica t indica nvel de significncia < 0,01 , com t = 7,85 . Utilizando-se
onde:
50
Coeficientes de correlao para variveis ordinais e dicotmicas derivados do coeficiente linear de pearson
5 CONCLUSO Conclui-se portanto que possvel utilizar o coeficiente linear de Pearson para variveis medidas a nvel intervalar, ordinal e dicotmica, tendo as devidas precaues na interpretao, ou seja, o quadrado do coeficiente de correlao no pode ser interpretado como a proporo da varincia comum s duas variveis ( R 2 ), quando envolvem variveis ordinais e dicotmicas. Dentre os fatores que afetam o coeficiente linear de Pearson, pode-se citar o tamanho da amostra, principalmente quando pequeno. Assim, apesar da possibilidade da utilizao do coeficiente linear de Pearson, para as variveis que no so medidas no mnimo em nvel intervalar, h que se atentar para a questo do tamanho da amostra, das variveis envolvidas na anlise. REFERNCIAS BIBLIOGRFICAS
[1] Andenberg, Michel R.; Cluster analysis for applications. New York: J. Wiley & Sons, 1958. [2] Bunchaft, G. and Kellner, S. R. O.; Estatstica sem mistrios. 2.ed. Petrpolis: Vozes, 1999. v.2. [3] Downie, N. M. and Heath, R. W.; Basic statistical methods. New York: Harper & Brothers, 1959. [4] Ferguson, G. A.; Statistical analysis in psychology and education. 5.ed. New York: McGraw-Hill book, 1981. [5] Guilford, J. P.; Fundamental statistics in psychology and education. 4.ed. New York: McGraw-Hill Book, 1950. [6] Haldar, A. and Mahadevan, S.; Probability, reliability and statistical methods in engineering design. New York: J. Willey & Sons, 2000. [7] Lira, S. A.; Anlise de correlao: abordagem terica e de construo dos coeficientes com aplicaes. Curitiba, 2004. 196 p. Dissertao (mestrado). Setores de Cincias Exatas e de Tecnologia, UFPR. [8] Siegel, Sidney; Estatstica no-paramtrica: para as cincias do comportamento. So Paulo: McGraw-Hill do Brasil, 1975. [9] Silveira, F. L.; Estatstica paramtrica versus noparamtrica: um estudo emprico. Scientia, v. 2, n. 2, pp. 115122, jul-dez 1991. [10] Wherry, R. J.; Contributions to correlational analysis. Orlando: Academic Press, 1984.
4.4. Aplicao do coeficiente de correlao entre variveis dicotmica e ordinal Tem-se que a varivel X medida em nvel ordinal e a varivel Y dicotmica. A amostra aleatria gerada pelo processo de simulao encontra-se no quadro A.5 e as estatsticas da varivel X, no quadro A.6. dr calculado foi 0,86458, O coeficiente de correlao exatamente igual ao coeficiente linear de Pearson. A < 0,01 para t = 9,10 . A significncia do coeficiente
51
APNDICE 1- ALGORITMOS UTILIZADOS PARA OBTENO DAS VARIVEIS 1.1. Algoritmo para gerar variveis normais bivariadas data normalbi; keep x y; m1=5; m2=20; v1=2; v2=10; ro=0.80; do i=1 to 30; /* tamanho da amostra */ x=m1+sqrt(v1)*rannor(123); y=(m2+ro*(sqrt(v2)/sqrt(v1))*(x-m1))+ sqrt(v2*(1ro**2))*rannor(123); output; end; run; 1.2. Algoritmo para gerar varivel normal data normal; seed=45; n=20; do i=1 to n; x=rannor(seed); output; end; run; 1.3. Algoritmo para gerar varivel Bernoulli data bernoulli; seed=45; n=20; do j=1 to n; x=ranbin(seed,1,0.4); output; end; run; 2 AMOSTRAS UTILIZADAS PARA APLICAO DOS MTODOS DE CORRELAO
QUADRO A.1 - VARIVEIS ALEATRIAS NORMAL X E BERNOULLI Y OBS. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 X 68,53943 68,76153 67,51424 71,33978 69,90114 65,23922 75,64971 69,04248 74,65876 67,57904 68,24473 62,99353 77,46998 66,05733 73,28209 71,05588 69,54481 70,79316 66,96403 72,22281 Y 0 0 0 1 1 0 1 0 1 0 0 0 1 0 1 1 1 0 0 1 OBS. 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 X 70,74722 69,78154 67,87615 74,37667 71,52511 66,89329 71,57874 70,93864 68,87160 73,79670 73,26968 68,13456 68,69880 73,09149 71,65980 72,43791 68,48637 69,62983 66,57056 69,57349 Y 1 1 0 1 1 0 1 0 0 1 1 0 0 1 1 1 0 0 0 0
QUADRO A.2 - ESTATSTICA DESCRITIVA DA VARIVEL X SEGUNDO VALORES DA VARIVEL Y E TOTAL Y FREQ. MDIA DESVIO PADRO 0 21 67,9715 1,7979 1 19 72,4942 2,0555 TOTAL 40 70,1198 2,9510
QUADRO A.3 - VARIVEIS ALEATRIAS X E Y NORMAIS E TRANSFORMADAS EM ORDINAIS OBS. 1 2 3 4 5 6 7 8 9 10 X 4 1 2 8 6 3 9 18 7 11 Y 1 2 3 4 5 6 7 8 9 10 OBS. 11 12 13 14 15 16 17 18 19 20 X 14 15 17 10 16 28 12 23 5 26 Y 11 12 13 14 15 16 17 18 19 20 OBS. 21 22 23 24 25 26 27 28 29 30 X 22 21 20 27 13 25 24 19 30 29 Y 21 22 23 24 25 26 27 28 29 30
25 15 40
QUADRO A.5 - VARIVEIS ALEATRIAS NORMAL X TRANSFORMADA EM ORDINAL E BERNOULLI Y OBS. 1 2 3 4 5 6 7 8 9 10 X 1 2 3 4 5 6 7 8 9 10 Y 0 0 0 0 0 0 0 0 0 0 OBS. 11 12 13 14 15 16 17 18 19 20 X 11 12 13 14 15 16 17 18 19 20 Y 0 0 0 0 0 0 1 1 1 1 OBS. 21 22 23 24 25 26 27 28 29 30 X 21 22 23 24 25 26 27 28 29 30 Y 1 1 1 1 1 1 1 1 1 1
Y
0 1
X
8,5000 23,5000
S
4,7610 4,1833
52
Coeficientes de correlao para variveis ordinais e dicotmicas derivados do coeficiente linear de pearson
QUADRO A.7 - VARIVEIS ALEATRIAS NORMAL X TRANSFORMADA EM ORDINAL E NORMAL Y OBS 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 X 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 Y 50,1236 51,1531 51,1754 56,7419 51,1830 54,5408 55,5512 55,2186 54,5424 52,2496 54,8710 55,9186 56,1823 58,7238 50,9812 62,0726 55,7658 56,9581 56,4535 54,9055 56,3960 60,1621 58,0464 60,8010 64,1540 OBS 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 X 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 Y 58,1540 55,4734 59,6157 60,1809 64,0449 59,9498 56,5022 66,6750 63,8418 63,0514 62,3340 62,6357 60,7527 61,2694 66,5862 65,3720 62,2744 66,4326 67,7780 66,9581 63,9188 60,6948 67,7532 69,7136 67,1037
53