CAPITULO 6 Validade dos testes = Introdugio A validade constitui um pardimetro da medida tipicamente «iso do no contexto das ciéncias psicossociais. Ela ndo é corrente em cit fisicas, por exemplo, embora haja nessas ciéncias ocasides em que til ametro se aplicaria, Nestas titimas ciéncias, a preocupago prineipil medida se centra na questo da preciso, a dita calibragdo dos instr tos. Esta € importante também na medida em ciéncias psicossociai | ela nao tem nada a ver, conceitualmente, com a questo da validity raziio disto esté no fato de que a validade diz respeito ao aspecto la da de ser congruente com a propriedade medida dos objetos © niio exatidio com que a mensuraco, que descreve esta propriedsle do ol € feita. Em Fisica, 0 instrumento é um objeto fisico que mede prop des fisicas; entdio parece facil se ver que a propriedade do objeto it ante € ou no congruente com a propriedade do objeto medio, Toi ‘exemplo, 0 caso da propriedade “comprimento” do objeto. O instr que mede esta propriedade (comprimento), isto é, 0 metro, uit Nill priedade de comprimento para medir a comprimento de outro objelil Go estamos medindo comprimento com comprimento, tomas el mos univocamente, Nao hé necessidade de provar que a propyl “comprimento” do metro seja congruente com a mesnna propriey objeto medido; os termos sao univocos, eles sao conceitualinel lentes, alids, idénticos. © caso ja se torna menos claro quando, por exemplo, Hall mede a propriedade “velocidade” gakicticn de aproximagio OW mento via efeito Doppler, onde a aproximagio/afastamento diy Ii pectrais da luz da galdxia seria o instrumento da medida, Aqui ji na verdade, um problema de validade do instrumento de medi io que as distincias day linhas expectrais 14H 4 Wer ide das galaxias? Pode-se fazer tal suposi¢do, mas ela tem que ser ida empiricamente, de alguma maneira, isto é, pelo menos em msequéncias, em hipéteses dela derivadas ou derivaveis e verificd- feste caso especifico, o problema da precisio da medida diz respeito exata pode ser feita a mensuragio das distincias entre as linhas es is, 20 passo que o de validade diz respeito a se esta medida das dis I das linhas espectrais, por mais exata e perfeita que ela possa ser, 10 a ver ou nfo com a velocidade de afastamento da galaxia, Em palavras, a validade em tal caso diz respeito 4 demonstragio da \¢do (legitimidade) da representagdo ou da modelagem da veloci ica via distancias das linhas espectrais. Este caso da astronomia ilustra o que tipicamente acontece com a ‘em ciéncias psicossociais e, consequentemente, toma a prova da dos instrumentos nestas ciéncias algo fundamental ¢ crucial, isto condicdo sine qua non demonstrar a validade dos instrumentos teiéncias. Isto é particularmente o caso nos enfoques que, em Psi- | trabalham com 0 conceito de trago latente, onde se deve demons forrespondéncia (congruéncia) entre trago latente e sua representa jea (0 comportamento). Nao causa estranheza, portanto, que 0 pro- de validade tenha tido, na histéria da Psicologia, uma posigao cen- {eoria da medida, constituindo-se, na verdade, no seu parametro ntal ¢ indispensdvel. Alids, a hist6ria deste pardmetro € repleta de 8 que espelham concepgdes tedricas antagdnicas da prépria teoria ca, A questio de “como legitimar ou justificar a pertinéncia da do comportamento humano?” foram dadas respostas diferentes na da Psicometria. Podemos ilustrar esta diatribe, distinguindo varias, ide predomindncia de uma concepgaio do parametro vatidade sobre © que aparecem sempre atreladas a uma concepgio mais geral da Psicologia, como ja anotava Anastasi em 1986. Com efeito, poderfamos delinear, em tragos bem gerais, a histéria do Avo da validude em tr@s perfodos, onde aparece, em cada um deles, a Inincia de um dos tipos atualmente conhecidos de validade, desde 0 {nubalho de Cronbach Meehl (1955), expressos sob o modelo tri- saber, a validade de contetido, de critério e de construto. do: 1900 ~ 1950: Predominio da validade de contetido Nosta dpocu estayam em voga as teorias da personatidade e com dominava © interease pelos tragox de personalidade (tipos, tem-peramentos, tracos, aptidées, etc.). Estas teorias (psicanslise, fenome gia, gestaltismo, etc.) apresentavam em geral pouca fundamentagila pirica, assumindo um cardter bastante nebuloso, quando nao fantasl Nesta atmosfera, os testes dos tracos eram considerados validos na nl em que seu contetido correspondesse ao contetido dos tragos teorieiti definidos pela teoria psicolégica em questio. Afora alguns poucos (teste de Binet-Simon, de Raven, de Ths alguns testes projetivos ainda em voga), as dezenas de testes crite i €poca ja fazem parte de uma hist6ria passada; eles podem ser dit (9 sentantes da pré-hist6ria dos testes psicolégicos. 2° Periodo: 1950~ 1970: Predominio da validade de critério Prevalecia em Psicologia 0 enfoque do behaviorismo skinner que influenciou também a Psicometria. Os testes eram concebidlon uma amostra de comportamentos que tinham como fungio predizer {ros comportamentos ou comportamentos futuros. Este teste er, cil quentemente, vélido se predizia com precisio os comportamentos ti futura ou outra condigao, esta se tomando, assim, 0 critério de validade teste, Nio interessava saber por que o teste predizia, bastavar mosttit de fato ele o fazia e isto era o eritério de sua validade, Este modo dle 0 ceber os testes ainda persiste hoje em dia, mas parece que 10s poulos relevncia vai se tornando secundéria, tornando-se tio somente uni eli juntamente com a validade de contetido, no proceso de claborayit testes psicol6gicos (Anastasi, 1986). Este perfodo se caracteriza por uma acentuada fuga do pensit | rico que definia a época anterior. O teste ndo era mais construido par presentar tragos de personalidade, mas os itens (tarefas) cram selecioni a partir de um grande elenco (pool of items) que parecia se refer iil para o qual se queria uma medida, fazendo uso praticamente exclusive posteriori de anédlises estatisticas, especialmente a correlugio, NiO @ mais a teoria psicolégica ¢ sim a estatistica que definia a qualidade teste. Este processo de empirismo cego se assemetha ao perciidor (ue Ii gaa rede no importa onde para ver 0 que pode colher ¢ em cima do Ihido decidir 0 que quer. Neste processo tipicamente se perder "iil das” de itens puramente por no satisfazerem critérioy estatiaticos (Kill 1948; Cureton, 1950; Primoff, 1952), Esta atitude dos psleonvettisiiy ip ent (ém suas razden histdricas de ser, Elex querlam ne dntiveer dd (i cia um teorizar gratuito e fantasioso do inicio do século XX em in. Contudo, jé na década de 1970, os psicometristas procuravam, ‘um teorizar psicolgico mais relevante ¢ em cima dele elaborar 3s, dando inicio ao terceito perfodo na concepgio dos testes e de idade. lo: 1970 ~ Presente: Predominio da validade de construto Este perfodo teve suas fontes hist6ricas no artigo de Cronbach ¢ (1955) sobre 0 modelo trinitério da validade (contetido, critério, (0). Eles préprios ja diziam que a validade de construto e ipo de teorizar em Psicometria. Entretanto, o impacto pritico desta autores s6 se faria sentir apés os anos de 1970, Na verdade, a volta psicol6gica em Psicomettia se deve a irios fatores, salientando-se: 1) Preocupacdo com desenvolver a teoria da personalidade e inte- ligéncia em especial, com maior base empirica, valendo-se so- bretudo das técnicas da andlise fatorial (Comrey, 1970: Guilford, 1967; Jackson, 1974; Millon, 1983; Cattell, 1965; Cattell & Stice, 1957; Cattell & Warburton, 1967); 2) Bstuddos dos processos cognitivos (Stemberg, 1977, 1984; Stenberg _ & Detterman, 1986; Stemberg & Rifkin, 1979): 4) Estudos do processamento da informagao (Newell, Shaw & Si- mon, 1958a; Newell, Shaw & Simon, 1958b); 4) Insatistacao com os resultados decepcionantes do uso dos testes na situagaio educacional e do trabalho, Na clinica se utilizavam ainda bastante os testes projetivos, onde predominava, als, ainda © pensamento da primeira época dos testes bascados nas {corias dos tragos de personalidad; §) 0 impacto da Teoria de Resposta ao tem (TRI) com sua insis- Léncia no trago latente, A influéncia decisiva desta teoria ocorre somente pds os anos de 1980, retardo devido ao atraso na fea di informatica para fazer uso prético das andlises estatistica complexas que tal enfoque exige. ‘A prooeupagilo agora, na vatidagiio dos instrumentos psicol6gicos, yoni ni Validade de Construto ou dos tragos latentes, Nao esté ain- iauld W disput enire a @nfave ou nox tragos ou nas situ(construct-centered vs. task-centered) ou, como diz Messick (1994), entré a avaliagio task-driven versus construct-driven. Parece, entretanto, que @ conceito de validade dos testes psicolégicos ir finalmente se reduzir j validade de construto, sendo o de contetido € 0 de critério apenas aspectos da validade de construto (Anastasi, 1986; Messick, 1989, 1994; Embrets 1983; Wiggins, 1989; Cronbach, 1989, 0 qual jé em 1955, de algum mov previa tal desenlace). Esta tendéncia € obviamente favorecida também pelo psicélogos da linha cognitivista (Sternberg, 1985, 1990; Gardner, 1983). Vamos voltar, agora, para o tema da validade dos testes. Nol manuais de Psicometria costuma-se definir a validade de um teste dizenili que ele é vélido se de fato mede o que supostamente deve medir. Embi esta definicao parega uma tautologia, na verdade ela niio é, considerada teoria psicométrica exposta neste trabalho sobre o trago latente. O q ‘quer dizer com esta definigdo € que, a0 se medirem os comportameni (tens), que so a representago do trago latente, esti-se medindo o pript trago latente. Tal suposig3o & justificada se a representagio compott mental for legitima, Esta legitimago somente € possivel se existir Wl teoria prévia do trago que fundamente que a tal representacio comport mental constitui uma hipotese dedutivel desta teoria. A validade do (0 (este constituindo a hipdtese), enti, sera estabelecida pela testaget ica da verificagdo da hipstese. Pelo menos, esta é a metodologia cll tifica, Assim, fica muito estranha a pritica corrente na Psicometia de agrupar intuitivamente uma série de itens e, a posteriori, verificar esl camente 0 que eles estio medindo. A énfase na formulacio dt teoria (05 tragos foi muito fraca no passado; com a influéncia da Psicologia CY nitiva esta énfase felizmente esta voltando ou deverii voltar ao seu de lugar na Psicometria Aliés, a Psicometria cldssica entende por “aquilo que 9 mente deve medir” como sendo 0 “critério”, este representadlo por I paralelo. Assim, este “aquilo que” € 0 traco larente na concepyo coil vista da Psicometria e € 0 critério (escore no teste paralelo) na visio portamentalista Diz Anastasi (1986: 3) que o processo de validagio de un fi “nicia com a formulagiio de definigdes detalhadas do trago ou Cot {o, derivadas da teoria psicolégica, pesquisa anterior, ov observAGIN tematica e anilives do dominio relevante do comportanento, Ov (tet do entio preparados para se adequarem as definigdes do construto. lises empiricas dos itens seguem, selecionando-se finalmente os iten: eficazes (i.¢, véilidos) da amostra inicial de itens"", A validagao da representagao comportamental do trago, isto é, do embora constitua o ponto nevrélgico da Psicometria, apresenta difi- s importantes que se situam em trés niveis ou momentos do pro ‘de elaboragdo do instrumento, a saber, 20 nfvel da teoria, da coleta rica da informagao e da propria andlise estatfstica da informagio. No nivel da teoria se concentram talvez as maiores dificuldades, lade, a teoria psicolégica se encontra ainda em estado embrionario, itufda quase que totalmente de qualquer nivel de axiomatizacao, re- lo disto uma pletora de teorias, muitas vezes até contradit6rias, lembrar de teorias como behaviorismo, psicandlise, psicologia exis- lista, psicologia dialética e outras, que, existindo simultaneamente, Im principios irredutiveis entre as varias teorias e pouco concatena- tro de uma mesma teoria ou, entao, em nimero insuficiente para se deduzir hipsteses tteis para o conhecimento psicol6gico, Havendo Gonfusdo no campo te6rico dos construtos, toma-se extremamente I para o psicometrista operacionalizar estes mesmos construtos, isto lular hipoteses claras ¢ precisas para testar ou, entdo, formular hi- § psicologicamente titeis. Ainda quando a operacionalizacao for um , a coleta da informacio empirica nao serd isenta de dificuldades, | Por exemplo, a definigdo inequivoca de grupos critérios onde estes OS possam ser idealmente estudados. Mesmo ao nivel das anzilises ticas encontramos problemas. Pela légica da elaboragao do instru- | a verificacdo da hipétese da legitimidade da representagio dos tos se faz por anilises do tipo da anélise fatorial (confirmatéria), pcura identificar, nos dados empiricos, os construtos previamente Jonalizados no instrumento, Mas, acontece que a anilise fatorial faz its postulagdes fortes que nem sempre se coadunam com a realidade los, Por exemplo, a anilise fatorial assume que as respostas dos su- 40s Itens do instrumento so determinadas por uma relagdo linear {G0 Os tragos latentes. H4, ainda, o grave problema da rotagao dos VAAN, 1W00 aeestiio ou nfo se referindo a alguma coisa (construto) comum. Assim, 'sicometria se torna, no maximo, um ramo da Estatistica, como, alids, ert hormalmente definida, ¢ no um ramo da Psicologia, como deve ser com cebida, Para a Estatistica, o nimero & niimero, niio interessa donde cle ‘vem; mas para a Psicologia (Psicometria) 0 niimero € uma representa de contetido psicolégico, entdo interessa muito donde este ntimero ven Na tradigio clissica da Psicometria apela-se demasiadamente & Estatstied para salvar a teoria psicolégica, Isso nao dé, Nao se pode abdicar da (cori psicolégica em favor da Estatistica. E preciso, primeiramente, fazer @ avangar a teoria psicolégica (dos tragos latentes) € apelar, em seguiclt, | Estatistica para auxiliar a tomar decisdes mais objetivas sobre a demon tracio de hipsteses psicologicamente significativas ¢ relevantes, ests de duzidas da teoria psicol6gica e nao levantadas intuitiva e aleatoriamen((, A Psicometria, classica e também a moderna, esto a necessitar urgente: mente da ajuda da Psicologia Cognitiva neste particular, que a possi in ‘rumentar com a teoria dos tragos latentes para 0s quais ela quer descnvol ver instrumentos de observagiio quantitativa (medida). pmol 2 }s (62) +6 para predizer o escore num teste paralelo (1) a partir de um teste Icula-se a diferenga entre estes dois escores, levando em conta a cor- jo que o teste T; tem com o teste paralelo. Por isso que d — Fate Entretanto, como s; = 8, jé que se trata de testes paralelos, o termo parénteses é igual a 1. Assim, a formula se reduz a uc (63) Para se tomarem os desvios médios (e nio os desvios individuais), que, primeiro, elevar os desvios (d) ao quadrado, dado que a soma svios em tomo da média vai dar sempre 0. Em seguida, somar estes quadrados e dividir tudo por N (mimero de sujeitos da amostra sobre soma dos desvios foi feita). Tal procedimento resultard em Tata)? a (64) De qualquer forma, também na TCT se procura demonstra dade dos testes. Como & que era isto feito? Vejamos. Neste contexto, a Psicometria clissica procura legitimar a valid de um instrumento dentro do conceito de erro de estimacdo, isto 6, all © escore obtido pelo sujeito no teste se afusta do escore verdadero Expandindo, a equacdo se toma DUE nate -netity +n3e8) A férmula para 0 célculo do erro de estimagao, na qual um cri € predito a partir de um teste, é a seguinte: co) onde, Como se trata de desvios médios (varidncia e covaridneia), a for- Se €0 desvio padriio da medida do critério fica ric 60 coeficiente de validade, isto €, a correlagaio entre o teste © 0 criti aa Af ris} ~2n,5,8) 65) Esta férmula esté baseada na ideia de se computar o erro mint que se pode cometer ao se predizer 0 escore de win (este A partir do eNel Como em testes paralelos as variincias sfo iguais (s, = s2), entao de um teste paralelo, Para tanto se af ©, assim, a férmula 6,5 se torna o que dé saa reronsllo dos quadradoy miniAssim, a predigtio do teste € 40% (1,00 — 0,60) superior a predigao a0 acaso ou por adivinhagdo. Isso niio parece grande coisa dado um iciente de validade tao elevado, mas sempre & melhor que a pura adi- Jo. Também, felizmente, 0 erro de estimagio e o coeficiente de ide ndo so os tinicos nem os melhores procedimentos para estabele- a validade de um teste, como veremos a seguir. 7 tKasi —2m8) Na verdade, hé neste procedimento do erro de estimagio um certo iyoco ao se supor que o escore verdadeiro seja a medida daquilo que 0 pretende medir. De fato, o escore verdadeiro constitui um agregado uenf=e) (60) dida daquilo que o teste pretende medir mais caracteristicas peculia- a8 ls itens que compdem o teste, sem que estas tenham a ver com 0 que le pretende medir. Vejamos: ce extraindo a raiz, quadrada, a formula finalmente se torna onde 0 subscrito | se refere ao teste (teste 1 ou T na nossa férmula iniclil 6.1) € 0 2 a0 critério (teste 2 ou C na formula inicial). Vé-se pela formula que, para se poder obter 0 erro de estimai0, necesséiio se possuir a medida de um critério, este supostamente send medida da aptidao. Por mais precério que tal procedimento parega, ¢ di poucos de que dispde a Psicometria Classica para estabelecer 0 e110 df estimagio e, por consequéncia, a validade de um teste, entendida como preciso com a qual 0 teste pode predizer 0 escore verdadeiro, Hist {0 mula deixa claro que se 0 coeficiente de validade ry for zero, entilo 0 ei de estimagio (EE) € igual ao desvio padrao da medida, pois 0 falor sol) raiz cquivaleria a 1. Tal ocorréncia implicaria que 0 teste nio é capa i predizer o escore verdadeiro melhor do que uma simples adivinh: 6, cle € totalmente instil para predizer qualquer coisa. Agora, se 0 voefltl ente de validade for diferente de zero, entao 0 teste tem poder maior | predizer do que uma simples adivinhagao. Quanto maior?” Vejamos: we coeficiente de validade fosse igual a 1, 0 erro de estimagiio seria 2010, p ‘Se decompusermos a varidineia que um item produz numa amostra jeitos, podemos visualizar a situagig apresentada na figura 6-1, como flaro no contexto da andlise fatorial”. Segundo esta ilustragdo, a vati tem trés components: a varidncia comum (h’), a varincia especth )) © a varidncia erro (e"). Var (Xi) comunalidade (validade) especificidade | erro 0, uunicidade Procisio Jura 6-1, Distribuigio dos componentes da varianeia ele seria 0 desvio padrio vezes 0; mas suponhamos que um teste (etl coeficiente de validade de 0,80, 0 que constitui um coeficiente de gril A varidincia que tem a ver diretamente com 0 conceito de validade za extraordinéria em termos préticos. Neste caso, quill seria a foryi i Yaridincia comum exclusivamente, pois ela representa a saturagao do Ho trago latente (ou aptidio), isto é, ela é a covaridncia, a correlagao mM Com 0 trago latente; vale dizer, ela constitui o que o item tem a ver 1 ttugo Tatente, O restante da varidneia do item nao tem nada a ver com 1 Jatente ©, consequentemente, nada tem a ver com o coneeito de le. Acontece, porém, que 0 conceito de escore verdadeiro (V) da predigio do teste com respeito ao critério qu o erro de estimagao do teste, temos pretende medir? Calculanil 1x fon" = Yi 061 = J0.86 = 0060.Psicometria Clissica inctui, além da varidncia comum, a variancia ev peeifica, dado que o outro componente da varidncia assumida no modelo (T= V +E) é somente 0 erro. Assim, a varidincia que serve de base para calculo da validade vai ser a mesma que serviré para calcular 0 coeficiente de preciso, torando estes dois conceitos (validade e preciso) concvit! almente confusos. Que a varidncia comum entre na concepedo € cilewh da precisio é legitimo, mas nao é legitimo que entre na concepgao e, ev sequentemente, no céculo de validade a varidncia especifica dos itens, no ser, evidentemente, como é o caso da Psicometria Classica, «te critério de validade seja outro escore verdadeiro, isto é, outro teste (pati lelo). Entdo, vé-se que 0 critério de validade nao € 0 trago latente e sin tem 1 Restante escore verdadeiro de outro teste paralelo, E no que dé a falta da teoria py ~~ colégica como base para fundamentar estes conceitos paramétricos, ue Um exemplo para cilculo desta correlago segue na tabela 6-1 10 sujeitos responderam um teste de 10 itens numa escala de 5 pon- Obtendo os resultados apresentados na tabela com referéncia ao item 1 Testante do teste. Pergunta-se qual a consisténcia deste item no teste? posta é dada pela correlago, no caso sendo r = 0,68, que é muito la 6-1. Caleulo da consisténcia interna de um item em teste de 10 itens tornam, desta forma, conceitos puramente estaisticos. 5 4 2 2.2 —Andlise da representagao oy 05 55 0.25 2.78 30 35 OSs 025 Siio utilizadas duas téenicas como demonstragio da adequayo ‘ 2 0 representagio do construto pelo teste: a anise fatoril e a anise do ee 675 sisténcia interna, 4 40 55 025 215 5 3 4) Consisténcia intema 2 A anélise da consisténcia interna consiste em calcular a comrli : que existe entre cada item do teste ¢ 0 restante dos itens ou 0 total (es total) dos itens. Dado que o item sendo analisado contribui pa 0 oii total, ele teoricamente nao deve entrar neste escore, jd que & ele que sendo escrutinado, Assim, a correlagao legitima seri a do item eon @ tante dos itens. Esta preocupagio é importante quando o nimero de | do teste for pequeno, pois neste caso o priprio item em aniline a substancialmente 0 escore total a seu favor. Por exemplo, nuit tenle & 10 itens, cada item contribui ¢ influencia o excore total em 10%, Qi maior, contudo, 0 ntimero de itens que compdem 0 teste, a influenell Sx? fioso cada item em particular no escore total vai se tornando menos rele) . f thee 687 Em um teste com 100 itens, por exemplo, cada item afeta 0 em apenas 1%. Consequentemente, no caso de teste com grande Ni py 4150 0,68 10x 102% 6,87 de itens (n 2 30), a correlagtio do item com excore total ou COM Naysy tunte dos iteny nilo vai fazer diferenga relevanteA andlise da consisténcia interna do teste implica no céleulo das lise fatorial* correlagées de cada item individualmente com o restante do teste. Esti anilise apresenta um problema ldgico que se situa no escore total. Na ver dade, 0 escore total é 0 critério contra o qual cada item & avaliado; may acontece que os itens sto os que vio constituir 0 escore total, antes messi de se saber se eles sio itens validos e soméveis (unidimensionais, isto 6, que esto medindo um e 0 mesmo trago latente). O escore total consti assim, uma dificuldade, dado que ele somente faz sentido se 0 teste ji & priori homogéneo. De sorte que a correlagdo de cada item com o escort total j4 pressupde que os itens so somaiveis, isto €, homogéneos e vilidos) em outras palavras, se pressupde que todos os itens constituam uma repre sentagio adequada do trago e de um mesmo trago latente (unidimensions lidade). Além disso, a consisténcia interna implica em que os itens estejal intercorrelacionados, isto é, que as correlagdes entre eles mesmos se)ill elevadas. Entretanto, as intercorrelagdes entre os itens nao sio uma de monstragio de que estes estejam medindo um € mesmo construto, Supt nha a situagdo de ts itens saturados em trés fatores, como segue: Por outro fado, a anzlise fatorial tem como légica precisamente ve~ quantos construtos comuns so necessérios para explicar as cova- cas (as intercorrelagdes) dos itens. As correlagdes entre os itens so licadas, pela andlise fatorial, como resultantes de varidveis-fonte que as causas destas covaridncias. Estas varidveis-fonte so os cons- ‘ou tragos latentes de que fala a Psicometria. A andlise fatorial tam- postula que um niimero menor de tragos latentes (varidveis-fonte) & jente para explicar um némero maior de varidveis observadas (itens), se verifica na figura 6-2. x, <———_ Tn 7 7 Figura 6-2. Representagio do modelo fatorial “a | om 0” aso O modelo da figura 6-2 mostra que n varidveis (X) podem ser ex- las por um fator comum a todas as varidveis (F) mais um fator espe~ 2 | 030 080 030 para cada uma delas (U). De sorte que cada varidvel tem sua equa- 3 | 030 030 0.80 sxpressa em termos destes dois fatores. Por exemplo: X)=a,F+diU, 0 a; 6a saturagdo, a correlagdo, a covaridncia (dita carga fatorial) ldvel X; no fator F. Ela representa o percentual de relagio que ela {gom o fator, isto é, quanto porcento ela se constitui em representagio of (trago latent); indica, em outras palavras, se ela é uma boa repre- (0 comportamental do trago latente, Além disso, as cargas fatoriais ue determinam a correlagdo entre as préprias varidveis empiticas. | Correlagiio entre X, e Xp é definida por ajay", As correlagdes entre os trés itens so todas de 0,57, cativas, mas nem por isso se pode dizer que os trés itens este uma e a mesma coisa, Na verdade, o item I mede especificamente 0 {ill 1, pois esté altamente saturado somente neste fator € nao nos OUTON doy 8 outros itens medem outros fatores. Consequentem line consisténcia interna dos itens ndo parece garantir que eles seam Wii presentagdo unidimensional de um construto, A conclusio que se impoe destas observagdes & a de que a andl da consisténe nilo constitu’ prova cabal de valicade de cone do teste,comportamento (Iei da igualagdo), Em segundo lugar, existe o grave sblema da rotacdo dos eixos, para a qual nao existe nenhum critério ob- iVo, a ndo ser a interpretabilidade psicoldgica (seméntica) dos fatores. ocorréncia permite, em tese, a descoberta de qualquer fator que se ira, tornando a solugdo extremamente arbitrétia. Contudo, se o teste foi truido via teoria psicolégica de tragos latentes e nfo a esmo (como ta de uma amostra de itens a partir de um universo arbitrario deles, 10 € praxe corrente na construgdo de testes), temos ali um critério ob- ivo de rotacdo dos eixos em funcdo dos tragos latentes para os quais os 8 foram inicialmente construidos como representagio comportamental. te caso, a andlise fatorial serd utilizada como teste de hipdtese ¢ nio 10 pesca de hipéteses, assumindo, assim, a Estatistica, como é legiti- , 0 papel de testagem de hipdteses psicolégicas formuladas pela teoria oldgica e nao o papel de criar ela (Estatistica) as hipdteses psicoldgi- (a posteriori) Desta forma, a validade de construto de um teste € determinsili pela grandeza das cargas fatoriais (que so correlagdes que vio de -1 a+!) das variéveis no fator, sendo aquelas a representagdo comportamental deste fator, que, por sua ve7, & 0 trago latente para 0 qual elas foram ine) almente elaboradas como representagdo empitica. Estas cargas fatoriais representam a parte fundamental do escore verdadeiro (V) da equaciio di Psicometria Clissica: T = V + E. Dizemos parte fundamental, porque 0 ‘ra parte do V é constitufda pela contribuigao especifica do item (conti no fator U do modelo fatorial) para o escore empitico T do teste. De lilt a varidncia total de um item ou varidvel pode ser decomposta em variine|l ‘comum, varifincia especifica e varidncia erro, como vimos acima. A variancia comum representa o que as varidveis do teste (i cil comum (expressa pelas intercorrelagdes entre elas) € que € recolhic 1 cargas fatoriais no fator comum F e € esta que constitui a questio da val dade do teste, isto é, quanto do trago latente (fator F) & representa ety piricamente pelas varidveis (itens). O restante da varidncia dos itens recolhida na chamada unicidade (U) de cada item que representa lanl | que € espectfico de cada um deles quanto os erros de medida. Estey dol liltimos aspectos da varidncia (especificidade e erro) sio agrupados sl conceito 86, a saber, a unicidade, porque eles nao contribuem part & val dade do teste, pois é a porgdo do item que ndo constitui representa traco latente. ~ Andlise por hipétese Esta andlise se fundamenta no poder de um teste psicolégico ser w, de discriminar ou predizer um critério externo a ele mesmo; por iplo, discriminar grupos-critério que difiram especificamente no trago © teste mede. Este critério & procurado de vérias formas, havendo tro entre as mais salientes € normalmente utilizadas, a saber, a valida- convergente-discriminante, idade, outros testes do mesmo construto € iperimentay Se ndo houvesse dificuldades com 0 modelo da andlise {ator esta constituiria uma demonstragdo empftica cabal da validade de cil truto de um teste, pois forneceria a expressiio exata de quanto 0 teste el A técnica da validagio convergente-discriminante (Campbell & ria representando © traco latente. Mas, infelizmente, a andlise {utorl 1967) parte do princfpio de que para demonstrar a validade de presenta alguns problemas importantes. Duas razdes so a preocupiy trulo de um teste € preciso determinar duas coisas: (1) 0 teste deve principal neste particular. Primeiramente, 0 modelo fatoriall se funvlarne acionar significativamente com outras varidveis com as quais o em equagdes exclusivamente lineares entre varidiveis © fatores, Hii truto medido pelo teste deveria, pela teoria, estar relacionado (valida- seja rotineiro em matemética tentar, em primeira aproximagio, wn Ponvergente) e, (2) nao se correlacionar com varidveis com as quais ele delo linear, parece dificil se admitir que as intercorrelagdes ¢ ieamente deveria diferir (vatidade discriminante) tre os itens e a relagdo destes com os atores (varidveis-fonte) pow Campbell ¢ Fiske (1967: 125) apresentam 0 exemplo da tabela 6-2, todas reduzidas a equagdes lineares. Isto & tanto mais plausivel, quand observa que em qui¢s nenhum campo s em geral se encontram ais equagdes, Eneontramse, sim, equagoe garitmicas, exponenciais ¢ ou 8, COMO, f Psicologia e cidnelay pricoenl 8 no lin Is, isto 6, equage pot@ncia) © di aniline experi cexemplo, nay leis da psicofivica (leis‘Tabela 6-2, Matsiz sintética de Multitrago-Multimétodo (Campbell & Fiske, 1967) Modo 1 Método 2 Méeodo'3 Crs ain eee eee AL KGa Méodo 1 Bt 89) cr 76) a 4) Método? B Hoo e | 39 aN a3 86SGF Tit SATS! yoo Méodos 85 123° S882} Las Se sgt! ” ce iat tn sas 3d 32s 884 (85) ngull A ilustrago apresenta seis blocos de resultados: tres tr (com linhas inteiras) e trés retdngulos (com triangulos de linhias pont das). As diagonais dos blocos-retingulo representam as correlagde eh as varidveis medidas por diferentes métodos © contém a diagonal dit vl dade (validade convergente): estes valores devem ser altos para mosll validade de construto, Os valores fora destas diagonais nestes movil blocos (0s tridingulos de linha pontithada) representam as correlagde Wl diferentes varidveis medidas por diferentes métodos: estes valores devel ser pequenos para mostrar validade de construto (validade diseriminalg O mesmo deve ocorrer com as correlagdes fora das diagonais: nov blo representa os coeficientes entre ¥ ridveis diferentes medidas pelo mesmo método (nay diagonals enh | iso). No caso espeeifico dos dados da tube, 09 coeficientes de pre sultados nos quadrados satisfazem os eritérios propostos, mas as corre goes fora day diagonais nos tridnguoy silo demasiadamente eleva (i #h, 60 mimero de su © eritério de difere srem os critérios de validade discriminante. H4, ao que parece, ali ito espéirio do instrumento, a saber, o mesmo teste medindo varis- liferentes produz.correlagio entre elas por simples efeito de contiguidade. Este método funciona se os métodos e as varidveis diferem o sufi- (maximamente) entre si A idade & utilizada como eritério para a validago de construto de ste quando este mede tragos que so intrinsecamente dependentes de \gas No desenvolvimento cognitivo/afetivo dos individuos, como & 0 por exemplo, na teoria piagetiana do desenvolvimento dos processos ivos € da teoria de Spearman sobre a inteligéncia. A hipstese a ser neste método é a de que o teste que mede o trago X, o qual muda jente com a idade, € capaz de discriminar distintamente grupos de diferentes. A prova que se faz neste caso € a da diferenga entre a média no de sujeitos mais jovens (T,) € a média de sujeitos mais adultos (T, ), 7) as no teste do grupo jovem e do grupo adulto os nos dois respectivos grupos. Os graus de liberdade para verificar a significdncia do teste de Ni historia dos testes psicolégicos, este procedimento de validagio Ivor 0 primeiro a ser utilizado quando Binet e Simon (1908) utiliza- jugo por idade na selegdo dos itens do seu fa- Iniolig@nela, imbora a preocupagio explicita dos autores ——fosse construir um teste que fosse capaz de predizer 0 desempenho si démico de alunos do primeiro grau, eles se basearam numa hipstese caréter conceitual, isto é, de que as habilidades cognitivas aumentan tematicamente com a idade cronolégica (na infancia) e, para medias, ¢ colheram tarefas especfficas cuja execugdo correta correspondia a eli ‘minada faixa etéria, 6-3. Calculo da correlagao entre teste Ne teste X NX A x mx. sO 4512787 161,29 75,69 110,49 45 300 -7,7 63 59,29 30,69 48,51 30 20-73 -163 53,29 265,69 118,99 25° «30 123-63 151,29 3969 -77,49 1 2 Este método contém um problema, o qual consiste no fato de que: 3 4 5 4B 50 57 13,7 32,49 187,69 78,09 6 1 8 9 ‘maturagdo psicolégica pode assumir dimensdes € conotagdes muito dl timtas em culturas diferentes, por um lado; por outro, outras variaveis ( nio 0 trago em questo podem estar dependentes desta maturaciio cultando ou impossibilitando a definigao dos grupos-critério s fungio da idade. Assim, se outras varidveis variam com a idade, povle I ser que estas sejam as responsdveis pelas mudangas no escore ¢ nid ii de especificamente. Isto no seria grave problema se estas outras vari covariassem sistematicamente com 0 trago latente que o teste quer i e, além disso, variassem do mesmo modo em qualquer contexto cul ou socioeconémico, o que obviamente é dificil de assumir. Dentro de tl mesma cultura, 0 método pode se apresentar como importante p terminagao da validade de construto. 20° 20 17,3 16,3 299,29 265,69 281,99 3836-0703 0490.09 0.21 50 G7 409 arco | ia2e) 350372307 5,29 049161 OA 2 eT 4) 373 368 0 0 864,10 1138.10 776,10 A correlagiio com outros testes que megam 0 mesmo (rage & {W ada como demonstragao da validade de construto. © arguitel € de que, se um teste X mede vatidamente o trago Z.€ 0 novo teste N cortelaciona altamente com o teste X, entdo 0 novo teste mede 0 tN mo trago medido por aquele teste, Veja exemplo na tabela 6-1, oil =N-Nex=X-X. bém ul 773A 10x9,30x 10,67 Esta técnica também contém um problema, o qual consiste no fato je normalmente um teste de um trago qualquer nao se apresenta com o74 W se poder afirmar que ele mede exclusivamente o tal trago. De fle mede o trago em termos de um certo nivel de covariancia: por plo, existe uma correlagio de 0,70 entre o teste X € 0 traco, 0 que ile uma comunalidade de 49% entre os dois. Agora, o novo teste N Jiciona 0,78 (exemplo da Tabela 6-3) com aquele teste X, havendo, Mio, Comuunalidade de 61% entre ox dois testes. Qual sera, neste c munuliscle do Nave Fesle Com o trago em si? Por azar poderi conte= — —cer que a comunalidade de 61% entre os dois testes ocorra pre com os 51% do primeiro teste que ndo covariam com o trago; neste CN) comunalidade do novo teste com o trago seria de apenas 10%, isto 6 novo teste seria uma representacdo quase totalmente equivocada do ti como ilustra a figura 6-3, na faixa duplamente rajada. "Em conclusto, a téenica da validagao de construto via hipétese, que, to de vista da metodologia cientifica, se apresenta como a mais di- Obyia, esbarra na dificuldade que existe na definigao inequivoca do 4 set utilizado como representante da manifestagao do traco. A curva de informagao da TRI A TRI trabalha a validade dos testes através de poderosos métodos jos as fungdes de informagao e de eficiéncia. (Critério C = Fungio de informagao do teste A informagao fornecida pelo teste é simplesmente a soma das in- Ges fornecidas por cada item do mesmo’, ou seja, tio 68) aoe 1(@) 6 a informagao do item, que no capitulo 5 vimos ser ela expres- OF 1,6) POA Figura 6-3. Covarincia entre critério e dois testes A figura 6-4 ilustra como a fungdo de infor- ; , dos itens constitui a fungio de informagao de todo o teste. uso da intervencdo experimental aparece como logic uma das melhores técnicas para se decidir a validade de construto de teste, Esta técnica consiste em verificar se 0 teste discrimina clara grupos-critério “produzidos” experimentalmente em termos «lo tray | Jeto de medida do teste. Assim, um teste que mede ansiedade teri Vi dade de construto (ansiedade) se discriminasse grupo nao ansiowo de i po ansioso, definidos estes grupos em termos de manipulagdes experi tais: 0 ansioso, por exemplo, criado assim através de experieneiay pi cadoras de ansiedade. Na medida em que se puder garantir que 1s 1 pulagdes feitas nos grupos-critério atingirem exclusivamente 0 tray questio, a testagem da hipétese é valida. Como, normalmente, estas Ii pulagdes supostamente de uma varidvel de fato pode afetar uma séie ‘outras varidveis, sobretudo se as variaveis interagirem, fica confunt so sobre em que especificamente ox grupos-critério diferem ©, 60 quentemente, fica inconclusiva a decisio sobre a hipdtese de que 0 | discrimina os grupos-critério exclusivamente em) Formos do trayo que pretende medir, Podendo-se garantir que no OeOFF® Lal alastramenty inanipulagdes,« hipdtese fica corretamente Coleen OOO Aptidio (0) es de informagio de 7 itens (curvas pontithadas)e do teste Higura 6-4, Fu A curva de informagio do teste mostra para que faixa de niveis de # tonte é particula mente valido e para que faixas ele nao o &. Veja na hl ny Mefigura 6-5 que maximo de informagio do teste (teste nao verbal de fl ciocfnio para eriangas, com 60 itens) € de 11,22 na escala express denada e que 0 valor médio de informagio é 7,48. 12,0 Figura 6-5, Curva de informagio de um teste de raciootnio infntil " Tomando este valor de 7.48 como a informagio que o teste é capaz \duzir sobre o raciocinio infantil, verificamos que o teste é muito (& irmente) viilido para criangas com aptidao entre -1,0 e +2,0 sigmas na abcissa marcados com setas), isto é, para criangas que, em r io, se situam entre 0 percentil 26 e percentil 97, sendo menos vélido ‘criangas abaixo do percentil 26 ou acima do percentil 97. Entdo, voce a curva de informagio do teste especifica para que faixa de teta ele ialmente vélido. Ela também mostra que o teste € maximamente para criangas com aptidio de raciocinio em torno de 0,5 sigmas, |, criangas que se situam no percentil 69 desta habilidade. Outra maneira de representar esta fungo de informagao do teste € do erro padrao de medida, chamado na TRI de erro padrio de es- jo. A 1(@), na verdade, € 0 inverso deste erro: 1 1) EPE(0) = erro padrio de estimagio. (69) Similarmente ao erro padrdo de medida da teoria psicométrica , 0 EPE permite estabelecer intervalos de confianga em tomo dos 8,0 dos sujeitos. 4 Exemplo: Um teste de 50 itens aplicado a 100 sujeitos deu 1(6) Para nivel de confianga de 95%, qual o intervalo em que cai 08? Respos 1) para 95%, 2= 41- 1,96 2) erro maximo = zern(0) Vi@) 4) assim, o intervalo para @ serd 3 +/--0,98, isto & 2,02 a 3,98. © Ponderagiio dos itens Para maximizar, ou seja, dar maior importineia a itens que trazem Anformagio para a estimagio da habilidade dos sujeitos, Birnbaum ) © Lord (19H0) weonsetham dar pesos diferentes a essew itens, ati ilise fatorial. Nem por isso se justifica 0 simples abandono das mes- Primeiramente, porque em ciéncia empfrica nada existe de perfeito € to de erro e, em segundo lugar, a consciéncia destas dificuldades deve buindo-Ihes uma ponderagdo w. Neste caso, a fungo de informagao dy teste passaria a ser a seguinte: wPor jr para melhorar ¢ nao abandonar as técnicas. Alids, é recomendavel 0 1,@)==}—_—_ (6.10) dle mais de uma das técnicas acima analisadas para demonstrar a vali- Zw, P,(6)Q, (8) de construto do teste, dado que a convergéncia de resultados das vi “ técnicas constitui garantia para a validade do instrumento. Este w € uma constante k escolhida por voc® para ponderar ite ela age diferentemente nos diferentes modelos da TRI; veja como eli lif YValidade de critério no modelo de Concebe-se como validade de critério de um teste o grau de ia que cle tem em predizer um desempenho especffico de um ito. O desempenho do sujeito torna-se, assim, o critério contra o qual a la obtida pelo teste & avaliada. Evidentemente, 0 desempenho do ito deve ser medido/avaliado através de técnicas que so independen- P,(0XI-c,) proprio teste que se quer validar. L-parametro: wi =k 2-pardimetros: w)= ka; ka,P,(0) 3-parmetros: Ww; = Isto quer dizer que os itens, no modelo de 1-parametro (onde Costuma-se distinguir dois tipos de validade de critério: (1) val avalia apenas 0 pardmetro de dificuldade b do item), sao todos ponder preditiva e (2) validade concorrente. A diferenga fundamental entre da mesma forma, enquanto nos outros modelos eles so ponder | By tipos € basicamente uma questi do tempo que ocorre entre a co- vando em conta os outros pardimetros do item (a ¢ c). informagao pelo teste a ser Validado e a coleta da informagao sobre 0.43 Puncio da eficiénia selaiva rio, Se estas coletas forem (mais ou menos) simultineas, a validagio do tipo concorrente; caso os dados sobre 0 critério sejam coletados t.coleta da informacdo sobre o teste, fala-se em validade preditiva. O We i informagao ser obtida simultaneamente ou posteriormente & do 0 Leste no & um fator tecnicamente relevante a validade do teste. ante, sim, & a determinagdo de um critério valido. Aqui se situa pre- ne a natureza central deste tipo de validagdo dos testes, a saber: (1) Ir um critério adequado e (2) medir, valida e independentemente do o teste, este critério. A 1G) permite comparar a relativa eficiéncia de um teste com lacdo a outro em sua capacidade de estimar a aptidio @, Veja a formuli Onde Quanto a adequagio dos critérios, pode-se afirmar que hé uma sé- ER(@) = eficiéncia relativa ‘ los que siio normalmente utilizados, quais sejam: 1)(8) c 1,(0) = fungdes de informagao do teste | ¢ teste 2 4 1) Desempenho académico. Talvez seja ou foi o critério mais utili Exemplo: Se 11(6) = 30 ¢ 10) = 15, entio ER(O) = 30/15 & MM validagiio de testes de intetigencia. Consiste na obtengiio do nivel teste 1 & duas vezes mais eficente que o teste 2 para stint 0, ist 6,0 U0 Meas escolar don alunce, soja através das noras fades pelos deria ser reduzido pela metade ou o teste 2 auumentado 100% alunos, seja através das Poder se edzio ola mead 0 0 i 190 py ft pola médicale geal do ane sje pels Ronis 2 ews que © wluno recebeu, ou seja, mesmo, pela avaliagio pura- , f i Pe eo pi Conctuindo: Deve-se, na verde, concluir que tas estas 60 Auhjotiva dos alunos em termos de “inteligente™ por parte dos pro- dle validagtio apresentam dificuldacles, om particular ws Weniou di TE5) Diagndstico subjetivo. Avaliagbes feitas por colegas e amigos servir de base para estabelecer grupos-critério. E utilizada esta téc- ‘tudo em testes de personalidade, onde € dificil encontrar avalia- ‘mais objetivas. Assim, os sujeitos avaliam seus colegas em categorias escores em tragos de personalidade (agressividade, cooperacio, bascados na convivencia que eles tm com os colegas. Nem precisa jionar as dificuldades enormes que tais avaliagdes apresentam em de objetividade; contudo, a utilizagao de um grande nimero de jui- joer diminuir os vieses subjetivos nestas avaliages. fessores ou colegas. Embora seja amplamente utilizado, este critério ( igualmente sido muito criticado, nfo em si mesmo, mas pela deficiénc que ocorre na sua avaliagio. E sobejamente sabida a tendenciosidade pi parte dos professores em atribuir as notas aos alunos, tendenciosidade sempre consciente, mas decorrente de suas atitudes e simpatias em rel este ou aquele aluno. Esta dificuldade poderia ser sanada até com cet facilidade, se os professores tivessem 0 costume de aplicar testes de 10 dimento que possuissem validade de contetido, por exemplo. Como cil tarefa € dispendiosa, 0 professor tipicamente nao se dé ao trabalho de ¥ lidar (validade de contetido) suas provas académicas. 6) Outros testes disponiveis. Os resultados obtidos através de outro Yilido, que prediga o mesmo desempenho que o teste a ser validado, de critério para determinar a validade do novo teste, Aqui fica a per- bvia: para que criar outro teste se jé existe um que mede validamente Se quer medir? A resposta se baseia numa questio de economia, isto é lum teste que demanda muito tempo para ser respondido ou apurado critério para validar um teste que gaste menos tempo. Neste contexto, é também utilizado como critério de desempeil académico 0 nivel escolar do sujeito: sujeitos mais avangados, repetenl e evadidos. A suposigzio sendo de que quem continua regularmente out ol avangado academicamente em relagdo & sua idade possui mais habilida Evidentemente, nesta histéria ndo entra somente a questo da habilidid ‘mas muitos outros fatores sociais, de personalidade, ete., tornando 0 critério bastante ambiguo e esptrio. No caso deste tipo de validade, ¢ preciso atender a duas situagdes ie distintas. Primeiramente, quando existem testes comprovada- Validados para a medida de algum trago, eles certamente constituem itério contra o qual se pode com seguranga validar um novo teste, jamente esta situac2o ocorre quase exclusivamente no caso da medida leligéncia, onde dispomos de alguns testes cuja validade jé tem sido Wada repetidas vezes, como € 0 caso das escalas de Wechsler de Stanford-Binet (Terman & Merrill, 1960) ¢ quigd os dois fato- inteligéncia fluida e cristalizada de Cattell (1971) e 0 fator G de win (1927). Deve-se atender, contudo, que estes testes so vélidos jnle no original, porque as versdes em portugués ainda nao demons- suficientemente tal vatidade. Nos outros campos reina muita confu- ‘Talver em personalidade ja existam alguns instrumentos vélidos, ) por exemplo, o Questiondrio de Personalidade de Eysenck (Eysenck ality Questionnaire ~ EPQ, Eysenck & Eysenck, 1975), no que ele He Is varidveis extroversio e neuroticismo ou ansiedade. O que vale 0 principio de que se houver um teste comprovadamente vilido # medida de algum trago latente, ele certamente pode servir de crité- i Validaglo de um novo teste, Espera-se neste caso que a correla- NOVO teste neji elevada, de pelo menos 0,75. 2) Desempenko em treinamento especializado. Trata-se do devel penho obtido em cursos de treinamento em situagdes espectficas, com caso de miisicos, pilotos, atividades mecdnicas ou eletrdnicas especiall das, etc, No final deste treinamento hé tipicamente uma avaliac: produz, dados titeis para servirem de critério de desempenho do observagbes criticas feitas a0 ponto 1) valem também neste parsigral. 3) Desempenho profissional. Trata-se, neste caso, de compat resultados do teste com o sticesso/fracasso ou 0 nivel de quallidade do cesso dos sujeitos na propria situago de trabalho. Assim, um teste dl I bilidade mecénica pode ser testado contra a qualidade de desempenhi) Ii cdnico dos sujeitos na oficina de trabalho. Evidentemente continu i culdade de levantar adequadamente a qualidade deste desempe' sujeitos em servigo. 4) Diagndstico psiquidtrico. Muito utilizado para validar testes personalidade/psiquidtricos. Os grupos-critério slo aqui fo mos da avaliagao psiquidtrica que estubeleee spor elfnieos: norr neuréticos, psicopatas vs. depressivos, ete, Navaniente, a difieuldade eo rua sendo a aclequagiio das avallagdos poiquidiiens fellas pelos palquiattis midox erty CC OOEntretanto, quando ndo existem testes aceitos como definitivan te validados para avaliar algum trago latente, a utilizacdo desta valida concorrente € extremamente precéria. Esta situago infelizmente é a mil comum. De fato, nés temos testes para medir praticamente nao import qué, como atestam os Buro’s Mental Measurement Yearbooks, qu \ publicados periodicamente com centenas ¢ milhares de testes psicoliie existentes no mercado, Neste caso, pode-se utilizar estes testes como cil rios de validacio, mas o riseo € demasiadamente grande, porque s¢ © utilizando como critério testes cuja validade € pelo menos duvidosa. Pode-se concluir que a validade concomente s6 faz sentido se eis rem testes comprovadamente vélidos que possam servir de critério conti qual se quer validar um novo teste e que este novo teste tenha alguns tagens sobre o antigo (como, por exemplo, economia de tempo etc.) Conclusdo geral: Uma pergunta frustrante fica ao final desta ey sigdo sobre validade de critério. Se o pesquisador empregou toda 4 i habilidade para construir um teste sob as condigdes de maior controle ji sivel, por que iria ele validar esta tarefa-teste contra medidas inlerio representadas pela medida dos varios critérios aqui apresentados. Jy fica-se validar medidas supostamente superiores por medi pergunta Ebel (1961)? Com as criticas de Thurstone (1952) e sobretudo de Cronbiill Meehl (1955), a validade de critério deixou de ser a técnica panacéli validagao dos testes psicolégicos em favor da validade de construlo, Cf tudo, estes critérios podem ser considerados bons e titeis para fins de ¥ dagio de critério, A grande dificuldade em quase todos eles se siti demonstragio da adequagio da medida deles; isto 6, em gera dos mesmos é precéria, deixando, por isso, muita divid cesso de validacdo do teste. Entretanto, ha exemplos famosos de W validados através deste método, como € 0 caso do MMPI 4—Validade de contetido’ ‘Um teste tem validade de contetido se ele constitul uns anwost 1 sentativa de um universo finito de comportamentos (dominio). 1 upli 7. Bate tema ¢ amplamente tstado no listo oxpanizado por eae Mul, Mtrumenin ‘cox: Manual Pratiew de Blaborag, Cap. 7. Arata, DE LAMP AMMABARE, 1990 i. jo se pode delimitar a priori e com clareza um universo de comporta- 8, como é 0 caso em testes de desempenho, que pretendem cobrir um \ido delimitado por um curso programitico especifico. Para viabilizar um teste com validade de contetido, é preciso que igam as especificagdes do teste antes da constructo dos itens. Estas cificagdes comportam a definigao de trés grandes temas: (1) definigdo jontetido, (2) explicitagdo dos processos psicoldgicos (0s objetivos) a avaliados e (3) determinacao da proporgdo relativa de representagio ste de cada tépico do contetido. Quanto ao contetido, trata-se de detalhé-lo em termos de tépicos ides) € subt6picos ¢ de explicitar a importancia relativa de cada t6pi- ntro do teste. Tais procedimentos evitam a super-representagio inde- de alguns t6picos e sub-representagdio de outros por vieses e pendores is do avaliador. Claro que sera sempre 0 avaliador ou equipe de res que vai definir este contetido e a relativa importincia de suas 4 mas esta definigdo deve ser tomada antes da construgio dos itens, indo certa objetividade, pelo menos, nas decisbes. Quanto aos objetivos, um teste nao deve ser elaborado para avaliar sivamente um processo. Como na aprendizagem entram em aco vé- cessos psicolégicos, hé interesse que todos, ou aqueles que se quer ejam avaliados por um teste de contetido, sejam representados no Por exemplo, o teste deverd conter itens que avaliam a meméria (re~ wit), compreensao (conceituar, definir), a capacidade de compara- Jacionar) e de aplicagao dos prinefpios aprendidos (solucionar pro- .transferéncia da aprendizagem).. A validade de contetido de um teste & praticamente garantida pela wi de construgiio do mesmo. Assim, € importante esbogar esta técni- ‘comporta os seguintes passos: I~ Definig Definir os objetivos ou os processos psicolégicos que se quer favaliar, Para esta tarefa é itil se inspirar em alguma taxonomia ‘eldssica de objetivos educacionais, como, por exemplo, a taxo- omia de Bloom (1956) ou outra, Com base em tal taxonomia, dofinir oy objetivos gerais ¢ espectficos que se deseja medir no sto, tain Como 0 do dominio cognitivo:et od de discriminagdo dos itens. A técnica da teoria da resposta a0 —compreender tais e tais t6picos item (TRI pode ser de grande valia nesta etapa. ~aplicar tais e is tpicos Para facilitar a especificagaio do teste, pode-se utilizar uma tabela lupla entrada, com o detalhamento dos objetivos (processos) 2 esquer- © detalhamento dos t6picos no topo, explicitando, no corpo da tabela, ero de itens, conforme tabela 6-4. —analisar tais¢ tais t6picos. 2.—DefinigHo do universo de contetido Como o teste vai constituir uma amostra representativa do conti) do, € preciso definir ¢ delimitar 0 universo do contetido provi matico em termos de divisies € subdivisdes (t6picos © sub t6picos) ou quantas outras subclassificagdes forem necessiris sa 6-4, Tabela de especificagio de teste de desempenho ro de itens no corpo) Isto implica em delimitar 0 contetido em suas unidades © sul Tipicos 7 7 3 unidades de ensino, ol 3 —Definigo da representatividade de contetido Pome} 0 0 | so | 0 2 |» Definir a proporgio com que cada t6pico e subtépico devem ‘onhecer 2 2/3 a 2][3 2] representados no teste, decidindo, assim, a importéncia cor qu | copernics | - = 1 | rfaooads cada um deles aparece no contetido total do universo. ea toa da A Allo 4 — Blaboragdo da tabela de especificagao, na qual serio relacld analisa L 11 af. ifs nados 0s contetidos com os processos cognitivos a avaliar, bi ee ea el como a importancia relativa a ser dada a cada unidade, conte me tabela 6-4. A tabela 6-4 explicita que 3 t6picos cobrem contetido total do ima a ser medido (contetido programético), tendo cada qual dois ou subt6picos, cada um com diferentes niveis de representatividade (pro- ies). Os mt representam 0 ntimero de itens por tépico e por processo itivo avaliado, estando no corpo da tabela o niimero de itens que re- tam cada combinagao t6pico e proceso. 5 ~Construgio do teste Elaborar os itens que irdo representar o teste, seguindo as (cil cas de construgio de itens (Mager, 1981; Pasquali, 1995, 1999), 6 — Andlise te6rica dos itens Esta andlise visa verificar a compreensiio das tarefas propos no teste por parte dos testandos (andlise semantica) e a avallig da pertinéncia do item a tal ou tal unidade e avaliando tal ov | proceso cognitivo (anélise de jufzes), 7 — Andlise empfrica dos itens o do teste, os dados podem ser utilizados jo empirica do mesmo para uso futuro, Esta ai ente na determinagio dos nivels de dificuldade