Captulo 3 Assessment Centers

3.1. A origem e a proliferao do mtodo de Assessment Center

Tal como os testes psicolgicos, o desenvolvimento dos assessment centers est intimamente ligado Seleco em mbito militar (Zaal, 1998). Estes mtodos assumem, geralmente, a forma de um exerccio de grupo centrado num problema real ou imaginrio e foram desenvolvidos pelo Exrcito Alemo antes da II Guerra Mundial, para a Seleco de lderes do seu Exrcito (Plumbley, 1995). Durante a II Guerra Mundial, os exrcitos aliados procederam ao estudo dos mtodos de Seleco usados pelos militares alemes, nomeadamente, atravs da figura de Sir Andrew Thorne (Waldron & Joines, 1994). Estas observaes, juntamente com o grande impulso dado em 1933 por Simoneit (Anbal, Cordeiro, Correia, & Lemos, 1968), no sentido da determinao das aptides para comando, constituram a base das Provas de Grupo utilizadas pelos departamentos responsveis pela Seleco e Formao dos quadros dirigentes das Foras Armadas Britnica e Americana, respectivamente, War Office Selection Boards (WOSB) e Office of Strategic Services (OSS), criados em 1942. No Reino Unido, o War Office Selection Boards (WOSB) veio substituir um sistema ineficaz de Seleco de oficiais, baseado em entrevistas, que usava como critrio de Seleco o historial social e educacional. Este novo sistema teve tanto sucesso, que uma variao do mesmo continua a ser usado nos dias de hoje, para a Seleco de oficiais nas Foras Armadas (Healy, 2003). Entretanto, nos EUA, o Office of Strategic Services (OSS) usou inicialmente os assessment centers para a Seleco de espies durante a II Guerra Mundial, mas expandiu rapidamente o mtodo a mais de 7000 candidatos, tendo publicado em 1948 Assessment of Men, onde se evidenciava, para alm de sugestes de melhoramento das provas, alguma evidncia de validade. de salientar ainda, que este mtodo se expandiu com pequenas modificaes s Foras Armadas Australianas e Canadianas (Waldron & Joines, 1994). A primeira aplicao deste mtodo em mbito civil remonta ao ano de 1945, quando foi utilizado pela British Civil Service Comission, (CSC), como provas de qualificao para lugares de administrao pblica. Nos EUA, a utilizao em mbito civil teve um enorme impulso com o estudo longitudinal de desenvolvimento de gestores, realizado em 1956, pela American Telephone and Telegraph Company (AT&T). Neste pas, a primeira aplicao em meio industrial foi realizada atravs do

65

Captulo 3 Assessment Centers

Michigan Bell Personnel Assessment Program, em 1958, cujo modelo se expandiu rapidamente a todo o sistema Bell. Nos anos 60, a utilizao do mtodo de assessment center foi-se expandindo a um ritmo lento, tendo sido adoptado, especialmente, por grandes organizaes, entre as quais, IBM, Sears, Standard Oil (Ohio), General Electric e J.C. Penney. Nos anos 70, aconteceu o grande boom em termos de utilizao dos assessment centers. Nesta dcada, estabeleceram-se empresas especialistas neste mtodo, por exemplo, a Development Dimensions International (DDI), realizou-se o primeiro congresso internacional de assessment centers (1973) e em 1975, foram publicadas as primeiras Directrizes e Consideraes ticas para Operaes de Assessment Centers. No final da dcada, mais de 1000 organizaes usavam este mtodo, tendo a variante americana do mesmo tido uma grande expanso internacional (Waldron & Joines, 1994). No Reino Unido, este mtodo tambm se expandiu em larga escala. Robertson e Makin (1986, citados por Healy, 2003) reportaram que um pouco mais de um quarto das organizaes com 500 ou mais trabalhadores usavam assessment centers, enquanto Mabey (1989, citado por Healy, 2003) reportou que mais de um tero das organizaes com mais de 1000 trabalhadores usavam este mtodo. Assim, nos ltimos vinte anos, o mtodo de assessment center tem sido bastante utilizado no Reino Unido e, especialmente, nos EUA e Canad. Segundo Correia (2005), a maior parte da literatura sobre este mtodo foi publicada nos EUA, tendo vindo a aumentar progressivamente na Europa, nomeadamente, na Alemanha e Holanda. Neste ltimo pas, a utilizao deste mtodo aumentou de, aproximadamente 8% nos anos 80, para 28% em 1992 (Zaal, 1998). No que se refere a Portugal, este mtodo tem sido pouco utilizado em mbito civil (Correia, 2005), embora lhe seja reconhecida uma grande importncia em termos de processos de Seleco (Brtolo Ribeiro, 2000). Contudo, no meio militar, nomeadamente, ao nvel do Exrcito Portugus, a sua utilizao em processos de Seleco tem sido frequente e j remonta aos anos 60 do sculo passado. Neste contexto, a importncia deste mtodo foi reconhecida, especialmente no que diz respeito aos exerccios de grupo que incorpora, de tal modo que nos finais dos anos 60, Anbal et al. (1968, p. 50) referiram-se aos mesmos do seguinte modo: As Provas de Grupo, hoje inquestionavelmente consideradas como um processo correcto, sob o ponto de vista da tcnica psicolgica, de apreciao de grupos humanos em tarefa, propiciam-nos, tambm, um excelente conhecimento dos indivduos que integram esses grupos,

66

Captulo 3 Assessment Centers

revelando-se a sua utilizao da mxima utilidade. Hoje em dia, este mtodo no exclusivo do Exrcito Portugus, visto que a Fora Area Portuguesa recorreu recentemente sua utilizao, para a Seleco de candidatos ao curso de Piloto do Regime de Contrato (Rocha, Fonseca, Jamal, & Antunes, 2006).

3.2. O conceito de Assessment Center (Centro de Avaliao)

Aps esta breve introduo origem e proliferao do mtodo de assessment center, urge apresentar uma definio do seu conceito. Devido ao grande nmero de definies que se podem encontrar na literatura torna-se difcil seleccionar apenas uma, pelo que se decidiu apresentar trs, que pretendem resumir na globalidade as vrias particularidades do conceito. A primeira definio -nos fornecida por Sackett e Tuzinski (2001). Segundo estes autores, um assessment center uma tcnica avaliativa na qual o comportamento de um grupo de candidatos observado e avaliado em mltiplas dimenses, por vrios avaliadores treinados, enquanto participam em vrios exerccios desenhados para providenciarem a demonstrao de comportamentos relevantes para o trabalho. A segunda definio provm de Waldron e Joines (1994). Estes autores, baseados nas Directrizes e Consideraes ticas para Operaes de Assessment Centers de 1989, referem que este mtodo consiste numa avaliao estandardizada do comportamento baseada em mltiplos inputs, que recorre a vrios avaliadores treinados e diversas tcnicas. Os juzos acerca dos comportamentos observados so feitos, na maioria, atravs de simulaes de avaliao especialmente desenvolvidas, e so integrados pelos avaliadores numa reunio ou por um processo estatstico. Por ltimo, Ceitil (2006) refere que um assessment center uma metodologia de avaliao das competncias identificadas como essenciais para o desempenho da funo, durante o qual, um grupo de participantes realiza um conjunto de provas, sendo observados por uma equipa de tcnicos. Este conjunto variado de provas tem de ser consonante com o directrio de competncias a avaliar, e pode incluir entrevistas de avaliao de competncias, provas psicomtricas/inventrios e provas situacionais. Como se pode observar pelo encadeamento das descries acima apresentadas, um assessment center parece poder ser definido, quer de uma maneira mais restrita,

67

Captulo 3 Assessment Centers

remetendo apenas para um conjunto de exerccios de grupo observados por diversos observadores, quer de uma maneira mais alargada, que no s abarca este tipo de exerccios prticos de simulao, mas engloba outro tipo de provas como testes ou entrevistas (Healy, 2003). Dentro desta perspectiva mais alargada, Bethell-Fox (1994, p. 79) refere que os exerccios juntam-se frequentemente s entrevistas e aos testes nos processos de avaliao designados por centros de avaliao (ou assessment centers). Apesar desta indefinio em termos de tcnicas envolvidas, trs caractersticas parecem ser comuns a todos os assessment centers (Beaubien, Baker, & Salvaggio, 2004, citados por Rocha et al., 2006): utilizao de vrios exerccios com o intuito de proporcionar aos participantes diferentes situaes para demonstrarem as suas competncias; vrios observadores treinados registam os comportamentos relevantes dos participantes; atribuio de uma classificao final a cada participante, baseada na discusso entre os vrios observadores. Esta classificao final designada comummente por Overall Assessment Rating (OAR), o que poder ser traduzido como Escalonamento de Avaliao Global (EAG), e reflecte o desempenho global ao longo dos vrios exerccios. No Exrcito Portugus, tal como recomenda Zaal (1998), a maioria dos processos de Seleco engloba uma grande variedade de provas (testes psicolgicos, entrevistas e exerccios de grupo), para melhoria substancial na qualidade das decises a serem tomadas. Este aspecto parece pressupor, numa primeira anlise, que seja mais indicado ao nvel do Exrcito Portugus adoptar-se a definio de assessment center, que remete para a definio mais alargada deste conceito. Contudo, para efeitos do presente estudo no contexto especfico do processo de Seleco de candidatos para a Academia Militar, considerou-se mais adequado adoptar a definio mais restrita do conceito, ou seja, a que remete apenas para um conjunto de exerccios de simulao em grupo, observados por um conjunto de avaliadores. A razo para esta escolha teve por base um conjunto de consideraes que a seguir se indicam. Em primeiro lugar, as trs caractersticas comuns a todos os assessment centers (Beaubien, Baker, & Salvaggio, 2004, citados por Rocha et al., 2006), apenas remetem para exerccios que possibilitem a manifestao de competncias, exerccios esses sob avaliao por parte de vrios observadores. Assim, neste contexto, no parece fazer sentido incluir os testes aplicados, que so de cariz individual e as entrevistas, que para alm de tambm serem individuais, so clssicas (semi-estruturadas) e no de avaliao de competncias (estruturadas). Por outro lado, esta escolha parece tambm ter suporte no facto da Fora

68

Captulo 3 Assessment Centers

Area Portuguesa considerar que o seu assessment center envolve apenas provas prticas (Rocha et al., 2006). Por ltimo, a adopo da definio mais restrita de assessment center, permite que se possa aplicar toda a metodologia inerente a este mtodo no processo de actualizao e validao das Provas de Grupo aplicadas no processo de Seleco para a Academia Militar, o que constitui o objectivo do presente estudo. Quanto ao suporte terico subjacente a este mtodo poderemos afirmar, de uma forma sucinta, que o mesmo reside no facto de que se queremos prever o desempenho futuro numa funo, ento a melhor forma de o conseguir levar os candidatos a realizarem um conjunto de tarefas, que simulam com preciso aquelas que sero necessrias desenvolver nessa mesma futura funo (Healy, 2003). Zaal (1998) refora esta opinio, referindo que as tarefas (ou exerccios) so especialmente desenvolvidas para revelarem comportamentos que so essenciais para um desempenho de sucesso na funo. Segundo este autor, os exerccios permitem, aos observadores ver com os seus prprios olhos, qual o desempenho dos candidatos nas reas cruciais, e aos candidatos uma boa oportunidade de demonstrarem realmente, e no por palavras, o que so capazes de fazer. Sackett e Tuzinski (2001) referem, ainda, que os assessment centers so organizados em torno de um conjunto de dimenses, tais como, liderana, organizar e planear, tomada de deciso, recorrendo-se a exerccios para observar e registar comportamentos relevantes das mesmas. Por ltimo, devido importncia que o suporte terico assume na construo de qualquer instrumento, o mesmo ser analisado com maior detalhe no ponto 3.5, quando se abordar a validade de construto deste mtodo.

3.3. As principais razes da utilizao dos Assessment Centers

Segundo Sackett e Tuzinski (2001), os motivos para a utilizao do mtodo de assessment center so mltiplos, nomeadamente, poder operar em qualquer lugar e poder ser modificado, quer na construo, quer na durao (normalmente, entre meio dia a trs dias), para servir os objectivos de qualquer organizao. Neste sentido, pode ser usado para inmeros fins, entre os quais, Seleco ou Promoo, Identificao de potencial de Gesto, Desenvolvimento de colaboradores, ou Diagnstico de necessidades de Formao. Assim, de acordo com estes autores, este mtodo

69

Captulo 3 Assessment Centers

caracterizado pela diversidade, o que tem levado os investigadores a concordar que no existe um assessment center tpico (Gaugler, Rosenthal, Thornton, & Bentson, 1987; Spychalski, Quinones, Gaugler, & Pohley, 1997; Thornton, 1992; citados por Sackett & Tuzinski, 2001). Apesar desta diversidade, uma caracterstica comum a todos os assessment centers que num conjunto de exerccios, vrios avaliadores observam e medem comportamentos relevantes para o desempenho (Beaubien, Baker, & Salvaggio, 2004, citados por Rocha et al., 2006; Sackett & Tuzinski, 2001). Este aspecto representa uma importante demarcao em relao a outros procedimentos mais tradicionais de Seleco, que assentam na inferncia de caractersticas pessoais, atravs de juzos subjectivos por parte dos avaliadores (Healy, 2003). Assim, segundo Ceitil (2006, p. 187), distintivo, nesta metodologia o facto da avaliao se fundamentar em comportamentos observveis em que os avaliadores possuem, evidncias que suportam a sua avaliao. De facto, este mtodo desenvolveu-se para satisfazer a necessidade de avaliar as caractersticas pessoais, que nem a entrevista nem as provas de inteligncia so capazes de fazer, nomeadamente, a capacidade de um indivduo influenciar e liderar outras pessoas e/ou ter ideias novas em situaes da vida real (Plumbley, 1995). Brtolo Ribeiro (2000, p.103) refere que os assessment centers aparecem sempre relacionados com a avaliao de caractersticas exigidas a pessoas com responsabilidades hierrquicas/funcionais, pelo que so considerados por muitos, o Rolls-Royce (caro e fivel) da seleco de quadros. Ainda, segundo Zaal (1998), enquanto a fora dos testes reside na medida de traos bsicos da personalidade e na possibilidade de com estes generalizar e fazer predies para vrios fins, a vantagem dos assessment centers reside na possibilidade de medida de capacidades especficas de liderana. Quanto razo da utilizao deste mtodo no Exrcito Portugus, a mesma tem por base os vrios aspectos apresentados no pargrafo anterior. Anbal et al. (1968) referem que, por vezes, os testes psicolgicos e a entrevista no so suficientes para garantir uma Seleco rigorosa, designadamente, nos casos de passagem do Curso de Sargento Miliciano (CSM) para o Curso de Oficial Miliciano (COM) e escolha de instruendos para a especialidade de Operaes Especiais. Estes autores salientam, que nos casos anteriores, recorre-se a um outro tipo de provas, designadas de Provas de Grupo (ou de Situao), que permitem avaliar em cada indivduo a capacidade prtica de interveno em grupo, a aptido de comando e o nvel cultural.

70

Captulo 3 Assessment Centers

Para alm dos aspectos referidos at este momento, um outro importante argumento que apoia a utilizao dos assessment centers, reside na assuno de que o valor qualitativo de qualquer mtodo de Seleco funo da sua capacidade de predizer com preciso o desempenho futuro (Caldwell, Thornton III, & Gruys, 2003). Implcito nesta assuno est conceito de validade de critrio ou, mais especificamente, o conceito de validade preditiva. Embora este ltimo conceito j tenha sido abordado no Captulo 1 desta dissertao (p. 23), devido sua importncia, entende-se que uma nova referncia adequada. Assim, a validade de critrio um conceito determinado pelo grau em que um instrumento demonstra ser eficaz na estimativa de desempenho de um examinado numa determinada medida, qual se chama critrio. Quando o critrio obtido aproximadamente ao mesmo tempo que os resultados do instrumento estamos perante validade concorrente. Quando o critrio obtido bastante tempo depois dos resultados do instrumento, referimo-nos validade preditiva. Em ambos os casos, a ligao instrumento-critrio calculada, em regra, por um coeficiente de correlao (Gregory, 2001). Nos ltimos anos, a investigao tem reunido argumentos preciosos que confirmam a validade preditiva dos assessment centers para os vrios trabalhos e contextos, para critrios distintos, bem como ao longo do tempo. Um conjunto de estudos estende a validade preditiva do Escalonamento de Avaliao Global (EAG), enquanto outro conjunto de estudos confirma a evidncia de validade para as cotaes das dimenses em si mesmas (Lievens & Thornton III, 2005). No que diz respeito ao trabalho, vrios estudos (Damitz, Manzey, Kleinmann, & Severin, 2003; Dayan, Kasten, & Fox, 2002; Bartels, Bommer, & Rubin, 2000; citados por Lievens & Thornton III, 2005) confirmaram a validade preditiva do EAG na Seleco de, respectivamente, pilotos, policias e estudantes. Ainda, segundo Sackett e Tuzinski (2001), a validade preditiva do EAG quanto ao futuro sucesso em funes de gesto tem sido demonstrada em vrios contextos, para variados critrios, tais como, progresso salarial, incremento na responsabilidade, vendas e formao de oficiais (militares). Gaugler et al. (1987, citados por Sackett & Tuzinski, 2001) no seu estudo de meta-anlise de estudos de cinquenta assessment centers, verificaram para quatro categorias de critrio (avaliao do desempenho, potencial, desempenho na formao e progresso na carreira), que em 90% dos assessment centers o EAG produz coeficientes de validade preditiva corrigida acima de .15. Os mesmos autores afirmaram, ainda, que de acordo com o seu estudo, a validade preditiva corrigida do

71

Captulo 3 Assessment Centers

EAG de .37 (DP=.13) Na sequncia, Arthur, Day, McNelly e Edens (2003) no seu recente estudo de meta-anlise encontraram uma validade preditiva corrigida para o EAG de .36 (DP=.10) e validades preditivas corrigidas para as dimenses entre .25 (DP=.09) e .39 (DP=.14). Segundo os autores estes resultados sugerem que a validade preditiva pode estar a ser subestimada pela prtica comum de combinar cotaes em dimenses separadas num nico EAG e que h dimenses com maior carcter preditivo que outras. Assim, as dimenses Resoluo de problemas, Influenciar os outros, Organizar e planear e Comunicao foram as que apresentaram maior valor preditivo, respectivamente, .39, .38, .37 e .33, ao passo que as dimenses Orientao para e Considerao/Sensibilidade para com os outros foram as que apresentaram menor valor preditivo, respectivamente, .31 e .25. Estes autores encontraram, ainda, atravs de uma anlise de regresso mltipla das dimenses, uma explicao da varincia no desempenho de .20, o que superior de .14 encontrada por Gaugler et al. (1987, citados por Arthur et al., 2003) tendo por base o EAG. Outro aspecto importante que os estudos que usam o critrio de promoo apresentam maiores validades preditivas do que os que usam o critrio de desempenho (.40 versus .25), embora ambas sejam relevantes (Gaugler et al., 1987, citados por Schmitt & Chan, 1998). Um aspecto intrigante que surgiu da investigao neste campo, que os valores de validade preditiva dos assessment centers (acima mencionados), no so superiores aos de outros mtodos menos dispendiosos, por exemplo, entrevistas altamente estruturadas. As razes para esta constatao podem ser vrias, contudo dois aspectos metodolgicos podero estar na sua origem. O primeiro aspecto, diz respeito aos valores usados para corrigir a impreciso dos critrios nos estudos de meta-anlise feitos sobre assessment centers. Assim, nos estudos de Gaugler et al. (1987, citados por Lievens & Thornton III, 2005) e Arthur et al. (2003, citados por Lievens & Thornton III, 2005), usaram-se valores de correco de .77 e .76, respectivamente, valores estes que so elevados em relao ao valor de .52, tipicamente usado em estudos de metaanlise de outros preditores, nomeadamente, entrevistas estruturadas. A utilizao deste tipo de valores conservadores, subestima os valores encontrados para os assessment centers, por exemplo, se corrigirmos o coeficiente de validade de Gaugler et al. (1987, cit. por Lievens & Thornton III, 2005) pelo valor de .52, em vez do valor mais conservador de .77 utilizado, a validade corrigida deste mtodo seria de .45, em vez do valor de .37 encontrado.

72

Captulo 3 Assessment Centers

O segundo aspecto metodolgico, diz respeito restrio que existe na medida das competncias avaliadas. Os assessment centers so geralmente aplicados na fase final dos processos de Seleco, pelo que os candidatos designados para integrarem os mesmos j foram escolhidos com base nas suas capacidades cognitivas e personalidade. Do facto destes candidatos serem, partida, os melhores, decorre uma limitao em termos de varincia das competncias, o que pode levar a uma diminuio da validade preditiva (Hardison & Sackett, 2004, citados por Lievens & Thornton III, 2005). No que concerne especificamente validade preditiva no mdio e longo-prazo, Jansen e Stoop (2001) conduziram um assessment center, que consistiu num exerccio de discusso em grupo e num exerccio de anlise e apresentao, para verificar a predio na evoluo da carreira. Estes autores validaram a tcnica durante um perodo de sete anos, aps a Seleco inicial, tendo por critrio o aumento mdio salarial, e encontraram para o EAG uma validade preditiva corrigida de .39. Um aspecto interessante neste estudo, foi que a dimenso firmeza (definida por autonomia, capacidade de deciso e perseverana) se demonstrou preditiva durante todo o perodo de permanncia na organizao, aumentando medida que a experincia profissional evolua, enquanto a dimenso eficcia interpessoal (definida pela orientao para os outros, sensibilidade para os problemas dos outros, capacidade de estabelecimento de redes) s se tornou vlida aps alguns anos. Segundo os autores, este aspecto consistente com a investigao que tem demonstrado que os preditores no cognitivos se tornam mais importantes, quando a recolha de dados relativa ao critrio efectuada aps um perodo considervel de tempo. Na continuao deste estudo Jansen (2003), para uma amostra de indivduos com pelo menos doze anos de experincia profissional, encontrou para o EAG uma validade preditiva corrigida de .35, tendo continuado a verificar-se os mesmos resultados do estudo anterior, no que diz respeito s dimenses firmeza e eficcia interpessoal. Se a validade preditiva constitui um importante argumento para a utilizao deste mtodo, a investigao neste campo tem fornecido outras informaes que reforam este aspecto. Assim, desde os primeiros estudos sobre assessment centers na AT&T (Bray & Grant, 1966, citados por Schmitt & Chan, 1998), que os investigadores tm reportado elevada preciso nas avaliaes inter-observadores. Por outro lado, as reaces dos candidatos ou participantes validade facial deste mtodo so usualmente positivas. De salientar, que tm sido notados efeitos positivos de desenvolvimento nos avaliadores (Lorenzo, 1984, citado por Schmitt & Chan, 1998).

73

Captulo 3 Assessment Centers

Por ltimo, um estudo de larga escala com mais de 13.000 candidatos revelou grande semelhana quanto s capacidades de homens e mulheres (Moses & Boehm, 1975; citados por Schmitt & Chan, 1998). Na continuao destes exemplos, Correia (2005) apresenta um conjunto de vantagens que justificam a utilizao do mtodo de assessment center: recurso a vrios observadores e a vrios exerccios de avaliao; utilizao de simulaes que reflectem a realidade das tarefas a desempenhar na futura funo; existncia de estandardizao das situaes, o que facilita a comparao entre os candidatos; possuir uma validade preditiva frequentemente superior de outras tcnicas; poder servir de Formao, quer para os participantes, quer para os observadores; levar a uma maior compreenso por parte dos candidatos, relativamente s exigncias da futura funo a desempenhar. Face a todos os argumentos aqui apresentados, compreende-se que Bethell-Fox (1994) tenha afirmado, que apesar da gesto dos assessment centers completos levar algum tempo (um dia ou mais para tratar de cada grupo de cerca de meia dzia de candidatos), eles fornecem actualmente os meios mais sofisticados, para avaliar as competncias dos candidatos sob diversos pontos de vista. Esta opinio reforada por Correia (2005, p. 2), que afirmou este mtodo de seleco para alm da boa predio no desempenho na funo, parece ser, de acordo com as competncias actualmente exigidas pelas organizaes, um dos mais adequados, quer para a seleco, quer para a identificao de necessidades de desenvolvimento. Em sntese, as vantagens dos assessment centers parecem ser as razes pelas quais este mtodo surge destacado, em termos de importncia relativa para os processos de Seleco, quando comparado com outros mtodos. De acordo com Brtolo Ribeiro (2000), os resultados conferem a este mtodo uma importncia relativa superior a 50%, destacando-se claramente do segundo mtodo (entrevistas ligeiramente superior a 30%) e dos restantes, que apresentam um grau de importncia que oscila entre os 10% e os 20%. Segundo este autor, este mtodo assume tal importncia nos processos de Seleco, que quando o responsvel pelo processo opta por este mtodo no tende a combin-lo com outros. Considera-o, por si s, elemento suficiente para a tomada de deciso final (Brtolo Ribeiro, 2000, p.109). Contudo, de salientar que para este autor os assessment centers envolvem, frequentemente, no s exerccios de simulao, mas testes psicolgicos e entrevistas, pelo que os encara mais como um conjunto de mtodos, do que um mtodo em si mesmo.

74

Captulo 3 Assessment Centers

3.4. As principais desvantagens dos Assessment Centers

Apesar das vantagens apresentadas no ponto anterior, os assessment centers, nomeadamente, os seus exerccios prticos em grupo, apresentam desvantagens que so necessrias ter em considerao. De facto, a utilizao destes exerccios no to ampla como seria de esperar, talvez por diversas razes, entre as quais, a dificuldade de registar e interpretar a informao, o tempo dispendido e a relutncia de alguns candidatos em participar numa situao de competio face a face. Segundo Plumbley (1995), os exerccios em grupo consomem muito tempo, recursos humanos (avaliadores) e so, por isso, dispendiosos. Assim, so adequados somente para lugares em que se exigem capacidades de liderana social, designadamente, para funes de Superviso e Gesto e devem ser aplicados na fase da lista final reduzida de candidatos. Este autor refere ainda, que a probabilidade de sucesso destes exerccios limitada, quando utilizados com candidatos de idade inferior a dezoito anos, pois a experincia limitada e as ideias ainda se encontram num estdio formativo, e com pessoas pouco faladoras ou que no dia-a-dia no tm o hbito de resolver problemas atravs das palavras. De acordo com Plumbley (1995), deve ser igualmente referido que, presentemente, ao nvel das funes de Superviso ou Gesto, este mtodo tem tendncia a ser mais utilizado nas Seleces intra-empresa, sendo conveniente haver seis a oito participantes, os quais devem ser todos de idades semelhantes e possuir, na generalidade, o mesmo nvel de experincia. Neste caso, embora os candidatos estejam em competio directa e se conheam uns aos outros, existe um sentimento de que o modo mais justo para seleccionar. A todos pedido para desempenhar a mesma tarefa, sendo julgados pelo seu prprio desempenho, mais do que, por exemplo, de acordo com o seu passado na organizao. No caso de Seleces inter-empresas, uma das maiores dificuldades na utilizao deste mtodo, especialmente com candidatos mais velhos e mais experientes, a identidade de cada candidato se tornar conhecida dos outros. Isto pode ser uma preocupao sria, quando o leque de escolha pequeno ou os candidatos so de empresas concorrentes e pode, por si s, ser critrio para a no aceitao do procedimento, por parte dos mesmos. Para alm dos inconvenientes referidos por Plumbley (1995), o mtodo de assessment centers apresenta outras desvantagens, por exemplo, exigir a existncia de

75

Captulo 3 Assessment Centers

um perfil de competncias para a funo, exigir uma preparao muito cuidada que tem de respeitar condies especficas de concepo e desenvolvimento, ser necessria a coordenao de aspectos logsticos como a reunio dos candidatos e ser essencial a formao dos observadores (Correia, 2005). Para alm destes inconvenientes, um outro aspecto que constitui uma enorme desvantagem, a baixa evidncia de validade de construto que este mtodo apresenta, nomeadamente, quando utilizada uma estratgia de validao interna (Lievens & Thornton III, 2005). Pela sua importncia, este aspecto ser analisado com detalhe nos seguintes pontos deste Captulo.

3.5. A Validade de Construto dos Assessment Centers

A validade de um teste ou prova a sua caracterstica mais importante, pois define o significado dos resultados obtidos na realizao do mesmo. Um teste vlido na medida que as inferncias feitas a partir dele so apropriadas, tm significado, e so teis (Standards for Educational and Psychological Testing - AERA, APA, & NCME, 1985, citados por Gregory, 2001, p. 107). Deste modo, a validade um conceito unitrio determinado pela extenso segundo a qual um teste mede aquilo que afirma medir. As inferncias feitas a partir de um teste vlido so apropriadas, tm significado, e so teis. De acordo com esta perspectiva, dever ser aparente que virtualmente qualquer estudo emprico que relaciona resultados de testes com outros dados de investigao uma potencial fonte de informao sobre validade (Anastasi, 1986; Messick, 1989; citados por Gregory, 2001, p. 108). Segundo Gregory (2001), embora a validade seja um conceito unitrio, usualmente dividida em trs outros conceitos mais especficos, designados de validade de contedo, validade de critrio e validade de construto. De acordo com este autor, a validade de contedo um conceito determinado pelo grau em que um teste constitui uma amostra representativa do universo de comportamentos que o teste pretende abranger. Embora sendo bastante til quando existe um grande conhecimento sobre a varivel a medir, este conceito de menor importncia, quando comparado com os outros dois tipos de validade. Se a validade de critrio j foi anteriormente abordada, a validade de construto consiste num conceito a destacar. Um construto uma qualidade ou trao terico intangvel no qual os indivduos diferem (Messick, 1989,

76

Captulo 3 Assessment Centers

citado por Gregory, 2001, p.117). Para avaliar a validade de construto os procedimentos so desenhados para responderem a uma questo crucial: baseado no actual conhecimento terico do construto que o teste afirma medir, ser que se encontraro os tipos de relaes com outros critrios que a teoria prediz? Muitos tericos psicometristas vem a validade de construto como o conceito unificador para todos os tipos de evidncia de validade (Cronbach, 1988; Guion, 1980; Messick, 1989; citados por Gregory, 2001, p. 119). De acordo com esta perspectiva, os estudos de validade de contedo ou de critrio constituem apenas suporte de evidncia na consecuo da validao de construto. Segundo Lievens (2001), a existncia de validade de construto assume vital importncia nos assessment centers para fins de Desenvolvimento, mais do que nos assessment centers de Seleco, que se sabe que funcionam (possuem validade preditiva) e onde apenas respostas sim ou no so requeridas. Quanto aos assessment centers para fins de Desenvolvimento, que servem para identificar pontos fortes, pontos a desenvolver e elaborar planos de aco com esse fim, precisam obviamente, de possuir validade de construto. Estes assessment centers usam as avaliaes nas dimenses para providenciar feedback aos avaliados e formular planos de aco. Ora, se as avaliaes nas dimenses no forem indicadores vlidos das competncias, o feedback e os futuros planos de aco podem ter efeitos desastrosos. No obstante se tratar de assessment centers para fins de Seleco ou Desenvolvimento, a validade de construto , normalmente, verificada atravs de dois mtodos analticos (Lievens & Thornton III, 2005). O primeiro mtodo consiste na anlise da relao da cotao final das dimenses com construtos similares medidos por outros mtodos, tais como testes ou entrevistas. Referimo-nos verificao da validade externa de construto. Neste caso, se as avaliaes respeitantes s dimenses possurem esse tipo de validade, ento as correlaes entre essas avaliaes e pontuaes independentes obtidas em outras medidas de construtos conceptualmente relacionados, sero superiores s correlaes entre essas avaliaes e pontuaes independentes obtidas em outras medidas de construtos conceptualmente no relacionados (Shore, Thornton, & Shore, 1990; Shore, Shore, & Thornton, 1992; citados por Chan, 1996). Relativamente verificao deste tipo de validade, a relao entre o EAG e outros instrumentos de medida varia de acordo com os construtos relacionados com o trabalho medidos nos exerccios dos assessment centers. Por exemplo, Spector, Schneider, Vance e Hezlett (2000, citados por Lievens &

77

Captulo 3 Assessment Centers

Thornton III, 2005), verificaram que os exerccios de grupo se correlacionam com construtos da personalidade, tais como estabilidade emocional, extroverso, abertura experincia, e que os exerccios de resoluo de problemas se correlacionam com a inteligncia geral e conscienciosidade. Ainda, Craik, Ware, Kamp, OReilly III, Staw e Zedeck (2002, citados por Lievens & Thornton III, 2005) verificaram que o desempenho nos exerccios in-basket estava relacionado com a conscienciosidade, abertura experincia e dimenses estratgicas, tais como tomada de deciso. Por outro lado, o desempenho nos exerccios de discusso em grupo estava mais correlacionado com dimenses interpessoais e construtos da rea da personalidade, tais como amabilidade, extroverso e abertura experincia. O segundo mtodo, consiste no estudo de comparao da validade convergente e da validade discriminante, resultantes das avaliaes das dimenses que integram os exerccios do assessment center. A validade convergente pode ser entendida como o grau de associao de cada dimenso, correspondente ao coeficiente de correlao encontrado para a mesma dimenso ao longo dos vrios exerccios. Por sua vez, a validade discriminante pode ser entendida como o grau em que cada dimenso se diferencia das outras no mesmo exerccio, sendo calculada atravs de um coeficiente de correlao, entre os resultados obtidos em cada uma das dimenses dentro de cada exerccio. Este mtodo serve para verificar a validade interna de construto. Foram Campbell e Fiske (1959, citados por Gregory, 2001) que propuseram, pela primeira vez, um mtodo experimental sistemtico para confirmar simultaneamente a validade convergente e discriminante de um teste psicolgico. Este mtodo chama-se matriz multitrao-multimtodo (MTMM) e serve para avaliao de dois ou mais traos por dois ou mais mtodos. Para alm destes dois mtodos, comum recorrer-se a outra tcnica mais poderosa de validao interna de construto, isto , a anlise factorial dos resultados obtidos nas dimenses (Lievens, 2001). Segundo Smith (1976, citado por Sackett & Dreher, 1982, p.402), a anlise factorial possui vantagens em relao matriz MTMM na avaliao da validade de construto, pois menos susceptvel aos efeitos das pequenas flutuaes na magnitude dos coeficientes de correlao. Com esta tcnica a questo relativa validade de construto torna-se simples, uma vez que os factores devem representar as dimenses, pois os exerccios no so mais do que mltiplas oportunidades para observar comportamentos relevantes respectivos s dimenses.

78

Captulo 3 Assessment Centers

Uma das questes polmicas relativamente aos assessment centers, que explicaes adequadas para o elevado poder preditivo das notas dos avaliadores nas dimenses e EAG no tm sido encontradas. Isto significa que, embora a investigao recente tenha encontrado correlaes entre as dimenses dos assessment centers e dimenses iguais ou similares medidas por outros mtodos (Lievens & Thornton III, 2005), isto , evidncia de validade externa de construto, a investigao tem consistentemente encontrado pouca evidncia de validade de construto (Chan, 1996; Brtolo Ribeiro, 2000), nomeadamente, quando se recorre a um processo de validao atravs da validade interna de construto (Lievens & Thornton III, 2005). Russell (1994, citado por Chan, 1996) salienta que a investigao que tem analisado a validade de construto no tem, simultaneamente, analisado a validade de critrio. Este tipo de investigao seria importante para testar a hiptese de que os estudos que revelam elevada validade de critrio so baseados em assessment centers bem construdos (logo possuindo tambm elevada validade de construto), e estudos que revelam baixa validade de construto so baseados em assessment centers mal construdos (logo possuindo tambm baixa validade de critrio). Russell e Domm (1995, citados por Chan, 1996, p.168) referem-se a este aspecto do seguinte modo, a descoberta de um conjunto de avaliaes numa mesma amostra que , simultaneamente, baixa em validade de construto e elevada em validade de critrio, implica que elevada prioridade deve ser dada para determinar que construtos as notas dos observadores esto a avaliar, porque elevada validade de critrio implica que deve existir validade de construto nos assessment centers, mas ns no sabemos simplesmente quais so os construtos. Schmitt e Chan (1998) reforam esta ideia, afirmando que as avaliaes podem estar relacionadas com vrios critrios de desempenho, mas os construtos para esta relao continuam a ser um mistrio. Para se compreender a questo da pouca evidncia de validade de construto, nomeadamente, da validade interna, necessrio conhecer a teoria subjacente a este mtodo. Esta teoria enfatiza, que nos assessment centers so medidas competncias (caractersticas estveis) ao longo de um conjunto de exerccios representativos da funo alvo, sendo que essas competncias tm de ser operacionalizadas em dimenses comportamentais para melhor avaliao. Segundo Sackett e Tuzinski (2001), os assessment centers so, ento, organizados em torno de um conjunto de dimenses, tais como, liderana, organizar e planear, tomada de deciso, recorrendo-se a exerccios para observar e registar comportamentos relevantes das mesmas. Nos assessment centers

79

Captulo 3 Assessment Centers

tradicionais, a avaliao das dimenses s feita no final de todos os exerccios (com base no registo dos comportamentos observados), aquando da reunio de discusso com os vrios avaliadores (abordagem within-dimension). No entanto, muitos assessment centers, por uma questo de facilidade, adoptaram a prtica de avaliar as dimenses logo aps cada exerccio (abordagem within-exercise), o que comum, mas algo controverso. Em ambos os casos, os vrios observadores em reunio procuram chegar a um consenso acerca da avaliao de cada dimenso, para cada candidato e atribuir a estes uma classificao final, designada comummente de Escalonamento de Avaliao Global (EAG), que reflecte o desempenho global nas dimenses ao longo dos vrios exerccios, ou seja, uma mdia global das avaliaes das dimenses. Sackett e Dreher (1982) argumentaram que, para aceitar a ideia de um processo de julgamento subjacente s avaliaes centrado nas dimenses estas tm, por um lado, de ser estveis ao longo dos exerccios, de modo a demonstrarem consistncia transsituacional, ou seja, possurem validade convergente. Por outro lado, as dimenses tm de se diferenciar o suficientemente entre si, dentro de cada exerccio, de modo a possurem validade discriminante. Para alm deste aspecto, estes autores verificaram que os assessment centers que usam o mtodo de avaliao within-exercise, produzem um conjunto de avaliaes, que podem ser conceptualizadas e analisadas como uma matriz multitrao-multimtodo (MTMM), em que as dimenses so os traos e os exerccios so os mtodos. De acordo com Sackett e Dreher (1982), numa matriz MTMM existem trs tipos de correlaes: monotrao-heteromtodo (MT-HM), ou seja, a mesma dimenso ao longo de todos os exerccios; heterotrao-monomtodo (HT-MM), isto , diferentes dimenses dentro do mesmo exerccio; heterotrao-heteromtodo (HT-HM), ou seja, diferentes dimenses de diferentes exerccios. Para estes autores, a evidncia de que as dimenses so os construtos subjacentes aos julgamentos dos avaliadores s emerge, quando as correlaes MT-HM so superiores s correlaes HT-MM e HT-HM. Por outro lado, correlaes HT-HM elevadas pressupem efeito de halo, ou seja, a inclinao do observador para basear as avaliaes nas vrias dimenses em apenas uma impresso geral do candidato, boa ou m (Zaal, 1998). Sackett e Dreher (1982) e os investigadores que lhes seguiram, por exemplo, Chan (1996), tm tipicamente usado tcnicas analticas para examinarem a validade de construto. Estas tcnicas consistem na anlise factorial ou na decomposio da matriz MTMM, com o objectivo de comparar as validades convergente e discriminante e

80

Captulo 3 Assessment Centers

baseiam-se no mesmo pressuposto (Sackett & Tuzinski, 2001): se as dimenses so o centro em volta do qual a informao dos candidatos organizada e registada pelos observadores, ento o padro de correlaes mais forte na matriz MTMM deve ser entre as avaliaes da mesma dimenso ao longo dos vrios exerccios. Isto implica, por um lado, que a anlise factorial dever evidenciar factores dimensionais em vez de factores de exerccio e, por outro lado, que a matriz dever evidenciar elevada convergncia da mesma dimenso ao longo dos exerccios, associada a elevada divergncia das dimenses dentro do mesmo exerccio. Contudo, segundo Sackett e Tuzinski (2001), nos vrios estudos que tm sido desenvolvidos, quando as matrizes de avaliao de dimenses por exerccio (MTMM) so examinadas, o que sobressai so os exerccios e no as dimenses. Assim, dentro de cada exerccio, as avaliaes das vrias dimenses apresentam correlaes elevadas. Por outro lado, quando se escolhe qualquer dimenso e se vai comparar as avaliaes desta nos vrios exerccios, as correlaes so baixas. Tambm, quando realizada a anlise factorial das avaliaes, os factores emergentes reflectem os exerccios e no as dimenses. Todos estes dados vo no sentido oposto ao que Sackett e Dreher (1982) tinham pressuposto, o que levanta um problema respeitante validade de construto dos assessment centers, e explicao tradicional de como eles funcionam. , ainda, de referir que apesar dos esforos dos investigadores ao nvel do planeamento, construo e aplicao dos assessment centers (modificaes no que respeita ao mtodo de registo dos comportamentos, treino dos avaliadores, aperfeioamento das dimenses, entre outros) estes problemas persistem, embora se tenham encontrado melhorias, em alguns casos significativas, ao nvel da validade de construto (Sackett & Tuzinski, 2001). Por ltimo, depois de apresentados estes procedimentos e concluses relativos validade de construto provenientes dos estudos realizados internacionalmente, importante referir que no existem estudos deste tipo acerca dos assessment centers utilizados no Exrcito Portugus. No que diz respeito Fora Area Portuguesa a realidade diferente, pois foi recentemente elaborado um estudo de validao de um assessment center para a Seleco de candidatos ao Curso de Piloto do Regime de Contrato (Rocha et al., 2006). Contudo, neste estudo foram feitos apenas testes validade convergente e discriminante, no se tendo recorrido s tcnicas de anlise factorial ou decomposio da matriz MTMM, com o objectivo de comparar as respectivas validades.

81

Captulo 3 Assessment Centers

3.6. Factores explicativos para a fraca evidncia de Validade de Construto dos Assessment Centers
Na ltima dcada, a investigao tem-se dedicado questo da validade de construto de forma empenhada e, embora o debate continue, trs factores tm sido identificados como responsveis pela fraca validade de construto encontrada nos assessment centers (Lievens & Thornton III, 2005). O primeiro factor est relacionado com o cuidado prestado a todo o processo de construo inerente a este mtodo. De facto, a investigao recente tem verificado que assessment centers mal construdos parecem revelar menor evidncia de validade de construto. So exemplo os estudos de Lievens e Conway (2001, citados por Lievens & Thornton III, 2005) e Woehr e Arthur (2003, citados por Lievens & Thornton III, 2005), onde foi encontrada evidncia significativa de maior validade de construto quando se reduziu o nmero de dimenses, os avaliadores eram psiclogos, foram usadas checklists comportamentais e os exerccios eram similares, entre outros. Por outro lado, os assessment centers que demostraram maiores nveis de evidncia de validade de construto so aqueles onde foram avaliadas menos dimenses e menor nmero de exerccios (Lievens, 1998; Woehr & Arthur, 2003; citados por Bowler & Woehr, 2006). Assim, a construo dos assessment centers importante e responsvel pela validade de construto deste mtodo, pelo que Caldwell, Thornton III e Gruys (2003) referem dez erros a evitar neste processo: planeamento pouco cuidado; inadequada anlise do trabalho; dimenses mal definidas; exerccios pouco adequados; inexistncia de prtestes; avaliadores pouco qualificados; inadequada formao de avaliadores; inadequada preparao dos candidatos; procedimentos pouco precisos, quer de registo das observaes, quer de atribuio de cotaes; m utilizao dos resultados obtidos. De acordo com estes autores, a reduo ou mesmo a eliminao destes erros, aumenta a validade deste mtodo, permitindo uma melhor eficincia e eficcia na tomada de decises para fins de Seleco e Promoo. O segundo factor identificado como responsvel pela diminuio da validade de construto a preciso dos avaliadores. Se a preciso inter-observadores no for elevada, a varincia devida aos mesmos ser necessariamente confundida com a varincia devido aos exerccios, porque comum os avaliadores no serem os mesmos ao longo dos vrios exerccios. No sentido de verificarem este factor, dois estudos recentes (Kolk,

82

Captulo 3 Assessment Centers

Born, & Van Der Flier, 2002; Robie, Adams, Osburn, Morris, & Etchegaray, 2000; citados por Lievens & Thornton III, 2005, pp. 256), compararam a evidncia de validade de construto quando os avaliadores cotaram todas as dimenses num exerccio (tal como frequentemente o caso na prtica) com a evidncia de validade de construto quando um avaliador cotou apenas uma nica dimenso ao longo dos exerccios. A evidncia de validade de construto aumentou com o ltimo mtodo. Assim, embora a existncia de um avaliador por dimenso seja pouco prtico e dispendioso, estes estudos indicam que uma grande parte da varincia devido aos exerccios tipicamente encontrada pode ser parcialmente causada pela variabilidade dos avaliadores. No que diz respeito influncia que os avaliadores podem ter na validade de construto obtida neste mtodo ainda importante considerar a explicao que tem sido fornecida para as fracas validade convergente e discriminante encontradas, baseada na sobrecarga cognitiva dos avaliadores (Gaugler & Thornton, 1989; Reilly, Henry, & Smither, 1990; citados por Lievens, 2001) ou processamento baseado em esquemas (schema-based processing - Zedeck, 1986, citado por Lievens, 2001). Este aspecto parece confirmar-se, pois melhorias nos procedimentos de construo dos assessment centers, tais como a reduo do nmero de dimenses a avaliar, tm levado a uma melhoria substancial na validade convergente (Lievens, 2001). Segundo esta explicao os avaliadores no so capazes de definir e usar consistentemente as dimenses ao longo dos exerccios (fraca validade convergente), bem como diferenci-las (fraca validade discriminante). Este problema parece agravarse quando os avaliadores no so apenas psiclogos. De facto, os dados da investigao revelam que a validade de critrio menor quando um misto de gestores e psiclogos so utilizados como avaliadores (Gaugler et al., 1987, citado por Lievens, 2001) e que os gestores tm mais dificuldades em usarem diferenciadamente os construtos (dimenses) dos assessment centers que os psiclogos ou mesmo estudantes de Psicologia das organizaes (Lievens, 2001). possvel que os gestores atribuam cotaes mais holsticas porque esto menos motivados ou porque tendencialmente usam menos factores para tomarem decises de Seleco (Barr & Hitt, 1986, citados por Lievens, 2001). Por outro lado, tambm possvel que os gestores baseados na sua experincia usem, implicitamente, esquemas de comportamento organizacional para avaliao do desempenho dos candidatos (Cardy, Bemardin, Abbott, Senderak, & Taylor, 1987; Zedeck, 1986; citados por Lievens, 2001). De acordo com Zedeck (1986, citado por Lievens, 2001), os exerccios envolvidos nos assessment centers so

83

Captulo 3 Assessment Centers

basicamente rplicas de situaes de Gesto, pelo que activam esquemas de comportamento organizacional, por exemplo, a forma ideal de organizar uma reunio para discutir um determinado tema em grupo. A natureza especfica destes esquemas poder ento produzir correlaes elevadas entre as diferentes dimenses de um mesmo exerccio, o que implica a diminuio da validade discriminante. Relacionado com esta explicao, Zaal (1998) e Sackett e Tuzinski (2001), salientam a tendncia dos observadores para prestarem especial ateno eficcia global dos comportamentos dos candidatos no exerccio, em desprimor da distino entre as dimenses. Segundo Zaal (1998), a elevada correlao entre dimenses intraexerccios poder igualmente ser explicada pelo efeito de halo. Por ltimo, o terceiro factor identificado como responsvel pela diminuio da validade de construto o desempenho real dos candidatos ao longo das situaes (Neidig & Neidig, 1984, citados por Lievens, 2001). Em estudos recentes (Lance, Newbolt, Gatewood, Foster, French, & Smith, 2000; Lievens, 2002; citados por Lievens & Thornton III, 2005), verificou-se que os candidatos no apresentam consistncia de desempenho ao longo dos vrios exerccios (diminuio da validade convergente) e, muitas vezes, no exibem variao no desempenho nas dimenses dentro de um exerccio. Assim, segundo Lievens e Thornton III (2005, p. 256), a evidncia de validade convergente e discriminante pode apenas ser estabelecida para candidatos cujos desempenhos variaram ao longo das dimenses e foram relativamente consistentes ao longo dos exerccios. Por seu lado, o estudo de Lievens (2001), demonstrou que as cotaes dos avaliadores so relativamente verdicas. Este autor salienta que os avaliadores so razoavelmente capazes de diferenciar as dimenses e cot-las similarmente ao longo dos exerccios, quando os candidatos tm um desempenho diferenciado nas vrias dimenses e mantm um desempenho relativamente consistente ao longo dos exerccios. Contudo, quando os avaliadores cotam um perfil de candidato sem flutuaes evidentes de desempenho nas vrias dimenses, a diferenciao destas torna-se difcil. Segundo este autor, quando os avaliadores cotam candidatos cujo desempenho foi desenhado para ser consistente ao longo dos exerccios, estabelecida evidncia de validade convergente. Similarmente, quando os avaliadores cotam candidatos cujo desempenho foi desenhado para variar nas dimenses dentro dos exerccios, foi encontrada evidncia de validade discriminante. Relacionada com este terceiro factor, foi levantada por Sackett e Dreher (1982) e aprofundada por Howard (1997, citado por Sackett & Tuzinski, 2001), uma hiptese

84

Captulo 3 Assessment Centers

para explicao dos fracos valores de validade convergente e discriminante encontrados nos assessment centers. Esta ltima investigadora, sendo defensora do mtodo de avaliao within-dimension (pp. 79-80), sugere que o padro comum observado da falta de validade convergente e discriminante um artefacto do mtodo de avaliao withinexercise (p. 80) e, por isso, no constitui uma ameaa validade de construto dos assessment centers. A investigadora apresenta um conjunto de argumentos, que tentam explicar porque no de esperar convergncia de avaliaes entre as mesmas dimenses em exerccios diferentes (validade convergente). Em primeiro lugar, os exerccios no so entendidos como formas paralelas e as avaliaes das dimenses ao longo dos exerccios no so entendidas como medidas paralelas. Isto implica que em cada exerccio s se poder avaliar parte das facetas de dimenses complexas e multifacetadas. Em segundo lugar, os exerccios variam no grau em que do oportunidades aos candidatos para demonstrarem comportamentos relevantes para a avaliao das dimenses. Os exerccios so diferentes, quer quanto ao nmero de dimenses avaliadas, quer quanto relevncia para as vrias dimenses. Em terceiro lugar, a anlise da matriz MTMM trata de igual modo todas as avaliaes, como sendo informaes iguais, para a avaliao global de um candidato numa dimenso. Segundo a investigadora, este procedimento no correcto porque h diferenas marcantes na quantidade e qualidade da informao recolhida em diferentes exerccios. Bowler e Woehr (2006) reforam esta hiptese. Segundo estes autores, concebvel ou mesmo provvel que: existam dimenses mais observveis ao longo dos exerccios e, por isso, tenham maior efeito de dimenso; existam exerccios que imponham mais restries situacionais ao comportamento e, por isso, produzam maiores efeitos de exerccio; as dimenses e exerccios interajam, de modo a que algumas dimenses sejam mais observveis em alguns exerccios do que em outros. Howard (1997, cit. por Sackett & Tuzinski, 2001) tambm apresenta argumentos para no se esperar validade discriminante. Segundo a investigadora, nos assessment centers, todas as dimenses dentro de um exerccio so avaliadas por um mesmo observador, contudo, comum haver diferentes observadores para os vrios exerccios. Assim, as avaliaes para cada dimenso nos vrios exerccios so fornecidas por diferentes observadores, enquanto as avaliaes para todas as dimenses num exerccio so fornecidas pelo mesmo observador, o que implica a obteno de elevadas correlaes dentro de um mesmo exerccio. Desta forma, a investigadora acredita que, devido s avaliaes obtidas no mtodo within-exercise no serem independentes, a

85

Captulo 3 Assessment Centers

assumpo de independncia necessria para a anlise das matrizes MTMM violada e, por isso, a informao obtida pouco vlida. No que diz respeito confirmao desta hiptese, estudos recentes baseados na abordagem interaccionista do princpio da activao do trao (Tett & Guterman, 2000; Haaland & Christiansen, 2002; citados por Lievens & Thornton III, 2005), demonstraram que a consistncia das avaliaes ao longo dos exerccios apenas encontrada, quando os mesmos partilham oportunidades de expresso dos traos. Assim, a hiptese levantada por Sackett e Dreher (1982) e aprofundada por Howard (1997, cit. por Sackett & Tuzinski, 2001) parece confirmar-se, pelo menos parcialmente.

3.7. Consideraes finais sobre a utilizao dos Assessment Centers

No que se refere, especificamente, evidncia de validade de construto deste mtodo, a investigao recente tem feito progresso na sua demonstrao. Se os estudos de Shore et al. (1990, 1992; cit. por Chan, 1996), j tinham encontrado evidncias de validade externa de construto para as avaliaes finais das dimenses (avaliao global ao longo dos exerccios, para cada dimenso), o recente estudo de meta-anlise de Bowler e Woehr (2006), acerca do impacto dos factores de dimenso e factores de exerccio nas vrias avaliaes das dimenses produzidas nos assessment centers, revelou informao encorajadora sobre a validade interna de construto, considerada o calcanhar de Aquiles deste mtodo. Bowler e Woehr (2006) procederam ao estudo da validade interna de construto, atravs da comparao das validades convergente e discriminante resultantes da matriz MTMM e, depois, utilizaram esta mesma matriz como input para realizar uma anlise factorial confirmatria. Os resultados desta investigao indicaram que tanto os factores de dimenso como os factores de exerccio contriburam substancialmente para as vrias avaliaes das dimenses produzidas nos assessment centers, embora a mdia global dos vrios factores de dimenso (M=.47, SD=.145) tenha sido significativamente inferior (t=3.37, <.01) mdia global dos vrios factores de exerccio (M=.58, SD=.128). Estes resultados parecem, assim, encorajadores na demonstrao de evidncia de validade interna de construto deste mtodo, pois indicam que prematuro

86

Captulo 3 Assessment Centers

desvalorizar as dimenses porque elas so construtos importantes subjacentes s avaliaes nos assessment centers (Bowler & Woehr, 2006, p. 1121). Por outro lado, os resultados indicaram diferenas considerveis entre os vrios factores de dimenso analisados, bem como entre os vrios factores de exerccio. Assim, no que diz respeito aos factores de dimenso, as dimenses comunicao e influenciar os outros apresentaram maior mdia de saturao que as dimenses considerao/conscienciosidade dos outros e orientao para. Quanto aos factores de exerccio, por exemplo, o exerccio de discusso em grupo sem lder apresentou maior mdia de saturao que o exerccio anlise de casos ou entrevista. Em conjunto, estes resultados sugerem variabilidade no s com respeito a dimenses especficas e exerccios mas tambm com respeito a dimenses especficas e combinao de exerccios. Isto salienta um ponto importante nem todas as dimenses dos assessment centers so iguais no que respeita validade (Bowler & Woehr, 2006, p. 1120), pelo que a investigao deve mover o seu objecto de estudo para dimenses especficas e exerccios especficos. Bowler e Woehr (2006) salientam, ainda, que a diferena no impacto mdio das dimenses e exerccios muito menor na anlise da saturao dos factores (.47 vs. .58), do que pode ser inferido atravs da anlise das mdias globais das correlaes monotrao-heteromtodo e heterotrao-monomtodo (.25 vs. .53, respectivamente). Segundo os autores, estes resultados reflectem a diferena na interpretao entre as saturaes nos factores e as correlaes. Enquanto as saturaes nos factores reflectem o impacto directo das dimenses e exerccios, as correlaes heterotrao-monomtodo representam o grau de divergncia entre os construtos medidos (validade discriminante), grau este de divergncia que funo da saturao no factor de exerccio e da correlao entre factores de dimenso. Consequentemente, os nossos resultados sugerem que a fraca validade discriminante tipicamente encontrada nos estudos de assessment centers devido em grande parte s elevadas correlaes entre as dimenses sobre e sob o impacto directo dos factores de exerccio, pelo que inapropriado interpretar as correlaes heterotrao-monomtodo simplesmente como indicadores de efeitos de exerccio ou mtodo (Bowler & Woehr, 2006, p. 1121). Assim, apesar das desvantagens associadas ao mtodo de assessment center, tais como elevado tempo de planeamento, elevados custos de formao e execuo, grande variedade de recursos humanos e materiais, e as limitaes na demonstrao de evidncia de validade de construto, este mtodo apresenta vantagens inquestionveis

87

Captulo 3 Assessment Centers

que justificam a sua utilizao. Essas vantagens so uma elevada validade de critrio, especialmente em termos de promoo, e validade incremental sobre outros mtodos tradicionais de Seleco (testes cognitivos e de personalidade) e mtodos emergentes como entrevistas de descrio comportamental, apesar dos estudos nesta rea ainda serem reduzidos (Lievens & Thornton III, 2005). Esta concluso aparece bem descrita nas palavras de Wood e Payne (2007, p.154) os assessment centers oferecem a melhor oportunidade para a tomada de boas decises de seleco, quando o grupo de elevada qualidade dos candidatos restantes, requer distines finas a serem feitas. por isto que este mtodo aparece normalmente no fim de um processo de seleco. Depois de identificado um grupo de bons candidatos, o assessment center, pode providenciar informao detalhada dos seus pontos fortes e das suas necessidades de desenvolvimento, o que ajuda a tomar a deciso apropriada.

88