Ttulo do Trabalho: A Avaliao de Desempenho um Instrumento Adequado para Medir Impacto de Treinamento?

? Autoria: Isa Aparecida de Freitas Resumo Avaliar as contribuies do treinamento para a melhoria do desempenho das pessoas treinadas tem sido tema freqente na literatura. Apesar da existncia de metodologia j validada na literatura, um dilema se mantm: adequado utilizar os resultados da Avaliao de Desempenho (AD) como medida de impacto de treinamento? Este artigo visa contribuir para a reflexo sobre esse tema. Essa pesquisa envolveu a mensurao do impacto de treinamento com a utilizao de dois mtodos: questionrios de auto e heteroavaliao e comparao dos dados da AD antes e depois do treinamento. Foram avaliados quatro diferentes treinamentos direcionados para os gestores de equipes. A coleta de dados foi realizada em trs momentos: a) anlise documental; b) aplicao dos questionrios, 90 dias aps o curso; c) coleta de dados sobre a AD dos gestores. Retornaram 31,6% dos questionrios de impacto. A comparao entre os dois mtodos mostrou resultados inconsistentes: bons impactos foram obtidos com o uso dos questionrios (mdias acima de 8, numa escala de 1 a 10 pontos) e baixo impacto na AD. A ANOVA para amostras repetidas mostrou que dos 32 possveis fatores a serem impactos, de acordo com a AD, apenas 4 apresentaram melhoria significativa. So discutidas as razes da inadequao do uso da AD como medida de impacto de treinamento nas organizaes. 1. APRESENTAO Pesquisadores e profissionais da rea de recursos humanos das organizaes tm se preocupado cada vez mais em buscar alternativas de capacitao profissional que garantam a aprendizagem necessria para que os indivduos possam atuar em seus trabalhos, nos nveis de desempenho desejados. Aliadas a essa necessidade crescem as expectativas quanto avaliao da contribuio das aes sistematicamente planejadas para promover aprendizagem dentro das organizaes: treinamento, desenvolvimento e educao empresarial. Uma das questes bsicas para as organizaes como garantir que os conhecimentos, habilidades e atitudes (CHAs) adquiridos no treinamento sejam efetivamente aplicados no trabalho. Desde a dcada de 70 podem ser vistas na literatura contribuies importantes sobre em que aspectos os treinamentos deveriam ser avaliados (Kirkpatrick, 1976; e Hamblin, 1978). Nas ltimas duas dcadas, estudos sobre avaliao de treinamento tm sido cada vez mais freqentes e alguns resultados de pesquisa so apontados como consistentes em termos das variveis que influenciam a transferncia e o impacto de treinamento no cargo: variveis do indivduo, do treinamento e do contexto de trabalho (Cheng e Ho, 2001; Sallas e CannonBowers, 2001; e Abbad, Pilati e Pantoja, 2003). Apesar do desenvolvimento terico e metodolgico da rea de treinamento e desenvolvimento (T&D), algumas questes permanecem tanto para pesquisadores, quanto para os profissionais: considerando que tanto a avaliao de desempenho, quanto a avaliao de impacto de T&D tratam fundamentalmente do desempenho do indivduo, adequado utilizar os resultados das avaliaes de desempenho como medidas de impacto de T&D nas organizaes? Este procedimento no simplificaria a avaliao do resultado do treinamento? Este estudo visa contribuir para a reflexo sobre essas questes e, para tanto, compara os resultados da avaliao de impacto de treinamento, utilizando dois mtodos diferentes: os dados da avaliao de desempenho e os dos questionrios de avaliao de impacto de T&D. 2. BASE TERICA
1

Nessa seo sero destacados, a partir da literatura, aspectos tericos e conceituais relativos aos temas avaliao de treinamento (impacto de treinamento) e avaliao de desempenho. Em alguns casos, a opo foi por explorar cada uma das palavras constantes nestes termos. Ser dada nfase inicialmente ao tema avaliao de treinamento. Avaliao a coleta sistemtica de informaes descritivas e de julgamento, necessrias para tomar decises sobre alguma coisa ou evento. Neste caso, sobre a efetividade do treinamento. Goldstein (1991) define o processo de Treinamento como a aquisio sistemtica de atitudes, conceitos, conhecimentos, regras e habilidades que resultam em uma melhoria do desempenho no trabalho. Assim, o treinamento caracterizado como uma ao intencionalmente planejada para produzir melhorias de desempenho dos profissionais de uma empresa. Outras definies de treinamento como a de Borges-Andrade (2002), tambm destacam, como caracterstica essencial do treinamento, a intencionalidade da organizao em produzir mudanas positivas no desempenho das pessoas. O treinamento , ento, uma atividade planejada para aperfeioar o desempenho atual ou promover o desempenho futuro dos profissionais de uma empresa. Nesse sentido, avaliar treinamentos significa atribuir o valor do treinamento em termos de suas contribuies para o desempenho do indivduo, do grupo e da organizao (impacto), bem como identificar as condies necessrias para que um evento de treinamento gere os resultados esperados, e os procedimentos que precisam ser modificados para a promoo de melhores resultados no futuro. Assim, avaliar treinamentos significa tambm colher subsdios para tomada de decises relacionadas seleo, adoo, valor e modificao de atividades instrucionais (Goldstein, 1991). Outro conceito muito presente na literatura sobre avaliao de treinamento a transferncia de treinamento, que pode ser definida como o grau em que os treinandos aplicam, em seus trabalhos, conhecimentos, habilidades, comportamentos e atitudes adquiridas em treinamento (Latham, 1989). Isso significa dizer que as pessoas aprendem um conjunto de CHAs e transferem essa aprendizagem para uso em outro contexto. Assim, quando se fala de transferncia de treinamento est sendo retratada a aprendizagem de CHAs que ocorre no contexto de treinamento e que pode ser transferida em algum grau para as situaes de trabalho. Nesse sentido, Pantoja e Borges-Andrade (2002) ressaltam que seria mais adequado utilizar a expresso transferncia de aprendizagem, j que o que transferido so os CHAs aprendidos em treinamento e no o treinamento, que um evento organizacional. Recentemente, Abbad e Borges-Andrade (2004) rediscutiram esses termos e consideraram transferncia de treinamento como uma subdimenso da transferncia de aprendizagem, uma vez que a transferncia de aprendizagem se refere a qualquer tipo de aprendizagem, natural ou induzida. O conceito de transferncia de treinamento inclui em sua essncia a questo da mudana na forma de desempenhar as atividades de trabalho, a partir das aprendizagens ocorridas em treinamentos. O foco est no nvel de aplicao dos CHAs aprendidos. Quanto aos resultados esperados pelas organizaes, pode-se considerar a aplicao das aprendizagens como uma condio essencial para que haja mudanas, mas a produo de mudanas observveis no desempenho do indivduo treinado j reflete outro conceito, que o impacto de treinamento. Sallorenzo (2000) destaca que a maioria das pesquisas adota os termos transferncia de treinamento e impacto de treinamento como sinnimos. Isso representa um erro conceitual. Na verdade, a transferncia, como aplicao no trabalho dos CHAs aprendidos em treinamento, uma condio bsica para que ocorra impacto. O impacto de treinamento s observado quando a pessoa treinada aplica os CHAs aprendidos e essa aplicao gera melhorias significativas no seu desempenho. Isso significa que o impacto o resultado positivo da transferncia de aprendizagem e que pode haver transferncia sem impacto
2

significativo. Assim, pode-se conceituar impacto de treinamento no nvel do indivduo como a ocorrncia de melhorias significativas no desempenho especfico ou no desempenho geral da pessoa treinada, como resultado da aplicao, no trabalho, dos CHAs aprendidos em treinamento. Desse conceito podem ser extrados dois tipos de impacto: impacto em profundidade - representa as melhorias no desempenho em tarefas diretamente relacionadas aos objetivos e contedos ensinados no treinamento; e impacto em amplitude ou em largura - refere-se s melhorias no desempenho geral, em tarefas no diretamente relacionadas aos contedos ensinados no treinamento. No Brasil, comum avaliar treinamentos utilizando esses dois tipos de impacto e os pesquisadores tm encontrado evidncias empricas que indicam correlao positiva entre as medidas de profundidade e largura (Abbad, Pilati e Pantoja, 2003). Os pesquisadores tambm tm demonstrado que a aplicao dos novos CHAs no depende exclusivamente do nvel de aprendizagem do treinando ao final do treinamento. O fato de o indivduo aprender algo novo no garante que ele aplique o que aprendeu. Outras variveis entram em campo para explicar porque as pessoas aplicam ou no, no trabalho, aquilo que aprenderam. Vrias teorias tentam explicar porque a transferncia de aprendizagem ocorre na vida organizacional. Dentre elas se destacam as relativas s caractersticas dos indivduos, do treinamento e do contexto de trabalho. A reviso de Freitas (2005) complementou estudo iniciado por Pantoja e BorgesAndrade (2002); e Abbad, Pilati e Pantoja (2003), que analisaram a produo nacional e estrangeira no perodo de 1998 a 2004. A anlise das pesquisas realizadas no Brasil e no exterior teve como objetivo identificar as medidas de transferncia utilizadas e os principais preditores de impacto de treinamento no cargo. No que se refere s caractersticas individuais, os preditores mais freqentes foram motivao para treinamento e escolaridade, presentes em 14% das pesquisas (3). O local ou unidade de trabalho foi preditor em duas pesquisas (10%). As demais variveis individuais pareceram em apenas um estudo. O preditor mais freqente da categoria caractersticas do treinamento foi o tipo de treinamento (cognitivo, afetivo ou psicomotor), presente em 19% das pesquisas (4). Suporte transferncia foi a varivel de contexto mais pesquisada. Suporte psicossocial atuou como preditor em 81% das pesquisas (17) e o suporte material, em 24% delas (5). Assim, os estudos realizados destacaram o suporte psicossocial como o principal preditor do impacto de treinamento no desempenho do indivduo. Essa varivel aborda o apoio dado pelos chefes e colegas aplicao, no trabalho, dos CHAs aprendidos em treinamento. A explicao do suporte psicossocial foi responsvel por 20% a 54% da varincia de impacto de treinamento no desempenho do indivduo. Em termos de treinamento, o paradigma sistmico tem sido o referencial terico predominante na literatura cientfica, tanto no Brasil quanto no exterior (Borges-Andrade e Abbad, 1996). O treinamento visto como um sistema, composto por trs subsistemas: avaliao de necessidades de treinamento; planejamento e execuo; e avaliao do treinamento. Esses componentes so interdependentes, j que cada um contribui com subsdios para os demais, retroalimentando todo o sistema. Neste artigo, o foco ser no subsistema avaliao de treinamento. O modelo clssico de avaliao de treinamento o proposto por Kirkpatrick (1976), que considerava a necessidade de avaliao em quatro nveis: reaes, aprendizagem, comportamento no cargo e resultados. Posteriormente, esse modelo foi ajustado por Hamblim (1978), que props o desdobramento do ltimo nvel, em mudana organizacional e valor final. O modelo de Kirkpatrick (1976) prope a existncia de uma relao causal e hierrquica
3

entre os nveis de avaliao, alm da correlao positiva entre eles. Esses pressupostos nem sempre encontram respaldo emprico. As pesquisas de Alliger e Janak (1989) tm mostrado que os relacionamentos entre os nveis nem sempre so positivos e significativos. A avaliao proposta neste artigo se situa no terceiro nvel de Kirkpatrick (!976) e Hamblin(1978) que o comportamento no cargo. Desde a dcada de 80, muitos modelos de avaliao de treinamento tm sido formulados. Borges-Andrade (1982) concebeu o modelo de Avaliao Integrado e Somativo MAIS. Este modelo foi um dos primeiros, no Brasil, que ressaltou a importncia da varivel ambiente como fator na predio do sucesso de programas instrucionais (Abbad, 1999). Essa varivel vista como fator importante antes, durante e depois do treinamento, porque ela pode facilitar ou dificultar o uso das habilidades aprendidas. Os estudos em avaliao de treinamento, no nvel de comportamento no cargo, geralmente utilizam dados primrios, coletados com o uso de questionrios de auto e heteroavaliao, respondidos pelos participantes do treinamento e seus superiores ou pares, como pode ser observado nas pesquisas nacionais e estrangeiras (Sallas e Cannon-Bowers, 2001; e Abbad, Pilati e Pantoja, 2003). A construo desses instrumentos de avaliao requer a anlise do material didtico do treinamento e a realizao de entrevistas com planejadores do curso e s vezes com os instrutores para verificar a adequao dos itens de avaliao de impacto elaborados pelo pesquisador. Exceo a essa tendncia em utilizar dados primrios, no Brasil, foi a pesquisa de Sallorenzo (2000) e a desenvolvida por Nbrega (2003), em uma instituio financeira. Ele avaliou o impacto em profundidade de um treinamento comportamental voltado para o desenvolvimento da liderana. Foi realizado um estudo quase-experimental, no qual se comparou o desempenho dos gerentes de nvel intermedirio, antes e depois do treinamento (208 casos), com o desempenho do grupo controle (343 casos), em dois indicadores medidos pela organizao na rea de comportamento organizacional. Estes indicadores foram: o fator estilo de gerncia, medido na pesquisa de clima organizacional, e o fator liderana, mensurado na avaliao de desempenho desses profissionais. Os resultados indicaram que o curso no promoveu melhorias nos desempenhos dos gestores treinados, nos dois indicadores estudados. O autor destaca, como possvel explicao, a ocorrncia de falhas no processo de levantamento de necessidades de treinamento, uma vez que o grupo experimental j apresentava, antes do treinamento, desempenho superior ao do grupo controle na avaliao de desempenho. O estudo de Nbrega foi o primeiro estudo disponvel na literatura que abordou o uso da avaliao de desempenho como medida de impacto de treinamento e lanou discusses sobre a adequao do uso dessa medida pelas organizaes, estimulando a realizao desse estudo. A avaliao de desempenho uma estratgia organizacional comumente utilizada pelas organizaes para acompanhar o trabalho, os objetivos propostos para os profissionais e fornecer feedback para as pessoas (Pontes, 1991). O termo avaliao j foi definido no corpo deste artigo. Aqui vale discutir o que significa o termo desempenho e suas definies. Segundo Freitas (1992), ele pode ser visto como cumprimento ou execuo de uma funo, onde a nfase est na quantidade e qualidade do trabalho produzido, o que representa uma viso mecanicista. O desempenho tambm pode ser visto como relacionado a traos de personalidade tais como adaptao, iniciativa, cooperao, capacidade de liderana, dentre outros. Essa concepo tem sido altamente criticada em funo da subjetividade da avaliao e da pouca aplicao dos resultados em termos de melhoria do desempenho, uma vez que a personalidade uma caracterstica pouco mutvel. Esse termo tambm pode ser tratado em termos comportamentais tais como topografia, durao e freqncia, podendo ser detectado por observao. Os sistemas baseados em comportamentos enfatizam a forma como o trabalho feito, deixa implcita a
4

necessidade de controle sobre o profissional, uma vez que o que interessa a forma utilizada para realizar determinada atividade. Duas pessoas podem se comportar de forma semelhante e produzir resultados do trabalho muito diferentes. Em funo dessas discusses, os estudiosos tm destacado que tanto a forma de realizar o trabalho (comportamento), quanto os resultados produzidos so relevantes como medida de desempenho profissional. O primeiro descreve como o trabalho precisa ser feito, foca requisitos de qualidade e de relacionamento, enquanto o segundo descreve o que se espera em termos quantitativos, geralmente so destacados em termos de metas de desempenho. A concepo de desempenho tem influncia direta sobre a elaborao do instrumento de avaliao de desempenho, da coleta de dados e dos objetivos da avaliao. Alm disso, os problemas inerentes a esses instrumentos so mais ou menos intensos dependendo da definio de desempenho adotada (lenincia, halo, proximidade, tendncia central, preconceito pessoal). Os autores destacam a multiplicidade de objetivos como um dos principais problemas relacionados efetividade dos sistemas de avaliao de desempenho (Milani, 1988). Essa multiplicidade representa uma tentativa de conciliar os interesses individuais com os organizacionais e muitas vezes gera conflitos. Um sistema que deseja ao mesmo tempo indicar necessidades de treinamento e remunerar por desempenho mostra claramente uma tendncia para gerar avaliaes lenientes. Hiplito e Reis (2002) destacam que a avaliao no pode se restringir a um recurso que auxilia a isolar, observar e mensurar, formalizar e recompensar desempenhos, mas deve ser visto como um instrumento de gesto, aliado a outras funes de recursos humanos. Sugerem tambm desmistificar a relao usualmente estabelecida entre avaliao e punio e adotar mltiplas fontes para mensurao do desempenho. Uma vez concludas as consideraes tericas entre avaliao de treinamento e avaliao de desempenho, pode-se ressaltar a principal semelhana entre esses dois instrumentos: os dois tratam do desempenho profissional. A avaliao de treinamento visa identificar melhorias no desempenho, especificamente aps o treinamento. O objetivo fundamental verificar se o treinamento foi efetivo, se contribuiu para a melhoria do desempenho. O foco da avaliao o treinamento, mesmo que ela seja feita com base na melhoria do desempenho da pessoa treinada. J a avaliao de desempenho visa mensurar como o trabalho do profissional est sendo realizado, num determinado perodo. Portanto, o foco da avaliao o desempenho em si. A partir dessa semelhana que pesquisadores e profissionais de RH tm sugerido o uso de dados da avaliao de desempenho para avaliar impacto de treinamento. 3. OBJETIVO DA PESQUISA Este estudo foi realizado com o objetivo de comparar os resultados de impacto de treinamento obtidos a partir da Avaliao de Desempenho Profissional (GDP) com os identificados nos questionrios de avaliao de treinamento. 4. MTODO Nesta seo sero especificados os seguintes aspectos: a empresa estudada, a amostra de participantes e de treinamentos avaliados, os instrumentos e medidas de impacto de treinamento. 4.1 A empresa O Banco do Brasil tem 195 anos de existncia e a sua histria se confunde, em muitos momentos, com a histria do Pas. uma empresa que vem passando por mudanas estruturais e negociais e possui uma rea de T&D com experincia de mais de 40 anos. Como resultado da atuao dessa rea, a Empresa oferece atualmente cursos com contedos voltados para negcios e apoio realizao de negcios, distribudos em 13 grandes temas. No total, a Empresa tem disposio 155 cursos, sendo 100 desenvolvidos
5

internamente e 55 contratados no mercado. Desse total, 52 cursos so a distncia, com uso de diversas mdias (material impresso, CD, vdeo, Web e TV). Ainda esto em fase de desenvolvimento 14 treinamentos. No ano de 2004, houve aumento de 42,26% no nmero de treinamentos em relao ao ano de 2003. A empresa possui desde o ano 2000 um Sistema Integrado de Avaliao de Programas de T&D (SIAP) que avalia os treinamentos em termos de reaes, aprendizagem e comportamento no cargo, possuindo tambm uma experincia em avaliar treinamento no nvel da organizao. 4.2 Amostra A amostra nesta pesquisa considera tanto os treinamentos avaliados como os participantes desses treinamentos. 4.2.1 Treinamentos Avaliados Foi realizada uma pesquisa documental para identificar o conjunto de treinamentos oferecidos pela Empresa para os Gestores de nvel intermedirio, pblico-alvo escolhido para este estudo. Foram escolhidos quatro treinamentos, em parceria com tcnicos da Empresa, sendo que um pertencia rea de negcios com o tema Varejo e trs so da rea de apoio e abordam o tema Gesto de Pessoas. Essa escolha refletiu o interesse da Empresa em investigar os resultados de treinamento em dois temas primordiais para o seu desempenho: Varejo a rea onde atua o maior nmero de funcionrios da Empresa e onde se efetua o maior volume de negcios, pois a grande maioria dos clientes formada por pessoas fsicas. J a escolha do tema Gesto de Pessoas decorrente da preocupao da Empresa com a melhoria da atuao gerencial, que, segundo as diretrizes estratgicas, deveria ser focada no desenvolvimento profissional e na busca de melhores resultados das unidades e da organizao. No ano de 2002, os treinamentos para os gestores de nvel intermedirio das agncias foram priorizados pelo BB, iniciativa que foi mantida no ano de 2003. A Tabela 1 mostra os quatro cursos escolhidos e suas principais caractersticas. Dentre os quatro cursos escolhidos, trs foram desenvolvidos internamente e um contratado no mercado. Em termos de contedos, trs se referem a Gesto de Pessoas e um trata de negcios (investimentos financeiros).
Tabela 1: Caractersticas dos treinamentos avaliados. Curso Domnio Tema Temtico Negcios Varejo CIF Consultoria em Investimentos Financeiros Local de desenvolvimento Interno Fatores de Desempenho relacionados ao curso Viso Estratgica Ao Estratgica Anlise do Negcio Conhecimento de Produtos e Servios Conhecimento do Cliente Liderana Trabalho em Equipe Autodesenvolvimento Liderana Trabalho em Equipe Autodesenvolvimento Excelncia do Trabalho Excelncia do Trabalho Gesto de Processos Liderana

GD Gerente Desenvolvedor

Apoio

Gesto de Pessoas Gesto de Pessoas Gesto de Pessoas

Externo AMANA Key Interno

GERE Gesto de Equipes Apoio para Resultados Oficina GDP Oficina para Apoio Avaliadores da GDP

Interno

Os treinamentos descritos na Tabela 1, especialmente os de Gesto de Pessoas, apresentam diferentes graus de abrangncia dos contedos tratados. O curso Gerente Desenvolvedor foca o papel do gestor como agente de desenvolvimento profissional de seus subordinados. Nesse sentido, ele destaca um papel especfico a ser executado pelo gestor. O curso GERE aborda a liderana de equipes ou grupos como forma de garantir melhores
6

resultados. Assim, ele inclui um conjunto bastante extenso de contedos: motivao, reconhecimento, gesto do desempenho, coeso de grupo, retroalimentao, alinhamento do grupo com os objetivos da unidade etc. A Oficina Gerencial apresenta um contedo mais restrito, ela trata de um microprocesso que conduzido pelo gestor: a gesto do desempenho profissional, visando aperfeio-lo. Esses treinamentos so oferecidos regularmente pelas GEPES Regionais, que so os rgos descentralizados de gesto de pessoas, responsveis, dentre outras funes, pela execuo dos treinamentos. Esses Centros estruturam as turmas em funo da demanda por treinamentos, existente em suas regies. 4.2.2 Participantes Participaram da pesquisa Gestores de nvel intermedirio do Banco do Brasil, que atuavam em Agncias e rgos Regionais, nos diversos locais do Pas, e os membros da sua equipe de trabalho. Para facilitar a categorizao desse pblico-alvo, a partir deste momento, o gestor de nvel intermedirio passa a ser designado apenas por gestor. Em termos da caracterizao das unidades pesquisadas, as Agncias so unidades autnomas, responsveis pelo atendimento dos clientes da Empresa e pela realizao de negcios. Nas agncias esto lotados mais de 70% dos funcionrios da Empresa. J os rgos Regionais so setores que funcionam em todo Brasil para atender necessidades especficas de seus pblicos e que so vinculados s Diretorias ou Unidade da Administrao Central em Braslia. 4.3 Instrumentos e medidas de Avaliao de Impacto Como j descrito ao longo desse artigo, foram utilizados dois tipos diferentes de medidas. Ser apresentado inicialmente o instrumento de gesto de desempenho da Empresa e depois a descrio das medidas de impacto baseadas nos questionrios. 4.3.1 Gesto do Desempenho Profissional - GDP A metodologia de gesto do desempenho em vigor baseou-se nos pressupostos do balanced scorecard (Kaplan & Norton, 1997), sendo o desempenho de funcionrios e equipes de trabalho avaliado em cinco diferentes perspectivas, associadas a um conjunto de fatores de desempenho. A GDP foi, ento, composta por Fatores e Metas, como especificado a seguir: as metas dizem respeito aos resultados do desempenho dos grupos e das unidades, so definidas no acordo de trabalho para cada semestre e representam resultados em termos quantitativos; e os fatores descrevem comportamentos necessrios para o cumprimento das metas. Nesse sentido, os fatores representam a maneira como as pessoas precisam atuar, focam os processos de trabalho. A Tabela 2 a seguir apresenta o conjunto de Perspectivas que so utilizadas pelo Banco para mensurar as metas, bem como os fatores relacionados a cada uma dessas Perspectivas.
Tabela 2: Perspectivas, Fatores e Metas da Gesto de Desempenho Profissional - GDP. Perspectivas Fatores Avaliados Metas Comportamento Autodesenvolvimento Organizacional Liderana Trabalho em Equipe Estratgia e Operaes Ao Estratgica Viso Estratgica Processos Internos Gesto de Processos Especficas para Excelncia do Trabalho cada semestre Resultado Econmico Anlise do Negcio Esprito Empreendedor Negociao Satisfao do cliente Conhecimento de produtos e servios Conhecimento do cliente Relacionamento com o cliente 7

Como pode ser visto na Tabela 2 cada uma das perspectivas formada por um conjunto de fatores. As perspectivas representam desempenhos mais gerais, enquanto os fatores descrevem desempenhos especficos. As metas so definidas para cada perspectiva e so diferentes em cada semestre, em funo dos resultados esperados pela Empresa. Elas so estabelecidas para cada unidade da Empresa (agncias, rgos regionais e direo geral). Cada uma das perspectivas e seus respectivos fatores esto definidos operacionalmente. Alm disso, o Sistema GDP tambm oferece um conjunto de referenciais de desempenho para cada fator, de acordo com o segmento de cargo ao qual pertence o funcionrio. Referenciais de desempenho so descries do desempenho esperado do profissional, em cada fator, em funo do papel ocupacional que esteja exercendo. Eles auxiliam no entendimento do fator a ser avaliado e representam o que a literatura comumente denomina de indicadores comportamentais de desempenho ou ncoras. A avaliao de desempenho realizada semestralmente e o processo avaliatrio considerado um ciclo contnuo composto por trs etapas: planejamento (acordo), acompanhamento e formalizao. O tipo de avaliao de desempenho se caracteriza como descendente, uma vez que apenas o superior imediato avalia o desempenho de seus funcionrios nos fatores de desempenho. A escala utilizada para mensurar o desempenho dos indivduos nos fatores possui seis pontos, com os seguintes significados: 1 = no atendeu, utilizado para casos de no atendimento extremo; 2 = no atendeu; 3 = atendeu parcialmente; 4 = atendeu plenamente; 5 = superou; e 6 = superou de forma excepcional. Vale destacar que a escala possui dois pontos de no atendimento e dois de superao e que o valor que expressa 100% de atendimento o ponto 4 da escala. Esse ponto significa que o desempenho apresentado pelo indivduo corresponde integralmente ao que foi acordado no incio do perodo de avaliao. Na avaliao de desempenho dessa Empresa, podem ser visualizados dois tipos de conseqncias diretas para os indivduos: a indicao para o exerccio de cargos de maior complexidade; e o recebimento da Participao em Lucros e Resultados (PLR). Este ltimo estava vinculado apresentao de um padro mnimo de desempenho. Na realizao desta pesquisa, optou-se pela utilizao dos fatores de desempenho, como uma das formas de mensurao do impacto de treinamento no desempenho do indivduo. Essa opo foi feita porque os fatores so relativos aos processos de trabalho da pessoa treinada. O gestor tem mais controle sobre o seu prprio comportamento e dos seus subordinados do que sobre o atingimento de metas, uma vez que a quantidade de variveis que afetam o alcance de resultados da unidade bastante diversa, podendo inclusive extrapolar os limites da organizao. Nesta pesquisa, os fatores de desempenho que cada curso avaliado deveria desenvolver, foram utilizados como uma das medidas de impacto de treinamento no desempenho do indivduo e isso s foi possvel devido existncia de vinculao entre os objetivos instrucionais dos cursos e os fatores de desempenho da GDP. Tal vinculao foi feita para todos os treinamentos da empresa no Sistema Trilhas de desenvolvimento profissional (Freitas, 2002). 4.3.2 Questionrios de Avaliao de treinamento A formulao dos itens de impacto do treinamento no desempenho do gestor foi feita de forma diferente para os cursos externos e internos, tendo em vista a disponibilidade do material instrucional em cada um deles. Para os cursos internos, a elaborao dos itens foi baseada na anlise do material instrucional: Roteiro do Instrutor e Caderno do Treinando. Nesse material, encontram-se descritos os objetivos gerais, os especficos, os contedos abordados, as tcnicas didticas utilizadas, a durao de cada atividade, bem como o objetivo de cada atividade de ensino. Nos
8

cursos mais recentes, como foi o caso da Oficina Gerencial para avaliadores da GDP, o Roteiro do Instrutor j continha os desempenhos esperados no posto de trabalho, o que facilitou a atividade de formulao dos itens. Uma vez elaborados, os itens foram discutidos com a equipe de planejadores instrucionais. O objetivo foi verificar a pertinncia dos desempenhos esperados para cada curso, bem como os termos utilizados na redao dos itens. Participaram da discusso, no mnimo, dois planejadores e, no mximo, trs. Os itens foram ajustados em funo dessas discusses. A elaborao dos itens para o curso externo (Gerente Desenvolvedor) foi realizada pela equipe do SIAP Sistema Integrado de Avaliao de Programas, que tinha avaliado o curso em 2001. Para utilizao dos itens nesta pesquisa foi feito um reexame, em parceria com o Analista responsvel pela contratao do treinamento, para verificar a pertinncia dessas formulaes. Como no houve mudanas no curso, todos os itens foram mantidos. Os procedimentos listados, at o momento, trataram das medidas de impacto de treinamento no desempenho do indivduo em profundidade. Para avaliar o impacto em largura, foram utilizados os itens j validados pelo Banco, que descrevem operacionalmente as perspectivas de desempenho profissional utilizadas na avaliao de desempenho. A Tabela 3 a seguir, sintetiza as duas medidas de impacto de treinamento utilizadas e comparadas nesta pesquisa.
Tabela 3: Medidas de impacto de treinamento no desempenho do indivduo. Tipo de Impacto Medidas de Impacto de Treinamento Profundidade Com base na avaliao do curso Com base na avaliao de Fonte: Gestor e seu superior imediato desempenho da Empresa Fonte: Sistema GDP Heteroavaliao Auto-avaliao e Heteroavaliao Questionrio sobre desempenhos Diferenas nas mdias de desempenho especficos, de acordo com os do gestor treinado, antes e depois do contedos do treinamento. treinamento, em fatores especficos que o curso visa desenvolver. Auto-avaliao e Heteroavaliao Heteroavaliao Largura Questionrio sobre o impacto do Diferenas nas mdias de desempenho treinamento nas cinco perspectivas de do gerente treinado, antes e depois do desempenho da GDP. treinamento, nas cinco perspectivas de desempenho da GDP.

A primeira medida foi construda com base na percepo de melhoria do desempenho do gestor, depois do treinamento, foi baseada nos objetivos instrucionais. Os itens sobre impacto de treinamento em profundidade e largura foram os mesmos na auto e heteroavaliao. Foi solicitado aos respondentes que avaliassem o grau de contribuio do treinamento para a melhoria do desempenho no trabalho. Para tanto, foi utilizada uma escala de 1 a 10 pontos, onde 1= nenhuma contribuio e 10= contribuio muito grande. O questionrio tambm contemplou um conjunto de variveis demogrficas tais como sexo, escolaridade, tempo de empresa, idade, regio de localizao. A segunda medida de impacto representa o desempenho do gestor, de acordo com a GDP, formalizada semestralmente. O objetivo foi comparar o desempenho do gestor no semestre anterior ao treinamento com o desempenho no semestre do treinamento, tanto nos fatores especficos, previstos no curso (impacto em profundidade), quanto no desempenho geral, descrito nas perspectivas de desempenho corporativo (impacto em largura). Essa medida foi fornecida pelo Sistema GDP. O uso das duas medidas foi uma forma de investigar se a percepo das pessoas sobre a melhoria de desempenho, aps o treinamento, pode ser confirmada pelo desempenho observado pelo avaliador quando formalizou a avaliao do desempenho do gestor. Embora, na maioria dos casos, o avaliador seja o mesmo nos dois tipos de avaliao, podem ser observados resultados diferentes com as duas medidas, pois, ainda que as duas traduzam
9

percepes sobre o desempenho da pessoa treinada, os focos so diferentes. Alm disso, muitas outras variveis do contexto organizacional e pessoal podem influenciar o desempenho do indivduo, alm do treinamento, podendo contribuir para resultados de desempenho inferiores na GDP. 4.4 Procedimentos de Coleta de Dados A coleta de dados foi realizada em trs fases. A primeira envolveu anlise do material didtico de cada treinamento (Roteiro do Educador e Caderno do Participante), alm das especificaes dos treinamentos presentes no Site da Universidade Corporativa do Banco do Brasil. Essas anlises foram necessrias para construir os questionrios de impacto, identificar quais fatores cada curso visava desenvolver e a rea temtica e o tema dos cursos. A segunda fase de coleta foi realizada 90 dias aps o treinamento e foram encaminhados para o local de trabalho dos participantes os questionrios de impacto de treinamento nos desempenhos do indivduo. Cada gestor recebeu dois conjuntos de questionrios, sendo que um deveria ser respondido por ele (auto-avaliao) e o outro pelo seu superior imediato (heteroavaliao). Esses questionrios foram codificados para garantir a confidencialidade das respostas de cada respondente. No total foram enviados 1002 conjuntos de questionrios, sendo 271 do CIF, 398 do GERE, 65 do GD e 268 da Oficina GDP. O prazo concedido para preenchimento e encaminhamento dos questionrios de impacto de treinamento foi de trs a quatro semanas. Em funo da coleta ter sido realizada no perodo de frias, os questionrios retornaram no intervalo de tempo que variou entre 98 e 182 dias aps o treinamento. A terceira fase de coleta de dados consistiu na consulta ao banco de dados da Empresa no que se refere aos resultados da GDP. Foram coletados dados sobre o desempenho profissional no semestre anterior e no semestre do treinamento, assegurando que, a avaliao de desempenho tenha sido realizada, no mnimo, 90 dias aps o curso. Com base no que foi descrito nesta seo pode-se considerar que o delineamento desta pesquisa apresenta as seguintes caractersticas: adoo de avaliao somativa, onde se analisam os resultados do treinamento, aps o curso; uso de mltiplas fontes de pesquisa; estudo longitudinal para algumas variveis e corte transversal em outras (coleta de dados sobre desempenho do treinado antes e depois do treinamento); utilizao de dados primrios (questionrios) e de dados secundrios (GDP); tcnicas diversificadas de coleta de dados (anlise documental, questionrios). Abordagem metodolgica foi quantitativa, caracterizada como estudo de caso. 4.5 Procedimentos de Anlise de Dados As anlises foram realizadas utilizando o Statistical Package for the Social Sciences SPSS, verso 10.0 para Windows. Para verificar a existncia de mudanas significativas nos escores dos fatores de desempenho antes e depois do treinamento foi utilizada ANOVA para medidas repetidas. Para analisar os resultados do impacto de treinamento obtidos nos questionrios, considerou-se a magnitude das mdias de impacto e do desvio padro na auto e heteroavaliao. 5. RESULTADOS E DISCUSSO Esta seo est organizada na seguinte sequncia: o retorno dos questionrios e a caracterizao da amostra pesquisada; os resultados da avaliao de impacto de acordo com a GDP; os resultados obtidos com o uso de questionrios e a discusso sobre os resultados obtidos com os dois mtodos. Retornaram 336 questionrios de auto-avaliao de impacto no desempenho individual e 293 de heteroavaliao. O percentual de retorno considerando a auto-avaliao de impacto no desempenho individual foi de 31,6 (317 gestores). Esse ndice de retorno foi bastante prximo dos encontrados na maioria dos estudos (30%).
10

Observou-se que os participantes do curso tendem a responder mais aos questionrios de avaliao que os seus superiores imediatos. Essa tendncia tambm foi observada em outros estudos que utilizaram auto-avaliaes e avaliaes de superiores ou pares (Abbad, 1999; Carvalho e Abbad, 2003; Meneses e Abbad, 2003; Zerbini e Abbad, 2003 e Mouro, 2004) e sugere que os treinados, por terem participado do treinamento, parecem mais envolvidos e motivados para dar informaes sobre o resultado do treinamento em seus desempenhos. Em termos demogrficos, a amostra pesquisada caracterizada pela predominncia de gestores do sexo masculino, a maioria com, no mnimo, graduao e localizados na regio sul e sudeste do Pas, que j tinham participado de diversos treinamentos na empresa. Atuam na Empresa, em mdia h 17,7 anos com desvio-padro de 6,7 anos. A mdia de idade foi de 41 anos, com desvio-padro em torno de 6,6. De maneira geral as caractersticas da amostra so muito prximas das caractersticas da populao de gestores intermedirios das agncias e rgos regionais. No primeiro momento, foram comparadas as mdias obtidas em cada um dos fatores que cada treinamento visava desenvolver, de acordo com a Tabela 1. A tcnica estatstica utilizada foi a ANOVA para medidas repetidas. Ela indicada quando se pretende comparar se uma mesma medida aplicada aos mesmos sujeitos apresenta algum grau de diferenciao em funo dos momentos da aplicao. Geralmente, a diferenciao nas mdias esperada como decorrncia de algum tipo de interveno. No caso deste estudo, as mdias dizem respeito ao desempenho dos indivduos nos fatores e perspectivas da GDP, antes e depois do treinamento e a interveno o prprio treinamento. Assim, essa tcnica permite verificar se houve mudanas significativas nas mdias dos fatores e perspectivas de desempenho, depois que as pessoas foram treinadas. Antes da realizao da ANOVA para medidas repetidas, foram considerados os pressupostos dessa tcnica estatstica conforme recomendao de Weinfurt (2002). Todas as exigncias foram cumpridas. Os 10 casos outliers foram retirados porque podiam influenciar resultado dessa tcnica estatstica. A Tabela 4 sintetiza os resultados obtidos em termos de impacto do treinamento, usando os dados da avaliao de desempenho. Ela mostra o nmero possvel de fatores e perspectivas de desempenho a serem impactados e o impacto real observado.
Tabela 4: comparao entre o nmero de aspectos do desempenho a serem impactados pelo treinamento e o impacto observado. Cursos Avaliados Avaliao de Desempenho N de Fatores N de fatores a serem impactados impactados Gesto de Equipes para Resultados GERE 8 2 Gerente Desenvolvedor GD 7 0 Consultoria em Investimentos Financeiros - CIF 9 1 Oficina para Avaliadores da GDP 8 1

De maneira geral, pode-se dizer que o impacto dos treinamentos na GDP foi bastante inferior ao esperado. Em todos os treinamentos, com exceo do Gerente Desenvolvedor, esse impacto foi verificado em apenas um fator (impacto em profundidade) ou perspectiva (impacto em largura). Falta ainda analisar como foi a percepo dos participantes quanto contribuio do treinamento para a melhoria de seus desempenhos, com base nas respostas dadas aos questionrios de avaliao dos cursos. Essa anlise foi realizada com o banco de dados sem outliers, composto por 280 casos. Na percepo dos gestores treinados e seus superiores, revelada nos questionrios, o impacto do treinamento foi maior que o observado quando se comparou o desempenho formalizado na GDP, antes e depois do treinamento. A Tabela 5 apresenta as mdias de
11

impacto em profundidade dos quatro treinamentos, de acordo com a auto-avaliao e com a heteroavaliao.
Tabela 5: Impacto em profundidade, de acordo com os questionrios de avaliao de treinamento. Impacto de treinamento nos desempenhos especficos Cursos Auto-avaliao Heteroavaliao Mdia DP Mdia DP CIF 8,43 0,93 8,23 0,64 GD 8,35 0,65 8,27 0,98 GERE 8,36 0,87 8,10 1,08 Oficina GDP 8,25 0,97 8,37 1,08 Todos os cursos 8,36 0,89 8,20 1,01 N 280 257 Nota: escala de 1a 10 pontos, onde 1=nenhuma contribuio e 10=contribuio muito grande.

Considerando que a escala utilizada para mensurar o grau de contribuio do treinamento para o desempenho individual foi de 1 a 10 pontos, pode-se considerar que as mdias de impacto dos treinamentos foram altas, todas se situaram acima do ponto 8 da escala. No foram identificadas diferenas de impacto entre os cursos na auto-avaliao. O mesmo ocorreu com a heteroavaliao. Assim, em termos da contribuio do treinamento para os desempenhos diretamente relacionados aos contedos e objetivos dos treinamentos, no houve diferenas entre os cursos, no nvel de significncia de 0,05, de acordo com a ANOVA. Os cursos promoveram bons ndices de impacto, na percepo dos ex-treinandos e nas heteroavaliaes. As mdias de auto e heteroavaliao foram comparadas de forma global, considerando o resultado de todos os cursos. Neste caso, foi detectada diferena significativa entre as duas mdias, onde os participantes do treinamento perceberam maior impacto do que os seus superiores imediatos. A correlao entre as duas mdias de impacto em profundidade foi de 0,43, ao nvel de significncia de 0,01. Isto representa uma varincia compartilhada de 18%, o que confirma a existncia de percepes diferentes entre a auto e heteroavaliao. Esses resultados sugerem que o treinando por ter participado do treinamento, conhece melhor o que esperado dele depois do curso e pode associar, com mais facilidade, a aprendizagem adquirida no treinamento e com seu trabalho cotidiano. Por isso, percebe maior impacto em profundidade que o seu superior imediato. A utilizao da auto e heteroavaliao vem ao encontro das sugestes dos estudiosos sobre a necessidade de comparar as percepes dos diferentes agentes envolvidos, sendo uma forma de garantir maior confiabilidade no julgamento sobre o impacto de treinamento (Leito, 1996; Abbad, 1999; Sallorenzo 2000; Meneses e Abbad, 2003). Os participantes da pesquisa tambm avaliaram a contribuio do treinamento para os seus desempenhos gerais (amplitude). A Tabela 6 mostra as mdias e os desvios-padro encontrados para a auto e heteroavaliao.
Tabela 6: Impacto em amplitude, de acordo com os questionrios de avaliao de treinamento. Impacto de treinamento nos desempenhos gerais Cursos Auto-avaliao Heteroavaliao Mdia DP Mdia DP CIF 8,53 1,11 8,44 0,93 GD 8,40 0,79 8,64 0,80 GERE 8,25 0,99 8,35 1,09 Oficina GDP 8,17 0,98 8,02 1,79 Todos os cursos 8,34 1,02 8,43 1,02 N 279 257 Nota: escala de 1a 10 pontos, onde 1=nenhuma contribuio e 10=contribuio muito grande.

A Tabela 6 mostra que as mdias de impacto em amplitude tambm foram altas. Foi utilizada a mesma escala de 10 pontos. Vale destacar o tamanho do desvio padro da Oficina GDP na heteroavaliao, o que sugere opinio diversificada sobre o impacto de treinamento.
12

Na auto-avaliao e na heteroavaliao, no foram observadas diferenas significativas entre os cursos, ao nvel de significncia de 0,05. O nvel de impacto de treinamento promovido pelos diferentes cursos no desempenho geral pode ser considerado igual. Os resultados das comparaes das mdias de impacto em amplitude para todos os cursos indicaram diferenas significativas entre a auto e heteroavaliao, ao nvel de significncia de 0,05. Neste caso, os superiores imediatos relataram maior impacto do treinamento no desempenho geral que os gestores. A correlao entre essas duas mdias foi de 0,28 ao nvel de significncia de 0,01. Essa correlao corresponde a uma varincia compartilhada de 7%, o que confirma diferenas nas percepes dos dois tipos de avaliadores, com relao ao impacto do treinamento no desempenho geral da pessoa treinada. O fato de os superiores imediatos serem mais benevolentes do que os gestores, em termos de impacto em amplitude, pode ser compreendido pela mesma razo que as pessoas treinadas percebem maior impacto em profundidade. Como o superior imediato conhece menos os contedos e objetivos do treinamento que o ex-treinando, ele percebe a melhoria no desempenho de forma global e atribui ao treinamento a responsabilidade pela melhoria. Enquanto o funcionrio treinado capaz de discriminar melhor entre o desempenho especfico, relacionado ao treinamento, e o desempenho geral. Os estudos realizados por Borges-Andrade, Gama e Oliveira-Simes (1999); e Mouro (2004) confirmam os resultados desta pesquisa quanto percepo de maior impacto em amplitude na heteroavaliao. Vale ressaltar que, embora as mdias na auto e heteroavaliao obtidas por meio dos questionrios sejam prximas, em magnitude, existem diferenas entre elas, indicando percepes diferenciadas quanto ao mesmo aspecto. A mesma anlise for feita usando correlaes e indicou similaridade na percepo de impacto em profundidade e largura dentro de uma mesma fonte de avaliao. Isto significa que se um determinado avaliador considerou que o treinamento promoveu impacto em profundidade, ele tambm avalia que houve impacto em largura. Isso ocorreu tanto na auto quanto na heteroavaliao. No entanto, quando se compara a percepo das duas fontes sobre um tipo de impacto em particular (profundidade ou largura), as correlaes so menores. Esse resultado refora a necessidade de continuar utilizando fontes diferentes para avaliao de impacto de treinamento. At esse momento, foi discutida a similaridade ou no entre as medidas de impacto na opinio das diferentes fontes de coleta de dados, quando se utilizou o mesmo instrumento: questionrios. Outra questo importante a ser discutida neste estudo a diferena observada no impacto de treinamento no desempenho do indivduo quando so utilizados instrumentos diferentes para uma mesma fonte de avaliao. Cabe a pergunta: porque as mdias de impacto de treinamento identificadas por meio de questionrios, na heteroavaliao, foram mais expressivas que as verificadas na GDP, se as duas avaliaes foram realizadas pela mesma fonte: o superior imediato? As diferenas observadas com o uso dos dois mtodos de aferio de impacto de treinamento podem ser decorrentes das caractersticas do instrumento de avaliao de desempenho. Como ele est relacionado ao pagamento de benficos (PLR) e ascenso na carreira, existe uma tendncia natural para a lenincia na avaliao, antes e depois do treinamento. As mdias dos fatores anteriores ao treinamento foram todas superiores ao ponto quatro da escala de avaliao. Se esse ponto indica atendimento pleno do que era esperado pela Empresa, pode-se considerar que esses profissionais no necessitavam ser treinados naqueles aspectos ou ainda, que a avaliao de desempenho no vem sendo utilizada para identificar necessidades de treinamento. Outro aspecto que pode ter contribudo para a identificao de poucos fatores impactados pelo treinamento foi o tipo de escala utilizada. Ela fornece pouco espao para crescimento, pois os dois pontos superiores a 4 j indicam superao. Isso significa dizer que

13

as mdias j eram altas e que a tendncia seria, de acordo com a estatstica, de regresso e no de aumento. Assim, o instrumento de avaliao de desempenho atual mostrou-se pouco adequado para identificar necessidades de treinamento, bem como para verificar os efeitos do treinamento no desempenho dos indivduos treinados. Apesar disso, os resultados encontrados neste estudo foram mais promissores do que os de Nbrega (2003), onde nenhum efeito de treinamento foi observado no desempenho das pessoas treinadas, de acordo com a GDP. Esse autor avaliou somente um curso e investigou a mudana no desempenho em um nico fator. Diferentemente da sugesto de Nbrega (2003) que indicou a necessidade de reviso no mtodo de avaliao de treinamento da Empresa, a sugesto nesta pesquisa que o instrumento de avaliao de desempenho seja reestruturado, pois, da forma como ele se apresenta hoje, parece inadequado comparar os resultados da avaliao de treinamento com os de desempenho. Esta ltima precisa, primeiramente, ter seus objetivos finais modificados. O foco principal precisa recair sobre o desenvolvimento profissional. Neste caso, o diagnstico de um desempenho discrepante no seria acompanhado de uma conseqncia negativa como acontecia no perodo estudado, onde o funcionrio no recebia a PLR. Neste novo foco, a conseqncia seria positiva, a identificao de oportunidades de aquisio de novos CHAs, se o problema de desempenho estiver relacionado falta de habilidade. Alm disso, h necessidade de revisar os pontos da escala de avaliao. Utilizar dois pontos de superao de desempenho parece inadequado e pode levar os indivduos, erroneamente, a considerar que o desempenho pleno (ponto 4 da escala) pode ser visto como medocre pela organizao. Essa percepo contribui, mais uma vez, para a lenincia. 6. Concluses, recomendaes e limitaes De forma geral, pode-se concluir que o uso da avaliao de desempenho como indicador de impacto de treinamento produz resultados pouco confiveis, no sendo, portanto, adequado. Na maioria das organizaes, os instrumentos de avaliao tm mltiplos objetivos, por vezes conflitantes. Assim, dependendo das outras conseqncias associadas ao desempenho (ascenso, remunerao), o diagnstico de desempenho abaixo do esperado gera aes punitivas para o indivduo, contribuindo assim para a ocorrncia de avaliaes lenientes. O uso da avaliao de desempenho para avaliar impacto de treinamento exige que esse instrumento esteja eminentemente voltado para a melhoria contnua do desempenho profissional, sendo portanto capaz de identificar desempenhos deficientes e oportunidades de melhoria, caracterstica pouco freqente nos instrumentos de avaliao das empresas. Os tericos do desempenho humano no trabalho indicam que muitos fatores influenciam o desempenho no trabalho: caractersticas do indivduo; da tarefa; do contexto de trabalho e da organizao. Em funo desta realidade, o treinamento no pode ser visto como responsvel nico pela melhoria do desempenho das pessoas. Por isso, usar somente os instrumentos de avaliao de desempenho das empresas para verificar a efetividade dos treinamentos precisa ser uma medida cuidadosamente questionada. A qualidade do instrumento de avaliao a primeira reflexo, os objetivos tambm precisam ser analisados. Alm desses cuidados, necessrio investigar outros fatores que contriburam ou dificultaram o desempenho no trabalho, para evitar concluses inadequadas. Para a empresa pesquisada, no recomendada a utilizao da avaliao de desempenho como instrumento para avaliar efetividade de treinamento, na forma como ela est em vigor. O instrumento precisa ser reformulado, focando o diagnstico de necessidades de desenvolvimento de novos CHAs, alm de buscar objetivos menos antagnicos. Uma das limitaes desta pesquisa se refere ao fato da pesquisa ter sido realizada em uma nica organizao, desta forma a nfase foi na validade interna. Portanto, os resultados ficam restritos realidade da empresa estudada, no podendo ser generalizados para outros

14

contextos, mesmo considerando que muitos dos problemas dos instrumentos de avaliao de desempenho sejam comuns s organizaes. A segunda limitao est na no investigao dos outros fatores que contriburam ou dificultaram o desempenho aps o treinamento. Essa anlise pode contribuir para a compreenso dos motivos pelos quais foi possvel ou no identificar impacto de treinamento no desempenho da pessoa treinada. Pesquisas futuras precisam incluir esse tipo de estudo. Em termos de contribuies desta pesquisa para a teoria e a prtica das organizaes, os resultados encontrados incentivam as organizaes a construrem sua prpria sistemtica de avaliao de treinamento, aplicada sua realidade e de acordo com os mtodos de construo de instrumentos j consagrados na literatura estrangeira e nacional. Encurtar caminhos para avaliar a efetividade dos treinamentos pode levar a resultados tortuosos e a concluses inadequadas quanto real contribuio do treinamento para a empresa. REFERNCIAS BIBLIOGRFICAS ABBAD, G. Um modelo integrado de avaliao do impacto de treinamento no trabalho IMPACT. 1999.262 p. Tese (Doutorado em Psicologia) - Universidade de Braslia, Braslia, 1999. ABBAD, G.; BORGES-ANDRADE, J.E. Aprendizagem humana em organizaes de trabalho. Em ZANELLI, J.C., BORGES-ANDRADE, J.E.; BASTOS, A.V.B. (Orgs.), Psicologia, Organizaes e Trabalho no Brasil (p. 237-275). Porto Alegre: Artmed, 2004. ABBAD, G., PILATI, R.; PANTOJA, M. J. Avaliao de Treinamento: Anlise da literatura e agenda de pesquisa. RAUSP - Revista de Administrao, So Paulo, v. 38, n.3, p.205-218, 2003. Alliger, G.M.; Janak, E.A. Kirpatricks levels of training criteria: thirty years later. Personnel Psychology, 42, p.331-341, 1989. BORGES-ANDRADE, J.E. Avaliao somativa de sistemas instrucionais: integrao de trs propostas. Tecnologia Educacional, v. XI, n.46, p. 29-39, 1982. BORGES-ANDRADE, J.E. Desenvolvimento de medidas em avaliao de treinamento. Estudos de Psicologia (UFRN), v. 7, n. Especial, p. 31-43, 2002. BORGES-ANDRADE, J.E.; ABBAD, G. Pesquisa em treinamento e desenvolvimento: reflexes sobre as pesquisas cientficas. Revista de Administrao, 31(2), p.112-125. 1996. BORGES-ANDRADE, J.E., GAMA, A.L.G.; OLIVEIRA-SIMOES, J.T. Impacto de treinamentos no trabalho: o caso Banco do Brasil [resumo]. Em Sociedade Brasileira de Psicologia (Org.), Resumos de Comunicao Cientfica, XXIX Reunio Anual de Psicologia (p.53c). Ribeiro Preto, SBP, 1999. CARVALHO, R.S.; ABBAD, G. Avaliao de um treinamento a distncia: reao, suporte transferncia e impacto de treinamento no trabalho. Encontro da Associao Nacional dos Programas de Ps-Graduao em Administrao. Anais eletrnicos do 27 ENANPAD, Atibaia, 2003. CHENG, E.W.K.; HO, D.C.K. A review of transfer of training studies in the past decade. Personnel Review, 30 (1), p. 102-118, 2001. FREITAS, I. A . Diagnstico de problemas de desempenho no trabalho: uma aplicao do modelo de Gilbert numa instituio de crdito. 1992.68 p. Dissertao (Mestrado em Psicologia)- Universidade de Braslia, Braslia, 1992. FREITAS, I. A. Trilhas de Desenvolvimento Profissional: Da teoria prtica. Encontro da Associao Nacional dos Programas de Ps-Graduao em Administrao. Anais eletrnicos do 26 ENANPAD, Salvador, 2002. FREITAS, I.A. Impacto de treinamento nos desempenhos do indivduo e do grupo de trabalho: suas relaes com crenas sobre o sistema de treinamento e suporte aprendizagem contnua. 2005.278 p. Tese (Doutorado em Psicologia) Universidade de Braslia, Braslia, 2005.
15

GOLDSTEIN, I.L. Training in work organizations. In: M.D. DUNNETTE.; L.M. HOUGH (Orgs.), Handbook of industrial and organizational psychology (pp. 507-619). Palo Alto, Cal: Consulting Psychologists, 2 edio, 1991. Hamblin, A.C. Avaliao e controle de treinamento. So Paulo: McGraw-Hill do Brasil, 1978. HIPLITO, J. A.M.; REIS, G.G. Avaliao como instrumento de gesto. Em: vrios autores. As pessoas na organizao (p.73-86). So Paulo, Editora Gente, 2002. KAPLAN, R.S.; NORTON, D.P. A estratgia em ao: balanced scorecard. Rio de Janeiro: Ed. Campus, 1997. KIRKPATRICK, D.L. Evaluation of training. In: Craig R. L. (Org.), Training and development handbook (18.1-18.27). New York: Mc Graw-Hill, 1976. LATHAM, G.P. Behavioral approaches to the training and learning process. In: GOLSTEIN, I. (Org.), Training and development in work organizations: frontiers of industrial and organizacional psychology (p.35-52). San Francisco: Jossey Bass, 1989. LEITO, J.S.S. Clima organizacional na transferncia de treinamento. Revista de Administrao, 31(3), p. 53-62, 1996. MENESES, P.P.M.; ABBAD, G. Preditores individuais e situacionais de auto e heteroavaliao de impacto de treinamento no trabalho. RAC - Revista de Administrao Contempornea, 7, Edio Especial, p.185-204, 2003. MILANI, I. Sistemas de avaliao de desempenho: uma reviso de literatura. Revista de Administrao. 23(3), p.45-57, 1988. MOURO, L. Avaliao de programas pblicos de treinamento: um estudo sobre o impacto no trabalho e na gerao de emprego. 2004. 207 p. Tese (Doutorado em Psicologia) Universidade de Braslia, Braslia, 2004. NOBREGA, F.O impacto de cursos comportamentais no fator liderana da pesquisa de clima e da avaliao de desempenho de uma instituio financeira. 2003. 106 p. Dissertao (Mestrado em Administrao) - Universidade de Braslia, Braslia, 2003. PANTOJA, M.J.B., LIMA, S.M.V.; BORGES-ANDRADE, J.E. Avaliao de impacto de treinamento na rea de reabilitao: preditores individuais e sociais. RAUSP Revista de Administrao, 36(2), p.46-56, 2001. PANTOJA, M.J.B.; BORGES-ANDRADE, J.E. Uma abordagem multinvel para o estudo da aprendizagem e transferncia nas organizaes. Anais eletrnicos do 26 ENANPAD, Salvador, 2002. PONTES, B.R. Avaliao de desempenho: uma abordagem sistmica. So Paulo, LTr Editora, 1991. SALAS, E.; CANNON-BOWERS, J. The science of training: a decade of progress Annual Review Psychology, 52, p. 471- 499, 2001. SALLORENZO, L.H. Avaliao de impacto de treinamento no trabalho: analisando e comparando modelos de predio. 2000. 69 p. Dissertao (Mestrado em Psicologia) Universidade de Braslia, Braslia, 2000. WEINFURT, K.P. Repeated measures analyses: ANOVA, MANOVA, and HLM. In: GRIMM, L.G.; YARNOLD, P.R. (Orgs.), Reading and understanding more multivariate statistics (p.317-360). Washington: American Psychological Association, 2002. ZERBINI, T.; ABBAD, G. Avaliao de um treinamento via internet: estratgias de aprendizagem, reaes aos procedimentos e ao tutor, suporte transferncia e impacto de treinamento no trabalho. Encontro da Associao Nacional dos Programas de Ps-Graduao em Administrao. Anais eletrnicos do 27 ENANPAD, Atibaia, 2003.

16