LIEKO SAKAMORI

A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS

UNICAMP INSTITUTO DE ESTUDOS DA LINGUAGEM 2006 i

ii

LIEKO SAKAMORI

A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS

Dissertao apresentada ao Programa de Ps-Graduao em Lingstica Aplicada, do Instituto de Estudos da Linguagem da Universidade Estadual de Campinas, como requisito parcial para obteno do ttulo de Mestre em Lingstica Aplicada na rea de Ensino-Aprendizagem de Segunda Lngua e Lngua Estrangeira. Orientadora: Profa. Dra. Scaramucci

Matilde

Virginia

Ricardi

UNICAMP INSTITUTO DE ESTUDOS DA LINGUAGEM 2006 iii

iv

vi

Aos meus pais, pelo incentivo e carinho.

vii

viii

AGRADECIMENTOS

Profa. Dra. Matilde, pela amizade, incentivo, ensinamentos e sugestes que me ajudaram a amadurecer profissionalmente. Ao Prof. Dr. Nelson Viana e Profa. Dra. Elza Taeko Doi, pelas sugestes e direcionamentos durante o exame de qualificao. Aos funcionrios do IEL, pelo carinho e ateno. equipe do Celpe-Bras, pela ateno e colaborao sempre que precisei. Aos participantes desta pesquisa, pela valiosa colaborao. Aos meus pais, por me incentivarem a lutar pelos meus objetivos. s minhas irms, pelo apoio e carinho; em especial minha irm Akina, pelas anlises estatsticas desta pesquisa. Aos familiares e amigos, por sempre estarem ao meu lado.

ix

RESUMO
A confiabilidade um aspecto fundamental da avaliao. Um teste considerado confivel quando no h variveis que possam afetar a avaliao do desempenho do candidato. Elas podem estar relacionadas s condies de aplicao do teste, ou atuao dos entrevistadores. No entanto, no caso das avaliaes orais como as interaes face a face, em que o candidato interage com o entrevistador, o controle da confiabilidade se torna mais difcil, j que as interaes envolvem inmeras variveis. Para controlar essas variveis, formam-se entrevistadores e elaboram-se procedimentos, regras e critrios de avaliao. Mesmo assim, podem existir variveis que no foram previstas em relao s interaes. O objetivo deste trabalho fazer uma anlise da atuao dos entrevistadores na interao face a face do exame Celpe-Bras (Certificado de Proficincia em Lngua Portuguesa para Estrangeiros). Esse exame, desenvolvido pelo Ministrio da Educao do Brasil e em uso desde 1998, certifica os candidatos estrangeiros em quatro nveis: Intermedirio, Intermedirio Superior, Avanado e Avanado Superior. Ele composto de duas partes, uma prova escrita e outra oral. A avaliao oral uma interao face a face, com durao de 20 minutos. O candidato avaliado por um entrevistador e um observador. Os resultados do estudo mostraram que houve variaes em relao atuao dos entrevistadores, podendo ser consideradas colaborativas e/ou no colaborativas. Espera-se que este trabalho possa contribuir para um maior entendimento das avaliaes orais em geral, e mais especificamente, servir de subsdio para o aprimoramento do Manual do Entrevistador do exame Celpe-Bras.

Palavras-chave: avaliao oral, interao face a face, atuao do entrevistador.

xi

xii

ABSTRACT

Reliability is a fundamental concept in assessment. A test is considered to be reliable when there are no variables that can affect the candidates performance assessment. They can be related to the conditions of test application or interviewers performance. However, in the case of oral assessments such as face to face interactions, in which the candidate interacts with an interviewer, the control of reliability becomes more difficult, since the interactions will involve many variables. In order to control those variables, interviewers are trained and test procedures, rules and criteria are elaborated. Even though, there can be variables that were not predicted to the interactions. The aim of this work is to analyze interviewers performance in face to face interaction of Celpe-Bras examination (Proficiency in Portuguese as a Foreign Language). This examination, developed by the Ministry of Brazilian Education and in use since 1998, certifies foreign candidates in four levels: Intermediate, High Intermediate, Advanced and High Advanced. It has two parts, a writing test and a speaking one. The oral test is a 20 minutes face to face interaction. The candidate is evaluated by an interviewer and an observer. The results of this study pointed that there were variations concerning interviewers performance, which could be considered collaborative and/or non-collaborative. It is expected that this work can contribute to a better understanding of oral evaluations in general, and more specifically, to serve as subsidy to the improvement of Interviewers Manual of CelpeBras examination.

Key words: oral assessment, face to face interaction, interviewers performance.

xiii

xiv

SUMRIO
1. A Trajetria da pesquisa 1.1. Introduo .......................................................................................................01 1.2. O exame Celpe-Bras .......................................................................................05 1.3. O problema da pesquisa e a justificativa da escolha do tpico ......................10 1.4. A interao face a face ...................................................................................15 1.5. Objetivos da pesquisa .....................................................................................18 1.6. Metodologia .....................................................................................................19 1.7. Estruturao da dissertao ...........................................................................20 2. Confiabilidade entrevistadores 2.1 Introduo ........................................................................................................23 2.2. Variao dos entrevistadores na atribuio de notas .....................................24 2.3. Estudos sobre avaliao oral no Brasil ...........................................................30 2.4. Confiabilidade e validade em exames orais ....................................................32 2.5. O aspecto cultural nas entrevistas ..................................................................54 3. Anlise dos dados e discusso dos resultados 3.1. Introduo .......................................................................................................59 3.2. Dados relacionados aos procedimentos do exame ........................................59 3.3. Dados relacionados aos estilos dos entrevistadores ......................................90 3.4. Atribuio de notas pelos entrevistadores e observadores ..........................110 3.5. Consideraes finais .....................................................................................115 Referncias bibliogrficas ....................................................................................121 xv na avaliao oral: um olhar sobre a atuao de

Anexos Anexo 1: Questionrio para estrangeiros que moram no Brasil ..............................127 Anexo 2: Elemento provocador ................................................................................131 Anexo 3: Roteiro para aplicao ..............................................................................135 Anexo 4: Elemento provocador: Adeus, olho gordo .................................................139 Anexo 5: Elemento provocador: Co e o carteiro ....................................................143 Anexo 6: Elemento provocador: Ordem na casa, ordem na vida ............................147 Anexo 7: Elemento provocador: Super-heris .........................................................151 Anexo 8: Elemento provocador: Compra pela internet.............................................155 Anexo 9: Elemento provocador: Escolha da profisso ............................................159 Anexo 10: Elemento provocador: Presentes.............................................................163 Anexo 11: Elemento provocador: Quando voc se sente um peixe fora dgua? ...167 Anexo 12: Elemento provocador: Gaiola .................................................................171 Anexo 13: Elemento provocador: Eles e elas ..........................................................175 Anexo 14: Elemento provocador: Amor de sogra ...................................................179 Anexo 15: Elemento provocador: Mulher apaixonada ............................................183 Anexo 16: Instrues para aplicao do exame ......................................................187

xvi

NOTAS DE TRANSCRIO Adaptado de Atkinson & Heritage (1984) 1.Falas simultneas: [[ 2. Sobreposio de falas: [ ou [ ] (para indicar o comeo e o fim da sobreposio de falas) 3. Falas contnuas: = (quando no h intervalos entre as falas e a segunda fala ocorre imediatamente aps a primeira fala) 4. Pausas: ( ) (marcadas por segundos) 5. Prolongamento do som ou da slaba: : 6. Caracterizaes na forma de falar: (( )) 7. Dvidas e suposies do transcritor: ( ) , quando no se sabe o que foi falado: (ininteligvel) 8. Destaques: para sinalizar as falas a serem discutidas

xvii

LISTA DE FIGURA
Figura 1 Caractersticas da avaliao oral .............................................................25

LISTA DE GRFICOS

Grfico 1 Grfico 2 Grfico 3 Grfico 4 Grfico 5 Grfico 6

Tempo total por entrevistador .................................................................63 Tempo da primeira parte ........................................................................64 Tempo do 1. Elemento provocador .......................................................66 Tempo do 2. Elemento provocador .......................................................67 Tempo do 3. Elemento provocador .......................................................69 Porcentagem de cumprimento das etapas por entrevistador .................74

xviii

LISTA DE TABELAS

Tabela 1 Tabela 2 Tabela 3 Tabela 4 Tabela 5 Tabela 6 Tabela 7 Tabela 8 Tabela 9

Durao das entrevistas .........................................................................60 Tempo total da entrevista por entrevistador ............................................63 Tempo da primeira parte da entrevista por entrevistador .......................65 Tempo do 1. Elemento provocador por entrevistador ............................66 Tempo do 2. Elemento provocador por entrevistador ............................68 Tempo do 3. Elemento provocador por entrevistador ............................69 Etapas dos Elementos Provocadores .....................................................72 Etapas da entrevista por entrevistador ...................................................74 Elementos caracterizadores dos estilos colaborativos e no-colaborativos

dos entrevistadores..........................................................................................108 Tabela 10 Quantidade de notas por avaliador........................................................111 Tabela 11 Associao de avaliador como entrevistador e observador ..................112 Tabela 12 Notas dos candidatos ............................................................................113

xix

xx

CAPTULO I
A TRAJETRIA DA PESQUISA

1.1 INTRODUO No contexto escolar, a avaliao oral faz parte do processo de ensino e aprendizagem de uma lngua estrangeira. Avaliar no significa apenas diagnosticar o produto, ou seja, se um determinado contedo foi assimilado ou no de maneira satisfatria pelo aluno, mas tambm serve como um termmetro para o professor, isto , se h a necessidade de modificaes em relao sua abordagem de ensino, materiais, etc. Por exemplo, se um determinado contedo no foi bem assimilado pelos alunos, h a necessidade do professor retom-lo novamente ou rever a sua prtica de ensino. A avaliao descrita acima denominada de rendimento e se ope avaliao de proficincia que, por sua vez, tem como objetivo julgar o nvel de desenvolvimento de competncia lingstica em que se encontra um candidato. Nesse caso, a avaliao no est relacionada diretamente a contedos vistos em sala de aula, mas em identificar o quanto um candidato sabe usar a lngua para desempenho futuro, tendo em vista uma anlise de necessidades. Para que uma avaliao seja bem elaborada, necessrio considerar alguns aspectos, como confiabilidade e validade. O primeiro est relacionado s variveis de um teste que possam interferir naquilo que se quer avaliar. Por exemplo, um barulho externo que, de alguma maneira, pode prejudicar a concentrao dos

alunos e modificar a sua atuao no teste.

J o segundo est relacionado aos

objetivos de um teste, ou seja, se aquilo que ele se prope a avaliar est sendo de fato avaliado. Se o objetivo avaliar a produo oral de um candidato, uma forma eficaz para isso seria pedir a ele que fale. Sob uma perspectiva histrica, a avaliao tem se modificado de acordo com as mudanas em relao s abordagens de ensino e aprendizagem de lngua. No final dos anos 50, a viso de linguagem era a estruturalista, ou seja, a lngua poderia ser dividida em pequenas partes e saber uma lngua significava saber como combinar essas partes para formar estruturas gramaticalmente corretas. Para avaliar essa viso de lngua, os testes de item isolado (discrete-point test) foram utilizados. Nesse perodo, a confiabilidade foi enfatizada, pois era importante que a avaliao fosse feita de forma consistente, sem variaes. Por exemplo, em um teste de mltipla escolha h apenas uma resposta correta e no h a necessidade de se fazer julgamentos subjetivos, o que poderia contribuir para variaes em relao atribuio de notas. J no final dos anos 60, a viso de linguagem que se destacou foi mais funcionalista, isto , a lngua, que antes era descontextualizada e dividida em pores menores, passa a ser vista como um cdigo contextualizado, com enfoque nas funes da linguagem (pedir um conselho, dar opinio etc.). Com isso, o enfoque da avaliao tambm se modifica. O foco passa a ser a validade, ou seja, se os objetivos de um teste esto sendo de fato avaliados. Se o intuito avaliar o desempenho oral de um candidato, por exemplo, seria necessrio coloc-lo em uma situao em que ele tivesse que demonstrar esse desempenho. Nesse caso, a avaliao mais adequada seria uma entrevista oral e no um teste de mltipla 2

escolha. Em outras palavras, passa-se a avaliar o uso ou desempenho e no mais conhecimentos sobre a lngua. Uma vez que o foco est no uso, a avaliao se torna mais subjetiva e propcia a variaes, pois h a necessidade de avaliadores para julgar o desempenho do candidato. Por outro lado, os critrios de avaliao so criados para garantir a confiabilidade. Os primeiros exames orais surgem nos anos 50, como a entrevista de proficincia oral (EPO)1, desenvolvida pelo Instituto de Servio Estrangeiro (FSI), com o intuito de avaliar, primeiramente, a habilidade oral de militares americanos que assumiam postos no exterior e, mais tarde, nos anos 60, de alunos estrangeiros que ingressavam nas universidades norte-americanas. No incio, a preocupao estava voltada para uma descrio dos nveis de proficincia, com o intuito de assegurar a confiabilidade da avaliao oral. Em seguida, o enfoque foi voltado para a validade da avaliao oral, comparando-se as avaliaes orais (entrevistas) com as conversas. O aspecto da confiabilidade volta a ser tema dos estudos na dcada de 90, focalizando a atuao dos entrevistadores/avaliadores 2 e dos candidatos nas entrevistas. Em suma, embora a nfase na confiabilidade e na validade tenha se modificado durante os anos, elas no podem ser vistas como dois aspectos que se opem, mas que se complementam. Para um teste ser vlido, necessrio que antes seja confivel, pois se houve variaes em relao s condies de aplicao do teste e que levaram a uma modificao do desempenho do candidato, a amostra

O termo original em ingls OPI (Oral Proficiency Interview) foi traduzido neste trabalho como EPO. H uma distino entre Entrevistador e Avaliador. Entrevistador aquele que conduz a entrevista oral e Avaliador aquele que atribui nota ao candidato. Em algumas situaes, o Entrevistador tambm pode atuar como Avaliador.
2

desse desempenho no ser significativa, e portanto, a validade do teste tambm afetada. Se, por um lado, a avaliao oral como uma entrevista face a face considerada vlida por colocar o candidato em uma situao em que ele tenha que falar e que representativa das situaes em que ele tenha que se desempenhar na vida real, por outro, necessrio que as variveis durante a conduo da entrevista sejam controladas e minimizadas para que a confiabilidade seja garantida. Portanto, para tornar uma avaliao confivel, necessrio, alm de um exame bem elaborado, que os entrevistadores recebam uma formao especfica3, que se estabelea uma grade para definir os aspectos do desempenho a serem avaliados e que os procedimentos do exame sejam seguidos pelos entrevistadores. Mesmo que essas condies sejam estabelecidas, a confiabilidade do exame no est garantida porque no se sabe como ocorrer a interao entre o entrevistador e o candidato. Por se tratar de interaes, uma ser diferente da outra e com isso, variaes entre elas existiro. O que se deve observar at que ponto essas variaes podem criar condies que ameacem a confiabilidade do exame. Neste estudo, pretendo analisar a atuao dos entrevistadores nas interaes face a face do exame Celpe-Bras com o intuito de identificar as possveis variveis que possam ameaar a confiabilidade do exame. Espera-se que este trabalho possa servir de subsdio para uma descrio mais detalhada em relao atuao do entrevistador no Manual do Entrevistador.

Neste trabalho optei por usar formao em vez de treinamento de entrevistadores porque o termo sugere uma viso menos mecanicista.

Este captulo est organizado em seis partes. Na primeira, o exame CelpeBras apresentado. Na segunda, o problema de pesquisa e a justificativa da escolha do tpico so abordados. Na terceira, a interao face a face do exame discutida. Na quarta, os objetivos desta pesquisa, operacionalizados atravs de perguntas, so apresentados. Na quinta, a metodologia utilizada discutida. Por fim, na sexta, a estruturao da dissertao apresentada. Na prxima seo, apresentarei de forma mais detalhada as

caractersticas do exame. As informaes foram obtidas a partir do Manual do Candidato (2003).

1.2. O EXAME CELPE-BRAS O Celpe-Bras o Certificado de Proficincia em Lngua Portuguesa para Estrangeiros, desenvolvido e outorgado pelo Ministrio da Educao (MEC) do Brasil desde 1998. Ele o nico certificado de proficincia em portugus reconhecido pelo governo brasileiro. O exame aplicado duas vezes ao ano, tanto no Brasil como tambm em outros pases. Os candidatos ao Celpe-Bras so estrangeiros nolusfonos, maiores de 16 anos e que tenham, pelo menos, cursado o ensino fundamental. No Brasil, o certificado j exigido para ingresso nas universidades para os cursos de graduao e ps-graduao. Alm disso, algumas empresas e instituies tambm esto exigindo o certificado para que profissionais estrangeiros possam atuar na sua rea de formao no Brasil. O Celpe-Bras tambm exigido pelos Conselhos Regionais de Medicina (CRM) para que um mdico possa convalidar o seu diploma e exercer a profisso no Brasil. 5

A elaborao do Celpe-Bras iniciou-se em junho de 1993, por uma equipe de pesquisadores das Universidades Federais de Braslia, Rio de Janeiro, Pernambuco, Rio Grande do Sul e Estadual de Campinas e tambm por tcnicos da Secretaria de Ensino Superior do MEC (SESu). Esse exame teve como ponto de partida um exame anterior, elaborado por pesquisadores da Universidade Estadual de Campinas, como parte de um projeto de desenvolvimento de um certificado de proficincia em lngua portuguesa para estrangeiros para uso interno dessa universidade (EPPE). A equipe de elaborao do exame Celpe-Bras optou por fazer desse exame um embrio para a elaborao do exame nacional, porque tanto a equipe do Celpe-Bras quanto os pesquisadores da Unicamp compartilhavam os mesmos pressupostos tericos em relao viso de linguagem e avaliao (SCARAMUCCI, 1995). Em 1995, o exame foi oficialmente institudo pela Portaria Ministerial no. 1787/95 e s veio a ser aplicado pela primeira vez em 1998. Os candidatos obtinham certificao em dois nveis: Primeiro Certificado e Segundo Certificado. O primeiro certificava uma proficincia parcial; o segundo, uma proficincia plena.4 Diferentemente das avaliaes de rendimento, um exame de proficincia tem como objetivo avaliar o desempenho do candidato em relao ao uso futuro da lngua-alvo. Em outras palavras, o objetivo do Celpe-Bras avaliar se os candidatos conseguem:

(...) se comunicar em situaes reais do dia-a-dia: ler e redigir textos, interagir oralmente ou por escrito em atividades dentro do contexto
4

Atualmente h a certificao em quatro nveis: Intermedirio, Intermedirio Superior, Avanado e Avanado Superior (MANUAL DO CANDIDATO, 2003).

escolar (esclarecer dvidas com o professor, fazer provas, apresentar seminrios, etc.) e externas a ele (fazer relatos, fazer compras, reclamar, ir ao mdico, etc.). Por ser um exame de proficincia, o Celpe-Bras no elaborado com o objetivo de avaliar o que um candidato aprendeu em um determinado curso, mas o que esse candidato consegue ou no fazer na lngua-alvo quando se submete ao exame, independentemente de onde, quando ou como essa lngua foi adquirida (MANUAL DO CANDIDATO, 2003, p.3).

A viso que fundamenta o exame de natureza scio-interacional, isto , h a preocupao em avaliar o uso que o candidato faz da lngua em diversas situaes. As questes relacionadas gramtica e vocabulrio no esto presentes de forma explcita no exame, embora seu conhecimento seja necessrio para que um candidato possa redigir um texto, por exemplo.

Com base em uma viso de linguagem como uma ao conjunta de participantes com um propsito social, e considerando lngua e cultura como indissociveis, o conceito de proficincia que fundamenta o exame consiste no uso adequado da lngua para desempenhar aes no mundo. Nesse sentido, a prtica da linguagem tem de levar em conta o contexto, o propsito e o(s) interlocutor(es) envolvido(s) na interao com o texto (MANUAL DO CANDIDATO, 2003, p.4)

As quatro habilidades so avaliadas de forma integrada: compreenso oral, compreenso escrita, produo oral e produo escrita. No caso da interao face a face, por exemplo, tanto a produo oral quanto a compreenso oral e escrita so levadas em conta para definir o nvel de proficincia de um candidato. O exame est estruturado em dois mdulos: a) Parte Coletiva, uma prova escrita, com enfoque nas habilidades de compreenso (oral e escrita) e produo escrita; b) Parte Individual, uma interao face a face, em que a compreenso (oral e escrita) e a produo oral so avaliadas. 7

A Parte Coletiva, com durao de duas horas e meia, constituda por tarefas. Segundo os elaboradores do exame, a tarefa definida como um convite para o uso da linguagem com um propsito social. Dessa maneira, ela composta de uma ao, propsito e interlocutores.

Em cada tarefa h sempre um propsito claro de comunicao (escrever um texto para reclamar, para informar, para discordar) e um interlocutor (direcionar o texto para um jornal, para um amigo, para um chefe), de forma que o candidato possa adequar seu texto ao propsito da comunicao e ao interlocutor (MANUAL DO CANDIDATO, 2003, p. 5).

Nessa parte, h duas tarefas que avaliam a compreenso oral (em que so apresentados um trecho em udio e outro em vdeo) e produo escrita e mais duas tarefas que, por sua vez, concentram-se na leitura de textos e produo escrita. Por exemplo, em uma das tarefas, pode ser pedido ao candidato que, aps ter lido uma reportagem, escreva uma carta para o jornal expressando sua opinio. O material utilizado para o exame diversificado e constitudo de textos autnticos que circulam na sociedade, incluindo desde panfletos a textos de jornais, literrios, entrevistas, documentrios. Os textos orais podem ser em vdeo ou udio. A Parte Individual, ou interao face a face, foco deste trabalho, tem durao de 20 minutos e composta de duas etapas. Nos primeiros cinco minutos, o entrevistador faz perguntas baseadas em um questionrio previamente respondido pelo candidato a respeito de seus hobbies, os motivos que o levaram a se interessar pela lngua e cultura brasileira, dentre outros5. Os quinze minutos restantes so

H dois tipos de questionrio: um para os estrangeiros que moram no Brasil e outro para os que moram no exterior.

divididos em trs partes, cada uma relacionada a um elemento provocador constitudo por pequenos textos, fotos, cartuns etc. sobre tpicos do cotidiano e de interesse geral que foram montados pela comisso do Celpe-Bras e so usados com o intuito de provocar uma interao com o candidato, para que ele possa expressar suas idias e opinies sobre assuntos variados. Trs elementos provocadores so escolhidos pelo entrevistador antes do incio da entrevista. Os candidatos so avaliados atravs de um nico exame e podem receber certificao em um dos quatro nveis de proficincia: Intermedirio, Intermedirio Superior, Avanado e Avanado Superior. A certificao do candidato em um nvel ou outro depende do equilbrio entre as duas partes do exame, ou seja, a Coletiva e a Individual. Isto significa que se um candidato obtiver um desempenho considerado Avanado na Parte Individual e no conseguir certificao na Parte Coletiva, ele no obter a certificao. Os critrios utilizados na correo da Parte Coletiva so: adequao ao contexto, adequao discursiva e adequao lingstica.

A diferena entre os nveis espelha a qualidade do desempenho do candidato nas tarefas de compreenso e produo textual (oral e escrita), em trs aspectos: adequao ao contexto (cumprimento do propsito de compreenso e de produo, levando em conta o gnero discursivo e o interlocutor), adequao discursiva (coeso e coerncia) e adequao lingstica (adequao e variedade lexical e de estruturas gramaticais) (MANUAL DO CANDIDATO, 2003, p.6).

Segundo a descrio dos nveis de proficincia no Manual do Candidato, para obter o Certificado Avanado, o candidato dever ter o domnio amplo da lngua portuguesa, ou seja, conhece assuntos variados e consegue demonstrar fluncia (compreenso e produo de textos orais e escritos) em contextos conhecidos e

desconhecidos. Alm disso, ele deve ser capaz de usar estruturas complexas da lngua e vocabulrio adequado. As imprecises e inadequaes so ocasionais e quando ocorrem, no devem interferir na comunicao. J em relao ao Certificado Avanado Superior, o candidato apresenta todas as caractersticas de um candidato com Certificado Avanado, porm as inadequaes e/ou interferncias so menos freqentes. Para obter o Certificado Intermedirio, o candidato dever possuir um domnio parcial da lngua portuguesa, ou seja, compreender e produzir textos orais e escritos sobre assuntos limitados (em contextos conhecidos e situaes do cotidiano) e usar estruturas simples da lngua e vocabulrio adequado a contextos conhecidos. Porm, quando se trata de contextos desconhecidos, o candidato ainda pode apresentar imprecises, inadequaes e interferncias da lngua materna que, entretanto, no comprometem a comunicao. De forma semelhante distino entre os nveis Avanado e Avanado Superior, o que diferencia o nvel de Certificado Intermedirio do Intermedirio Superior est na freqncia de inadequaes e/ou interferncias, sendo elas menos freqentes no ltimo nvel. Tendo caracterizado o exame, passo, a seguir, para o problema de pesquisa e a justificativa da escolha do tpico.

1.3. O PROBLEMA DA PESQUISA E A JUSTIFICATIVA DA ESCOLHA DO TPICO A confiabilidade uma questo bastante discutida na rea de avaliao. Hughes (1989) afirma que uma avaliao confivel na medida em que a nota obtida num teste, numa ocasio particular, seja muito similar a uma outra, 10

conseguida numa ocasio posterior, considerando-se que no tenha havido nenhuma aprendizagem ou esquecimento durante esse perodo e que as condies de aplicao tenham sido as mesmas. Quanto mais similares forem as notas, mais confivel a avaliao 6 . Em outras palavras, para que uma avaliao seja considerada confivel, necessrio que no haja variveis que nela interfiram. Por exemplo, uma varivel poderia ser a qualidade de som apresentado aos candidatos para a avaliao de compreenso oral. Se, em uma ocasio, no h problemas em relao ao som, mas em outra h problemas, isso poderia de alguma forma interferir no desempenho dos candidatos e, dessa maneira, as notas obtidas por eles no seriam semelhantes. Alm da confiabilidade, a validade tambm um aspecto importante na avaliao. Tornar um teste vlido significa verificar se aquilo que ele se props a avaliar foi de fato avaliado. Se o objetivo de um teste era avaliar a habilidade escrita dos candidatos, seria necessrio observar se isso foi realmente feito. Uma forma direta de avaliar essa habilidade seria pedir para que os candidatos escrevessem um texto. No entanto, a habilidade escrita tambm pode ser avaliada de forma indireta, por meio de um teste de mltipla escolha, mas para construir esse teste necessrio levantar hipteses em relao a quais sub-habilidades esto envolvidas quando um candidato escreve um texto e, dessa maneira, avali-las no teste. Se por um lado, uma avaliao direta da habilidade do candidato seria considerada vlida, por outro, sua confiabilidade seria afetada no sentido de que poderia haver variveis, por exemplo, no momento da correo desses textos. Dois avaliadores poderiam atribuir notas diferentes a um mesmo candidato por seguirem
6

No original: The more similar the scores would have been, the more reliable the test is said to be.

11

critrios prprios de avaliao. No entanto, a fim de minimizar essas variveis, uma grade de correo com descritores elaborada para controlar os critrios de cada avaliador. Porm, mesmo havendo essa grade, ainda pode haver variaes na atribuio de notas. Um avaliador pode ser mais exigente que outro, interpretando a grade de outra forma e, assim, um mesmo candidato poderia obter duas notas diferentes (MCNAMARA, 1996). A relao confiabilidade e validade tambm pode ser pensada em relao s avaliaes orais semi-diretas e diretas. As avaliaes orais semi-diretas so aquelas em que no h a presena de um entrevistador. Nessas avaliaes, o candidato ouve as instrues j gravadas e tem a sua fala gravada, que ser posteriormente avaliada. Nesse tipo de avaliao, a confiabilidade pode estar mais garantida porque todos os candidatos passaro pelas mesmas instrues do exame. Por outro lado, a validade pode ser diminuda porque se, por exemplo, um dos objetivos do exame avaliar como o candidato interage em relao ao entrevistador, esse tipo de avaliao no seria considerado o mais apropriado. J as avaliaes orais diretas so caracterizadas como interaes face a face entre um entrevistador e um candidato, em que o primeiro ir fazer perguntas a respeito de diversos assuntos e o segundo ir respond-las. Se, por um lado, a validade pode ser aumentada, pois a interao se aproximaria de uma situao real de comunicao, por outro lado, a confiabilidade seria diminuda porque mais variveis no controladas poderiam aparecer por se tratar de uma interao face a face. Por exemplo, a reao do entrevistador poderia variar dependendo do candidato com quem ele interage. Ou ainda, poderia se pensar no apenas em 12

relao s variaes de um determinado entrevistador, como tambm entre os vrios entrevistadores, isto , se eles atuam de forma semelhante quando esto entrevistando os candidatos. Observa-se, portanto, que devido a uma tenso entre confiabilidade e validade, difcil de se obter testes que sejam confiveis e vlidos. Alm disso, no h como se obter uma totalidade em um desses aspectos porque mesmo que se faa um controle das variveis, ainda assim no h como prever todas. Como se pode notar, a confiabilidade nas avaliaes orais diretas se torna mais difcil de ser obtida pela prpria natureza do exame. A respeito da avaliao oral, Hughes (1989) argumenta: a avaliao precisa da oralidade no fcil. Leva um tempo considervel e esforo para se obter resultados vlidos e confiveis 7. Algumas sugestes so feitas por esse autor tanto em relao aos procedimentos de um exame (como planejar e conduzir as avaliaes orais) como tambm em relao formao, caractersticas e atitudes dos entrevistadores. Quanto durao, Hughes afirma que improvvel obter informao confivel num tempo inferior a 15 minutos, enquanto 30 minutos seria um tempo ideal. Alm disso, o avaliador deve coletar o mximo de informao relevante no tempo disponvel da avaliao oral. Ele tambm deve planejar a avaliao, embora sem seguir um modelo rgido, pois uma das vantagens das avaliaes orais est no fato do avaliador adaptar procedimentos em resposta ao desempenho do candidato. O candidato deve receber vrios fresh starts, isto , vrias possibilidades de dar

No original: The accurate measurement of oral ability is not easy. It takes considerable time and effort to obtain valid and reliable results.

13

continuidade interao. Especialmente para os candidatos que tm mais dificuldade, insistir num mesmo tpico no seria recomendvel. Em relao seleo e treinamento dos entrevistadores, Hughes coloca: Entrevistadores precisam ser compreensveis e flexveis, com um bom comando das suas linguagens. Mas at mesmo os mais aptos precisam de formao 8. Alm disso, um segundo examinador aconselhvel para uma observao mais atenta do desempenho do candidato. O comeo da entrevista tambm um passo importante, pois a situao de uma avaliao pode ser estressante para o candidato. Hughes aconselha que o entrevistador deva ser agradvel e iniciar a avaliao com perguntas pessoais, por exemplo. Ao longo da entrevista, os entrevistadores devem evitar lembrar constantemente que os candidatos esto sendo avaliados. O candidato, ao final da entrevista, deve ter uma sensao de tarefa cumprida. E, finalmente, os avaliadores devem evitar falar muito, deixando que o candidato use tempo suficiente para falar. Alm disso, eles devem evitar muitas explicaes e repeties sobre coisas que o candidato no entendeu. Embora os entrevistadores sejam formados e qualificados para realizar a aplicao de uma avaliao oral, e dessa maneira, tornando-a mais confivel, ainda assim h variveis que podem interferir no desempenho dos candidatos. Por exemplo, apesar dos entrevistadores serem obrigados a seguir os procedimentos, numa interao no h garantias de que eles os sigam fielmente. Ou ainda, os estilos dos entrevistadores que podem variar em relao, por exemplo, maneira

No original: Interviewers need to be sympathetic and flexible characters, with a good command of the language themselves. But even the most apt need training.

14

como eles elaboram uma pergunta, o que poderia contribuir para a diminuio da confiabilidade do exame. Este trabalho tem como objetivo observar se os procedimentos do exame tm sido seguidos e entender que variantes podem estar presentes no momento da interao que, de alguma forma, influenciem o desempenho do candidato, como, por exemplo, os diferentes estilos dos entrevistadores. Espera-se que este estudo possa oferecer tanto contribuies tericas para a rea de avaliao de proficincia oral, como tambm prticas para um aperfeioamento maior da interao face a face do Celpe-Bras, apontando, dessa maneira, tanto aspectos positivos quanto negativos com relao s interaes. Na prxima seo, fao uma descrio mais detalhada da parte individual do exame CELPE-Bras: a interao face a face, foco deste trabalho.

1.4. A INTERAO FACE A FACE As interaes face a face so gravadas em udio ou em vdeo e avaliadas por dois examinadores, que recebem formao especfica para atuarem como entrevistador e observador. No momento da entrevista, o entrevistador deve ter em mos o manual do aplicador, em que constam instrues gerais em relao aos procedimentos das duas etapas: a primeira tem a estrutura de uma entrevista, com durao de aproximadamente 5 minutos e a outra uma conversa motivada por trs elementos provocadores, com durao de 15 minutos. A primeira parte da interao face a face conduzida a partir de um questionrio respondido pelo candidato, por ocasio da 15

inscrio, que contm informaes sobre seus hobbies, se tem amigos brasileiros, etc., como uma maneira de conhec-lo melhor (ver Anexo 1). Antes da entrada do candidato, o entrevistador deve fazer uma leitura do questionrio respondido pelo candidato e buscar aprofundar (e no repetir) as respostas dadas pelo candidato. Portanto, essa parte funciona como um aquecimento para a segunda parte, ou seja, com o intuito de deixar o candidato vontade para que ele inicie a sua produo oral. J na segunda parte, o elemento provocador, como o nome diz, o material utilizado pelo entrevistador com o intuito de provocar uma interao com o candidato. Tal material preparado pela comisso tcnica do Celpe-Bras e consiste de pequenos textos, fotos, cartuns etc. sobre tpicos do cotidiano e de interesse geral (ver Anexo 2). So apresentados para cada candidato trs elementos provocadores para que assim ele possa expressar suas idias e opinies sobre assuntos diversos. Cada elemento provocador tem durao de 5 minutos. Durante a entrevista, o entrevistador deve ter em mos o roteiro para os elementos provocadores que consiste de explicaes sobre como cada um dele ser conduzido. Esse roteiro est dividido em 3 etapas. A primeira delas entregar o elemento provocador ao candidato e pedir para que este o leia ou observe o material silenciosamente por aproximadamente 1 minuto. Em seguida, na segunda etapa, o entrevistador faz a primeira pergunta para verificar a compreenso do candidato em relao ao tema abordado pelo elemento provocador. Por fim, na terceira etapa, o entrevistador continua a interao a partir de um conjunto de outras perguntas (ver Anexo 3). As interaes so avaliadas pelo entrevistador e pelo observador, de forma independente. O entrevistador utiliza uma grade holstica, avaliando o desempenho do candidato de forma global. J o observador analisa a interao a partir de uma 16

grade analtica. Nas duas grades, seis aspectos so considerados: a competncia interacional, a fluncia, a pronncia, a adequao gramatical, a adequao lexical e a compreenso. Porm, o que diferencia a nota atribuda pelo entrevistador da nota dada pelo observador est no fato de o primeiro avaliar todos os seis aspectos de forma conjunta, chegando a uma nota final numa escala de 0 a 5, enquanto o segundo avalia cada aspecto, pontuando-o de 0 a 5, totalizando-se seis notas de 0 a 5. Todas as interaes so gravadas em udio ou vdeo para posterior verificao. Em cada um desses aspectos, so apresentados descritores do desempenho do candidato para cada um dos nveis do exame. Na competncia interacional, se o candidato capaz de se ajustar mudana de tpico, se a conversa adequada ao interlocutor, ao assunto e ao contexto (formal/informal), se ele contribui para o desenvolvimento da conversa e se ele usa adequadamente as estratgias (reformulaes, parfrase, correes) para compensar eventuais problemas lexicais, gramaticais e/ou fonolgicos. Em relao fluncia, verificado se o candidato faz pausas e se ele hesita com certa freqncia para organizar o seu pensamento e se isso ocasiona interrupes no fluxo da conversa. Em relao pronncia, se os sons, ritmo e entonao so adequados ou se ainda h interferncias de outras lnguas. Na adequao gramatical, a extenso de uso de variedades de estruturas e a quantidade de inadequaes de estruturas complexas e simples so consideradas. Na adequao lexical, a amplitude e adequao do vocabulrio e a freqncia das interferncias de outras lnguas so observadas. E, por fim, na compreenso, se o candidato apresenta ou no problemas na compreenso do fluxo natural da conversa e se os pedidos de repetio e de

17

reestruturao so freqentes no caso de palavras mais ou menos freqentes e nos diferentes ritmos da fala. O candidato avaliado com duas notas: uma do entrevistador e outra do observador. No caso do observador, que atribui seis notas, a nota final obtida atravs de clculos realizados pelo prprio sistema, levando-se em conta um estudo que mostra uma contribuio diferente para cada um dos aspectos. Tendo apresentado as caractersticas da interao face a face, passo, a seguir, aos objetivos desta pesquisa.

1.5. OBJETIVOS DA PESQUISA O principal objetivo desta pesquisa fazer uma anlise da atuao dos entrevistadores nas interaes face a face do exame Celpe-Bras, com enfoque em dois elementos distintos, responsveis pela confiabilidade do exame: um relacionado com os procedimentos do exame e outro relacionado com os estilos que os entrevistadores apresentaram nas interaes. Esse objetivo geral ser operacionalizado atravs das seguintes perguntas: 1. Como a atuao dos entrevistadores em relao aos procedimentos do exame? 2. Que estilos os entrevistadores apresentam nas interaes face a face?

18

1.6. METODOLOGIA Com as perguntas de pesquisa colocadas na seo anterior, o intuito deste trabalho fazer uma anlise da atuao dos entrevistadores, e para isso, foram analisadas 58 entrevistas de exames realizados em outubro de 2004 em trs diferentes universidades, localizadas em um mesmo estado brasileiro. Nessas universidades, costuma-se gravar as entrevistas em udio. Para o presente estudo, porm, havia a necessidade de coletar os dados em vdeo para uma anlise mais detalhada (j que os estilos podem tambm ser caracterizados por linguagem no-verbal, incluindo gestos, expresses faciais etc.). A escolha dessas trs universidades se deu em funo do deslocamento da pesquisadora para a realizao das gravaes em vdeo. 16 entrevistadores participaram das 58 entrevistas, sendo 15 do sexo feminino e 1 do sexo masculino. O nmero mnimo de entrevistas por entrevistador foi 2 e o mximo 6. Os entrevistadores foram identificados com letras do alfabeto e separados em: instituio I, de (A) a (C); instituio II, de (D) a (J) e instituio III, de (L) a (Q). J em relao aos candidatos, estes foram identificados com nmeros de 1 a 58. 49 dos 58 candidatos que prestaram o exame eram em sua maioria hispanofalantes. Dentre eles, 35 eram mdicos que precisavam o certificado em nvel avanado para poder exercer a profisso no Brasil. Devido ao grande nmero de mdicos que prestaram o exame para a obteno de nvel avanado, o nvel de proficincia mais freqente na Parte Individual foi o avanado, com 21 candidatos.

19

Na

primeira

etapa,

foi

feito

um

levantamento

em

relao

aos

procedimentos do exame, isto , se os entrevistadores cumpriam o tempo estabelecido para cada parte da interao face a face e se eles seguiam ou no as etapas para cada um dos elementos provocadores. A partir desse levantamento, pode-se fazer uma anlise mais apurada sobre as implicaes que o cumprimento (ou no) dos procedimentos do exame poderiam ter em relao confiabilidade do exame. Um segundo levantamento foi realizado em relao aos estilos dos entrevistadores. Primeiramente, os estilos foram observados e posteriormente analisados, identificando-se quais deles eram colaborativos e quais eram nocolaborativos. Os trechos mais significativos das entrevistas foram transcritos e citados como exemplos no Captulo 3.

1.7. ESTRUTURAO DA DISSERTAO

Este trabalho est estruturado em 3 captulos. No Captulo I, uma breve introduo do assunto a ser estudado apresentada, caracterizando, de maneira geral, o exame Celpe-Bras, e de maneira mais especfica, a Interao face a face. Alm disso, so colocados o problema de pesquisa, os objetivos e a metodologia a ser utilizada. No Captulo II, os estudos mais significativos na rea de avaliao oral so abordados. Esse captulo est dividido em quatro partes. A primeira delas referese aos estudos sobre a variao dos entrevistadores na atribuio de notas. A segunda apresenta alguns estudos sobre avaliao oral no Brasil. A terceira focaliza 20

os estudos sobre confiabilidade e validade em exames orais. Por fim, a quarta discute o aspecto cultural nas entrevistas. No Captulo III, so apresentadas a anlise dos dados e a discusso dos resultados. Esse captulo composto de trs partes. Na primeira, os dados so analisados e os resultados discutidos em relao aos procedimentos do exame, e na segunda, os dados e os resultados relacionados aos estilos dos entrevistadores. No fim do captulo, as consideraes finais so apresentadas.

21

22

CAPTULO II

CONFIABILIDADE NA AVALIAO ORAL: UM OLHAR SOBRE A ATUAO DE ENTREVISTADORES

2.1. INTRODUO

Embora as avaliaes orais, como a entrevista de proficincia oral (EPO), sejam aplicadas desde a dcada de 50, os estudos em relao a elas surgem de forma mais significativa nas dcadas de 80 e 90. Os primeiros estudos enfocavam a confiabilidade e a construo de grades e seus descritores. Mais tarde, com a incluso de contribuies de outras reas como a da Anlise Conversacional, os estudos se voltaram para a validade dos testes orais, tentando buscar uma definio mais clara acerca do discurso das entrevistas orais e da interao estabelecida entre entrevistador e candidato. A partir desses estudos, outros surgiram, com enfoque na variao do discurso do entrevistador e do candidato, por exemplo, como os entrevistadores elaboram e reelaboram as suas perguntas, o que levam em conta quando esto avaliando um candidato, etc. Embora algumas variveis tenham sido testadas para averiguar a mudana no desempenho do candidato, como os gneros e os tipos de tarefas, por exemplo, ainda h outras variveis que foram menos testadas, tais como personalidade do entrevistador e os elementos paralingsticos, mas que tambm podem influenciar o desempenho do candidato de forma significativa. 23

Neste captulo, discutirei os conceitos de confiabilidade, validade e autenticidade, trazendo estudos sobre entrevistadores e suas variaes de comportamento, atitudes e atribuio de notas.

2.2. VARIAO DOS ENTREVISTADORES NA ATRIBUIO DE NOTAS

O termo avaliao de desempenho teve suas origens nas reas de educao geral e vocacional e se refere a:
(...) uma avaliao que pressupe a demonstrao direta da proficincia almejada ou das capacidades adquiridas, em vez de limitar-se a avaliar indiretamente essa proficincia atravs de instrumentos que focalizam itens isolados de gramtica (SCARAMUCCI, 2004, p. 366).

Se o objetivo avaliar, por exemplo, se o candidato tem capacidade de interagir numa lngua estrangeira, seria preciso coloc-lo numa situao que simulasse uma interao de situao real, em que ele tivesse que demonstrar essa capacidade. Dessa maneira, a avaliao seria feita com base na amostra daquilo que o candidato desempenhou. Para McNamara (1996), os testes de proficincia em geral envolvem dois tipos de avaliao: a tradicional de resposta fixa e a avaliao baseada no desempenho. A figura 1, a seguir, esquematiza as diferenas entre elas.

24

Avaliao tradicional de resposta fixa INSTRUMENTO NOTA CANDIDATO

Avaliao baseada no desempenho AVALIADOR NOTA (ATRIBUIO) ESCALA DESEMPENHO INSTRUMENTO CANDIDATO

Figura 1: Caractersticas da avaliao oral (MCNAMARA, 1996, p.9) Na avaliao tradicional de resposta fixa, h foco apenas no instrumento e no no avaliador. A avaliao consiste, em geral, de questes de mltipla escolha, em que apenas uma resposta a correta. Esse tipo de avaliao eficaz quanto confiabilidade, uma vez que em sua correo no haver variaes na correo dessas questes. J numa avaliao baseada no desempenho, a correo se torna mais complexa porque o desempenho do candidato passa pelo julgamento de um avaliador. Para que os avaliadores no julguem o desempenho dos candidatos de acordo com seus prprios critrios, uma escala usada para garantir a confiabilidade desse tipo de avaliao. Um exemplo de avaliao baseada no desempenho a entrevista oral. No caso das entrevistas face a face, o candidato interage com o entrevistador e um avaliador ir atribuir uma nota para o desempenho do candidato, por meio de uma grade de descritores. Embora haja essa grade para assegurar que todos os 25

avaliadores atribuam notas semelhantes para um mesmo candidato, ainda assim pode haver variaes na correo:

1. Dois avaliadores podem simplesmente diferir na sua tolerncia como um todo. 2. Avaliadores podem apresentar padres particulares de rigidez ou tolerncia em relao a apenas um grupo de candidatos, no outros, ou em relao a tarefas particulares, no outras. 3. Avaliadores podem diferir um do outro na maneira como interpretam a escala de avaliao que esto usando. 4. Avaliadores podem diferir em termos de sua consistncia (ou inconsistncia), ou seja, a extenso de erros aleatrios associados com suas avaliaes. (MCNAMARA, 1996, p.123-124)9

Mesmo com uma definio clara dos critrios de avaliao bem como a preparao dos avaliadores, no se garante a confiabilidade mxima de uma avaliao. Pode haver situaes em que h dois avaliadores com nveis diferentes de exigncia: um deles sendo exigente e o outro, generoso. A nota 7 (numa escala de 10 pontos) de um candidato que tenha feito a avaliao com um avaliador exigente indicar que ele tem uma habilidade mais alta do que a de um candidato que tenha feito a avaliao com um avaliador generoso e obtido nota 8. H ainda outros fatores que contribuem para a variao entre avaliadores, tais como os gneros do avaliador e do candidato, as condies fsicas e o horrio

No original: 1.Two raters may simply differ in their overall leniency. 2. Raters may display particular patterns of harshness or leniency in relation to only one group of candidates, not others, or in relation to particular tasks, not others. 3. Raters may differ from each other in the way they interpret the rating scale they are using. 4. Raters may differ in terms of their consistency (or inconsistency); that is, the extent of the random error associated with their ratings.

26

em que so feitas as correes, assim como o tipo de entrevista (MCNAMARA, 1996). Pollitt e Murray (1996) realizaram um estudo para observar a que aspectos os entrevistadores realmente prestavam ateno quando atribuam notas. A metodologia foi um pouco diferente, pois a preocupao dos autores era verificar as percepes de julgamento desses entrevistadores e no o uso que eles faziam de uma grade de avaliao. Para isso, cinco candidatos foram comparados uns com os outros em pares, totalizando uma combinao de dez pares. Os entrevistadores deveriam comparar os candidatos, julgando, dentro de cada par, qual dos dois havia sido melhor e depois justificar a sua escolha. Os resultados mostraram que os entrevistadores se preocuparam com aspectos no contemplados em sua grade como a compreenso do candidato e as caractersticas paralingsticas que acompanham a fala, tais como personalidade, maneiras, expresso facial e impresso de amizade. Alm disso, a proficincia foi entendida de maneira diferente dependendo do nvel do candidato. Se o candidato tinha proficincia alta, ele era julgado em comparao ao comportamento de um falante nativo, com enfoque no que ele estava dizendo. Com um candidato de proficincia mais baixa, esse enfoque estava em como ele estava dizendo, ou seja, na forma como ele falava, se estava correta ou no. A variao do estilo do entrevistador abordada de forma mais detalhada no artigo de Brown (2003). A autora conclui que, dependendo do estilo do entrevistador, pode-se perceber desempenhos diferentes de um mesmo candidato. Nesse estudo, um mesmo candidato passou por dois entrevistadores com estilos diferentes; em um momento posterior, avaliadores externos atriburam notas para 27

essas duas interaes. Um dos entrevistadores tinha estilo caracterstico de professor, demonstrando interesse na conversa e utilizando dois tipos de perguntas durante a avaliao oral, as abertas e as fechadas. As perguntas abertas, tais como Voc pode me dizer sobre..., requerem do candidato respostas mais extensas e explicitadas. J as perguntas fechadas so aquelas que tm como resposta sim ou no e so utilizadas pela entrevistadora apenas como maneira de resumir o que j foi dito na conversa. Alm disso, durante a entrevista, ela freqentemente fornecia feedback positivo para o candidato, conseguia formular outro tpico, quando um tpico anterior falhava e mantinha o fluxo da conversa. J o outro entrevistador tinha estilo mais casual, que remetia a uma interao real num contexto no-avaliativo. Nas interaes reais, as perguntas fechadas so usadas constantemente como uma maneira de fazer a pessoa falar. Ao se fazer uma pergunta fechada, no se espera que a pessoa responda apenas sim ou no, mas que ela continue falando. Foi pensando provavelmente nesse aspecto pragmtico, cabvel numa interao fora do contexto de avaliao, que esse segundo entrevistador utilizava as perguntas fechadas como uma maneira de fazer o candidato responder de forma mais extensa. Porm, o candidato no percebia esse aspecto pragmtico durante a entrevista. Como conseqncia, a entrevista caracterizada por silncios e as respostas do tipo sim ou no do candidato se resumiam a confirmaes, e assim, ele no conseguia expandir suas respostas. Alm disso, o entrevistador falhava quando tentava reformular tpicos no sucedidos e, portanto, os feedbacks no eram freqentes. Brown conclui o artigo apresentando os comentrios feitos pelos avaliadores que deram as notas para essas duas entrevistas. Para o primeiro entrevistador, o candidato fluente, comunica-se bem, 28

compreende o que o entrevistador fala, expressa suas idias de forma correta. J para o segundo entrevistador, o candidato caracterizado como sendo um falante em fase inicial, que no tem iniciativa nas respostas, sendo elas mnimas e frustrantes e hesita muito na hora de falar. Amarante (1995) realizou uma pesquisa semelhante no Brasil em relao avaliao do desempenho oral de lngua inglesa de alunos iniciantes de uma instituio particular de ensino superior. Uma mesma aluna foi entrevistada por um professor e por um aluno. No primeiro caso, o professor atuou como interagente e avaliador e no segundo, como organizador e avaliador, j que a entrevista foi conduzida pelo aluno. Os dados mostraram que o desempenho da candidata foi melhor quando interagia com o aluno do que com o professor, pois os turnos foram mais longos, as pausas menos freqentes e os risos indicavam conhecimento compartilhado.

Claro est que interagir com um colega atividade mais costumeira e, portanto, mais real, autntica do que interagir com o professor. Ademais a interao entre pessoas de igual status se caracteriza pelo balanceamento das relaes de poder. (AMARANTE, 1995, p. 239)

As perguntas do tipo sim/no e de informao foram feitas mais pelo professor do que pelo aluno. Quando a aluna no entendia uma pergunta de informao, o professor reformulava com perguntas do tipo sim/no. J o aluno fazia a mesma pergunta mais pausadamente.

(...) ele (professor) busca fazer com que o aluno produza, da o grande nmero de perguntas que se observa em E1(professor-

29

entrevistador). Tambm procura fazer com que o aluno compreenda, da o grande nmero de refraseamentos, complementaes, exemplificaes. Atua ainda como rbitro da produo do aluno, aceitando ou rejeitando suas respostas, da a ocorrncia de perguntas de clarificao e das repeties para aprovao, das apreciaes, das correes e reformulaes. (AMARANTE, 1995, p.242-243)

Essa autora conclui que necessrio repensar em uma entrevista oral que proporcione ao aluno usar a lngua como uma operao comunicativa autntica, j que a avaliao atual ainda apresenta falhas nesse aspecto. Os estudos de Brown (2003) e Amarante (1995) referem-se a uma situao experimental, em que foi verificado o impacto de dois diferentes estilos de entrevistadores no desempenho de um candidato. No entanto, o presente trabalho no ir enfocar o impacto em si, pois para isso os candidatos teriam que ser avaliados por dois entrevistadores diferentes, mas analisar os estilos que os entrevistadores do Celpe-Bras tm apresentado e suas possveis implicaes em relao confiabilidade da interao face a face do exame. Na prxima seo, discutirei outros estudos sobre a avaliao oral no Brasil.

2.3. ESTUDOS SOBRE AVALIAO ORAL NO BRASIL

Os estudos de avaliao oral no Brasil so poucos e se referem geralmente lngua inglesa e ao contexto de sala de aula. Por exemplo, o estudo de Vigia-Dias (1995) teve como objetivo analisar a construo da consonncia entre abordagem de ensino e a avaliao da habilidade oral em sala de aula. J o de

30

Amarante (1998) foi enfocado no discurso da avaliao de uma instituio particular de ensino superior. Nesse trabalho, um dos aspectos que ela discute a relao assimtrica entre entrevistador e candidato nas entrevistas de avaliao oral. Esse estudo ser retomado mais adiante. Em seu estudo, Giosa (1994) analisou as caractersticas da fala colaborativa em uma aula de conversao com aprendizes de nvel bsico de lngua inglesa. O termo colaborativo usado na rea de ensino de lnguas referindo-se ao processo colaborativo entre professores e alunos em sala de aula (WELLS, 1991, apud GIOSA). o processo de colaborao mtua que o aluno desenvolve seus mecanismos de negociao social, ou seja, sua habilidade oral no idioma estrangeiro. (GIOSA, 1994). Quando o aluno apresentava dificuldades, o professor elaborava a prxima pergunta usando exemplos como forma de manter a interao com o aluno. Esse mecanismo foi visto de maneira positiva pelos alunos. No entanto, quando o professor fazia correes gramaticais, essa atitude era vista de forma negativa, pois interrompia a interao. Alm disso, o professor fazia perguntas reflexivas com o intuito de aproximar a discusso de sala de aula com a realidade do aluno. Consolo (2004), por sua vez, elaborou e analisou um teste de proficincia em lngua inglesa (TEPOLI) para alunos de graduao do curso de Letras. O teste consistia em uma interao entre entrevistador e aluno e era composto de trs partes. Na primeira delas, o entrevistador passava, em portugus, as instrues do exame para o candidato. Na segunda, a avaliao se baseava em duas gravuras, em que o entrevistador faria perguntas em relao a elas. Finalmente na terceira, era perguntada a opinio do candidato sobre o exame que acabara de fazer. 31

Alm da elaborao do teste, houve a preocupao em definir as faixas de proficincia dos alunos. Foram criadas cinco faixas de notas, sendo A para o aluno que apresentasse proficincia mais alta e E a mais baixa. Como os alunos esto aprendendo o ingls para mais tarde atuarem como professores, a faixa E corresponderia a um nvel de proficincia abaixo daquilo que se esperaria de um professor. O trabalho de Schoffen (2003) analisou as interaes face a face do Celpe-Bras com o intuito de descrever de forma detalhada o desempenho dos candidatos falantes de espanhol. Como o portugus e o espanhol so lnguas prximas, h aspectos que no so devidamente contemplados pela grade de avaliao, pois ela foi construda pensando-se em todos os candidatos, abarcando diversas nacionalidades. Esse trabalho, portanto, levantou caractersticas dos falantes de espanhol em cada um dos quatro nveis de proficincia do exame. Como se pode observar, poucos so os estudos sobre avaliao oral. Em relao avaliao de proficincia oral, h os estudos de Schoffen (2003) e Consolo (2004), porm no h o enfoque em relao atuao dos entrevistadores. A seguir, apresento outros estudos sobre confiabilidade e validade em exames orais.

2.4. CONFIABILIDADE E VALIDADE EM EXAMES ORAIS

Se um mesmo teste for aplicado vrias vezes para os mesmos alunos, espera-se que estes consigam obter notas semelhantes. No entanto, isso nem sempre possvel porque h variveis que podem interferir no desempenho do 32

candidato. As variaes nas notas dos alunos podem ser atribudas por variveis sistemticas, como um aprendizado que tenha ocorrido entre as aplicaes do teste, ou por variveis no-sistemticas, como um barulho externo que distrai os alunos durante a aplicao de uma prova, ou ainda por ansiedade ou fadiga. Um teste confivel, portanto, aquele em que pode haver a presena de variveis sistemticas mas no de no-sistemticas (ALDERSON et al. 1995). Em relao s avaliaes orais, as variveis no sistemticas podem estar relacionadas a fatores tais como o no cumprimento dos procedimentos ao conduzir uma entrevista e atribuio de notas de forma inconsistente. Por isso, a fim de aumentar a confiabilidade dos exames orais, necessrio verificar se os procedimentos esto sendo seguidos e se os avaliadores avaliam de maneira homognea.

No justo para os alunos se, para alguns se requer apenas comentrios simples, mas apropriados, enquanto outros, igualmente bons, so forados a usar linguagem complexa que revela suas inadequaes. Os entrevistadores tambm precisam ser formados para deixar os candidatos vontade, conseguir uma conversa sincera, sem dizer muito sobre eles mesmos, estar interessados em cada entrevista e saber como fazer as perguntas que produziro a linguagem requerida. (ALDERSON et al., 1995, p.62)10

A obteno de confiabilidade em uma avaliao oral se torna ainda mais complicada porque cada entrevista ir ocorrer de uma maneira que no ser exatamente igual outra. Embora haja os procedimentos estabelecidos para que os

10

No original: It is not fair to the students if some of them are only required to make simple but appropriate comments, while other equally good ones are forced to use complex language which betrays their inadequacies. Interviewers also need to be trained to put candidates at their ease, to get a genuine conversation going without saying much themselves, to manage to appear interested in each interview and to know how to ask questions which will elicit the language required.

33

entrevistadores os cumpram, a elaborao de perguntas, por exemplo, depende muito do entrevistador, de como ele as realiza, ou ainda, quando o candidato no entende uma pergunta, como ele a reformula. Se, ao contrrio, a entrevista fosse uma reproduo de perguntas prontas, isto , em que o entrevistador tivesse que apenas reproduzi-las, a confiabilidade, nesse caso, seria aumentada porque todas as entrevistas seriam padronizadas, diminuindo-se a ocorrncia de variaes. Por outro lado, a validade dessa avaliao seria afetada porque a entrevista se tornaria artificial, sem envolvimento entre entrevistador e candidato. Complementando a noo de confiabilidade exposta por Alderson et al., Bachman (1990) coloca que a investigao da confiabilidade est relacionada seguinte pergunta: O quanto do desempenho individual em um teste est relacionado ao erro da medio ou a outros fatores, alm da habilidade lingstica que queremos medir? 11 Em outras palavras, um teste considerado confivel quando o desempenho de um candidato no est relacionado aos erros de medio ou a outros fatores.
(...) quanto menos esses fatores afetarem as pontuaes de um teste, maior ser o efeito relativo das habilidades lingsticas que queremos medir, e dessa maneira, a confiabilidade das pontuaes de um teste de lngua. (BACHMAN, 1990, p. 160)12

Por outro lado, a investigao da validade, para esse mesmo autor, est relacionada outra pergunta: O quanto do desempenho individual em um teste est

11

No original: How much of an individuals test performance is due to measurement error, or to factors other than the language ability we want to measure? 12 No original: (...) the less these factors affect test scores, the greater relative effect of the language abilities we want to measure, and hence, the reliability of language test scores.

34

relacionado s habilidades lingsticas que queremos medir? 13 Se o objetivo avaliar a habilidade oral de um candidato, o teste deve ser desenvolvido para que se obtenha uma amostra significativa da habilidade oral e no outra habilidade. Se outra habilidade estiver sendo avaliada, a validade desse teste diminui. Bachman considera que os conceitos confiabilidade e validade no podem ser vistos de forma separada e oposta porque de alguma forma um ir afetar o outro. Por exemplo, para um teste ser considerado vlido, necessrio que primeiro ele seja confivel. Ou ainda, no adianta um teste ser confivel se a validade no est assegurada.

Muitas discusses sobre confiabilidade e validade enfatizam as diferenas entre essas qualidades, mais do que suas semelhanas. Mas, ao invs de consider-las como dois conceitos totalmente distintos, acredito que ambos podem ser melhor entendidos ao reconhec-los como dois aspectos complementares de uma preocupao comum em medio identificando, estimando, e controlando os efeitos dos fatores que afetam as pontuaes no teste. (BACHMAN, 1990, p.160)14

Alm da confiabilidade e validade, h ainda a autenticidade. Dizer que um teste autntico pode ter vrios significados. Bachman definiu autenticidade de acordo com duas abordagens: uma relacionada vida real e outra habilidade interacional.

13

No original: How much of an individuals test performance is due to the language abilities we want to measure? 14 No original: Many discussions of reliability and validity emphasize the differences between these qualities, rather than their similarities. But instead of considering these as two entirely distinct concepts, I believe both can be better understood by recognizing them as complementary aspects of a common concern in measurement identifying, estimating, and controlling the effects of factors that affect test scores.

35

Na primeira abordagem, um teste seria autntico na medida em que o desempenho apresentado se aproximasse ao de uma situao real de comunicao. No entanto, no h como replicar o uso lingstico j que a lngua complexa por natureza e, portanto, no h como prever tudo o que pode acontecer em todos os contextos em que a lngua usada. Em contraposio, na segunda abordagem, a autenticidade reside na interao entre candidato, tarefa do teste e contexto de avaliao. Ao invs de replicar os usos de lngua partindo de contextos reais de comunicao, essa abordagem tem como objetivo elaborar testes que reflitam o conhecimento da natureza das habilidades lingsticas e do uso da lngua. van Lier (1989) discute a validade das entrevistas de proficincia oral (EPOs doravante), descrevendo o que elas so e o que os participantes fazem nelas. Em outras palavras, ele analisa que tipo de evento de fala a EPO e os papis que o entrevistador e o candidato assumem durante a entrevista. Diferentemente da maioria dos estudos anteriores, que enfocavam questes referentes aos

procedimentos das avaliaes e s atribuies de notas, nesse estudo houve uma preocupao em relao a uma definio mais clara acerca da natureza da avaliao de proficincia oral, ou seja, mais especificamente, se a EPO poderia ser equiparada a uma conversa ou no. Segundo van Lier, a conversa pode ser definida como interao face a face num contexto de lngua da vida real 15. Como no h maneiras de se avaliar os candidatos interagindo numa situao real de comunicao, as entrevistas de proficincia oral tentam se assemelhar s situaes fora do contexto de avaliao.
15

No original: () face-to-face interaction in a real-life language context.

36

Complementando essa definio, as caractersticas bsicas da conversa so, alm da interao face a face, o no planejamento, a imprevisibilidade da seqncia e do resultado e a distribuio igualitria de direitos e deveres na conversa. (SACKS; SCHEGLOFF; JEFFERSON, 1974 apud VAN LIER) Embora tal definio tenha sido baseada no princpio cooperativo e nas mximas de Grice16, van Lier questiona essas caractersticas. Sugere, por exemplo, que os vrios nveis de planejamento devem ser considerados, isto , se a interao ser planejada, com perguntas j pr-estabelecidas ou se ocorrer de forma noplanejada. No entanto, as interaes so mais ou menos planejadas ou improvisadas. Ao mesmo tempo em que os participantes tm que ser sensveis ao aqui e agora, eles tambm tm que relacionar o que vo dizer com aquilo que o interlocutor j disse. Alm disso, os participantes, continuamente, fazem previses em relao seqncia e ao resultado. Em relao aos direitos e deveres, eles nunca so iguais em sua totalidade. Embora haja desigualdades das relaes de status e papis, isso no significa que os direitos e os deveres na interao devam ser desiguais. Uma vez colocada sua definio de conversa, van Lier define ento a entrevista como uma contingncia assimtrica (JONES; GERARD, 1967 apud VAN LIER), ou seja, o entrevistador tem um plano e ir conduzir e controlar a entrevista de acordo com esse plano. A entrevista um encontro em que as relaes j esto prestabelecidas, isto , de um lado, o entrevistador que ir fazer as perguntas e de
16

As mximas de Grice (1989) so Quantidade, Qualidade, Relao e Maneira. A primeira afirma que a contribuio para a conversa deve ser informativa e no conter mais informao do que foi requerida. A segunda se refere veracidade da contribuio, ou seja, no fazer uma contribuio que seja falsa ou em que haja pouca evidncia adequada. A terceira em relao a ser relevante. A quarta est relacionada ao como dito, evitando-se obscuridade e ambigidade da expresso; deve ser breve e de forma organizada.

37

outro, o entrevistado, que ir apenas respond-las. Alm disso, tudo o que for dito pelo entrevistado ser avaliado para decises futuras. Analisando partes de algumas entrevistas, van Lier notou que elas realmente apresentam uma assimetria, isto , o entrevistador mantm o controle do discurso ao fazer perguntas e avaliar respostas. Alm disso, questes ticas foram aparecendo, por exemplo, quando o entrevistador fazia perguntas de natureza pessoal e emocional. Nesse caso, o fato de o entrevistado no responder pergunta do entrevistador pode ter duas explicaes: talvez ele (o entrevistado) no queira responder e no que no saiba faz-lo. Resumindo, para van Lier, a EPO pode no ser caracterizada como conversa uma vez que h uma assimetria entre os seus participantes. O objetivo desse tipo de entrevista avaliar se a produo lingstica foi bem sucedida e no se a conversa foi bem sucedida. Em outras palavras, a entrevista tem como intuito conseguir uma amostra daquilo que o candidato consegue falar na lngua alvo, avaliando como o candidato fala e no o que ele fala. Shohamy e Reves (1985) tambm abordam a autenticidade em entrevistas, comparando o desempenho do candidato ao seu desempenho numa situao real de comunicao. Segundo as autoras, o problema j comea pelo prprio termo autenticidade, isto , o que um teste autntico, ou como deve ser a linguagem desse teste, uma vez que a linguagem produzida numa situao real de comunicao vai depender de variveis como o que est sendo dito, para quem, quando e porqu. Um teste ideal teria que observar esse candidato em diversos contextos (e assim diversas variveis seriam abordadas), sem que ele esteja consciente de que est sendo avaliado. Dessa maneira, para diferenciar da 38

linguagem autntica, ou seja, aquela que d conta de todas essas variveis, Shohamy e Reves denominam a linguagem de um teste como linguagem autntica de teste.

(...) a linguagem de testes autnticos no uma representao verdadeira da linguagem de vida real. Foi mostrado que difcil, se no impossvel, at mesmo aproximar o uso de linguagem de vida real nos testes de lngua. O mximo que ns podemos obter, no momento, linguagem autntica de teste. (SHOHAMY; REVES, 1985, p. 57)17

As autoras mencionam cinco fatores que contribuem para a reduo da linguagem autntica para linguagem autntica de teste: a) o objetivo da interao, no caso de uma avaliao oral, avaliar o desempenho lingstico do candidato. Em situaes reais de comunicao, so vrios os objetivos da interao, embora nenhum deles seja de avaliar como que a pessoa est falando; b) os participantes numa avaliao oral geralmente no se conhecem e precisam conversar sobre algum assunto. Por no estarem acostumados a conversar um com o outro e desconhecerem a vida do outro, a interao se torna artificial, embaraosa e difcil. A no familiaridade pode afetar o desempenho do candidato, pois ele pode no se sentir vontade ao responder perguntas sobre aspectos da sua vida pessoal para algum com quem nunca tenha conversado. Nesse caso, o entrevistador, percebendo esse tipo de reao do candidato, ao invs de fazer

No original: () the language of authentic tests is not a true representation of real-life language. It was shown that it is difficult, if no impossible, to even approximate real-life language use on language tests. The most we can obtain, at the moment, is authentic test language.

17

39

perguntas de cunho mais pessoal, deve tentar elaborar outras perguntas, de cunho mais geral; c) a ambientao tambm diferente porque numa situao de avaliao, h uma sala em que o entrevistador se senta em um dos lados da mesa e o candidato do outro. Em situaes reais, os lugares em que a interao ocorre so variados e informais, como nas ruas, lojas, sala de estar etc; d) Numa situao de comunicao real, o tpico est ligado ao contedo da conversa, isto , o contedo no est pr-determinado e as circunstncias vo determinar o andamento da conversa. Numa situao de entrevista, os papis esto marcados. o entrevistador que ir conduzir a entrevista, introduzindo e finalizando os tpicos enquanto ao candidato caber apenas responder s perguntas feitas; e) o tempo limitado em uma avaliao oral, diferentemente das interaes reais, em que no h esse limite. Dando continuidade aos estudos de van Lier (1989) e Shohamy e Reeves (1985), Johnson e Tyler (1998) tambm avaliaram a EPO no apenas de forma qualitativa, mas tambm quantitativa. Nesse estudo, uma mesma candidata foi entrevistada por dois avaliadores. Os resultados mostraram que houve diferenas, por exemplo, na negociao de um tpico, uma vez que o entrevistador quem controlou a entrevista, mais especificamente, introduziu e fechou os assuntos. Alm disso, no parecia haver envolvimento dos entrevistadores na interao, isto , no sentido de explorar aspectos/subtpicos que foram ditos pela candidata. Nesse estudo notou-se que os entrevistadores, ao fazerem perguntas, tinham como objetivo principal avaliar a produo de uma determinada estrutura gramatical pela candidata e no o contedo, em outras palavras, aquilo que a candidata estava dizendo. Uma 40

vez que o objetivo da EPO nesse estudo era o enfoque na produo de estruturas gramaticais, as perguntas no davam uma seqncia quilo que a candidata est falando. Outro problema que tambm apareceu em relao ao tpico que a candidata no dominava, ou seja, no sabia o que falar, causando certo desconforto durante a entrevista. Concluindo, os estudos sobre validade mostram que h diferenas entre uma avaliao oral e uma conversa natural. Porm, pode haver variaes nas entrevistas, no sentido de algumas se aproximarem mais a uma conversa, devido a um envolvimento maior entre entrevistador e candidato. Outro aspecto que tambm tem sido foco de estudo so as variaes em relao atuao dos entrevistadores que podem contribuir para a diminuio da confiabilidade e validade de um exame. Morton et al. (1997) fizeram um estudo sobre o comportamento do entrevistador, partindo do pressuposto de que ele no neutro e que pode interferir no discurso do candidato. Com base nos questionrios de avaliao sobre o desempenho dos entrevistadores, respondidos por avaliadores externos18, foram selecionados os dez melhores entrevistadores e os dez piores, tomando por base as caractersticas da interao. Bons entrevistadores sempre do feedback variado e apoiador, que se aproxima do que as pessoas fazem em uma conversa natural. J os entrevistadores ruins provocam quebras na interao, na medida em que no do feedback e podem ser comparados a uma mquina pelo seu distanciamento. Os candidatos com

Avaliadores externos so aqueles que apenas atribuem notas posteriormente para as entrevistas gravadas em udio.

18

41

proficincia baixa so os mais afetados pelos entrevistadores ruins, porque eles necessitam de feedbacks e reformulaes de perguntas com mais freqncia. Observou-se tambm que bons entrevistadores do a mxima

oportunidade para o candidato expandir suas respostas, atravs de perguntas adicionais, repetio e explicao. Ao contrrio, entrevistadores ruins do pouco encorajamento para o candidato expandir suas respostas. Alm disso, bons entrevistadores no dominam a interao, ou seja, no falam muito. Em outras palavras, se o candidato tiver mais tempo para falar, o entrevistador poder avaliar melhor seu desempenho. Se, ao invs disso, o entrevistador fala mais que o candidato, a amostra que ele obter do candidato ser mnima, e pode no refletir aquilo que realmente o candidato consegue dizer. o que enfatiza o estudo de McNamara e Lumley (1997):

() o efeito da falta de desempenho pode ter sido o interlocutor que tomou para si a interao, dando ao candidato pouco tempo para falar, e dessa maneira, a evidncia disponvel para o avaliador pode ter sido restringida, e como resultado, o avaliador deu ao candidato o benefcio da dvida. (MCNAMARA; LUMLEY, 1997, p. 152-153) 19

Morton et al. concluem que ao avaliar candidatos com baixa proficincia, os bons entrevistadores adaptam a sua linguagem, ou seja, falam mais devagar e de forma mais simples, com explicaes e repeties. E, nos casos em que os candidatos tm proficincia alta, estes so desafiados com questes adicionais. Alm disso, os bons entrevistadores fazem parfrase quando um candidato no

No original: () the effect of the lack of competence may have been that the interlocutor hogged the interaction, giving the candidate too little time to speak, so that the evidence available to the rater may have been restricted, with the result that the rater gave the candidate benefit of the doubt.

19

42

entende uma pergunta; j os entrevistadores ruins apenas repetem a pergunta feita anteriormente. Ross & Berwick (1992) analisaram as diversas formas de acomodao das falas dos entrevistadores da EPO em relao aos vrios nveis de proficincia dos candidatos, isto , como os entrevistadores acomodavam as suas falas s dos candidatos, quando estes apresentavam dificuldades de compreenso no momento da interao. O objetivo desse estudo era mostrar mais um aspecto para testar a validade/autenticidade desse exame, pois as acomodaes presentes na avaliao eram semelhantes s acomodaes em contextos no-avaliativos, isto , aquelas que aparecem em conversas entre falantes nativos e no-nativos, mais conhecido como foreigner talk. Foram trs os tipos de acomodao mais utilizados nas entrevistas. O primeiro deles foram perguntas com ou, por exemplo, Voc mora em casa ou apartamento?, Voc pode me falar sobre sua casa, grande ou.... O segundo foi a diminuio na velocidade da fala, como em Ns podemos comprar um gravador digital de udio hoje em dia?. E o terceiro foram perguntas que o entrevistador fez sobre algo que ele j sabia ou que acreditava que o candidato deveria saber (display question). Por exemplo, Eu gostaria que voc me dissesse como fazer uma ligao telefnica usando um telefone pblico. Um telefone pago. Tudo bem? Voc poderia fazer isso? (...) Voc poderia me dizer como fazer uma ligao de um telefone pblico?. Os autores perceberam que essas formas de acomodaes estavam presentes nas falas dos professores (teacher talk), uma variedade do foreigner talk e que, por isso, poderiam ser consideradas vlidas para a EPO. 43

Em suma, a acomodao ocorre tambm em contextos no-avaliativos, o que aumentaria a validade do exame. Porm, o seu uso de forma inadequada ou em excesso (overaccommodation) comprometeria a confiabilidade. Por exemplo, se um entrevistador acomoda a sua fala para certos candidatos e no para outros, os candidatos que tiveram a acomodao poderiam estar sendo beneficiados em relao aos que no tiveram.

(...) a ameaa mais sistemtica ocorre quando os entrevistadores no percebem a complexidade proposicional de suas perguntas ou ignoram os efeitos de sua prpria inclinao para acomodar todos os falantes no-nativos, sem levar em conta as suas necessidades. (ROSS; BERWICK, 1992, p. 170) 20

Partindo dos dados obtidos durante uma aplicao do exame CASE (Cambridge Assessment of Spoken English), Lazaraton (1996a) identificou oito tipos de apoios que entrevistadores davam aos candidatos no momento da entrevista, descrevendo as vantagens e desvantagens desses apoios: 1) Preparar o tpico ou o assunto a ser conversado com perguntas preliminares. Esse tipo de apoio interessante porque contextualiza o assunto e dessa maneira, facilita para que o candidato entenda as perguntas. Na passagem citada pela autora como exemplo, primeiramente a entrevistadora A pergunta ao candidato se ele tem trabalho de meio perodo e em seguida pergunta se, no futuro, ele se v fazendo mais trabalho. No entanto, como as perguntas preliminares exigem respostas do tipo sim ou no, o candidato acaba produzindo/falando muito pouco.

20

No original: () the most systematic threat occurs when interviewers are unaware of the propositional complexity of their probes or ignore the effects of their own inclination to accommodate to all nonnative speakers, regardless of their need for it.

44

2) Fornecer vocabulrio ou se envolver em concluses colaborativas durante a resposta do candidato. Por exemplo, quando o candidato diz no pergunta colocada pela entrevistadora C (com quem voc normalmente fala ingls), ela fornece, em seguida, apoio de vocabulrio, como Ningum? Professor? e o candidato ento utiliza esse vocabulrio em sua resposta No, s professores. Portanto, esse tipo de apoio ajuda o candidato a construir uma resposta mais aceitvel. Porm, avaliar o seu vocabulrio se tornar um problema. Outro problema ser mais uma vez as interferncias que o entrevistador ir fazer, deixando poucas chances para que o candidato possa falar. 3) dar respostas avaliativas depois que o candidato responde a uma pergunta. Esse feedback pode ocasionar problemas porque pode trazer diferentes interpretaes quando usado. Por exemplo, a palavra bom (good) depois da resposta do candidato pode ser interpretada em relao ao contedo falado (que bom ter um amigo, por exemplo) ou em relao resposta (que a produo lingstica foi boa). 4) Repetir e/ou corrigir as respostas dos candidatos para confirmaes. Porm, esse tipo de apoio muito semelhante ao comportamento de professor, quando ele corrige as respostas dos alunos. Por exemplo, o candidato diz I want to go in Spain (Eu quero ir em Espanha) e o entrevistador W o corrige to Spain (para Espanha). 5) Repetir perguntas com a fala mais lenta, mais pausas e excesso de articulao. Esse tipo de apoio caracterstico do foreigner talk e pode trazer reaes diversas no candidato, podendo ser at mesmo uma forma de insulto.

45

6) Afirmar as questes da prova como afirmaes que meramente requerem confirmao. Como conseqncia, o candidato ir apenas responder sim ou no e, com isso, ter poucas oportunidades para demonstrar aquilo que sabe falar. Aps conversarem sobre a possibilidade do candidato continuar na corporao em que trabalha, o entrevistador H introduz a seguinte reiterao (...) ento o ingls importante para a sua carreira. E o candidato responde apenas com um sim. 7) Tirar concluses para os candidatos. Baseando-se na resposta do candidato, o entrevistador tira ento uma concluso e o candidato, em resposta a essa concluso, apenas ir concordar com um sim. Por exemplo, o entrevistador H conclui a conversa voc quer mudar de novo e o candidato responde sim, eu, eu quero mudar de novo Mais uma vez, esse tipo de apoio fornece poucas oportunidades para que o candidato possa expandir suas respostas. 8) Reformular perguntas para checar ou facilitar a compreenso. O problema que os entrevistadores vo incrementando a pergunta mesmo quando o candidato no pede tal ajuda. Outro problema que surge que, com as reformulaes, muitas perguntas so feitas, adicionando-se muito mais elementos a elas. Por exemplo, a entrevistadora A faz vrias perguntas (voc estudante? Ou voc trabalha?, voc tem emprego?, ou voc est estudando?) at que o candidato consiga responder uma delas. Uma vez descritos os oito apoios que apareceram nas entrevistas, Lazaraton conclui:
(...) Por um lado, esta (a presena de uma variedade de prticas de apoio) um resultado positivo, j que sugere que os processos e as prticas da conversa esto presentes nessas entrevistas que, por sua vez, implicam que conversa de alguma forma pode ser explorada

46

nesse contexto. Por outro lado, o apoio dado pelo interlocutor no foi consistente, e isso levanta questes sobre o seu impacto no uso da linguagem do candidato e na avaliao dessa linguagem. Cada um dos examinadores se engajou nesses comportamentos em algum grau, mas alguns comportamentos foram exibidos mais por alguns entrevistadores do que por outros, o que levanta o problema potencial de oportunidades desiguais para os candidatos demonstrarem sua capacidade e obterem apoio do interlocutor. (LAZARATON, 1996a, p. 166) 21

Portanto, nesse artigo, Lazaraton levanta um problema sobre o que fazer com os apoios que os entrevistadores do (uma vez que eles no so feitos de maneira uniforme por todos) e qual o impacto desses apoios na atribuio de notas. Se alguns entrevistadores fornecem apoios aos candidatos e outros no, possvel que aqueles possam ser mais beneficiados do que estes, afetando dessa maneira a confiabilidade, j que o desempenho seria alterado por essa varivel. Utilizando-se dos mesmos dados do artigo anterior, Lazaraton (1996b) analisa o desempenho dos entrevistadores em relao a perguntas prontas, isto , quais perguntas foram utilizadas e, alm disso, das perguntas que foram feitas, quais ocasionaram problemas e quais foram bem sucedidas. A autora avaliou cada entrevistador separadamente, colocando sugestes em relao ao comportamento. Por exemplo, um dos entrevistadores tem um estilo prximo de um bate-papo, informal e isso fez com que ele no fosse mais objetivo nas suas perguntas.

No original: On the one hand, this is a positive outcome, since it suggests that processes of and practices in conversation are present in these interviews, which in turn implies that conversation in some form can be tapped in this context. On the other hand, the interlocutor support that occurred was not consistent, and this raises questions about its impact on candidate language use, and on the rating of that language. Each of the examiners engaged in these behaviours to some degree, but some behaviours were exhibited more by some examiners than others, which raises the potential problem of unequal opportunities for candidates to demonstrate ability and to obtain interlocutor support.

21

47

Mohan (1998), por sua vez, avalia as interaes das entrevistas orais para professores estrangeiros assistentes de ensino22, por outra perspectiva, isto , a interao como co-construo de estruturas de conhecimento (co-construction of knowledge structures). Em outras palavras, como os dois participantes da entrevista, de um lado o entrevistador e de outro o assistente que est sendo avaliado, constroem juntos um sentido na interao.
A EPO (Entrevista de Proficincia Oral) no apenas uma produo, uma entrevista. Portanto, ns no estamos lidando apenas com a construo de conhecimento, ns estamos lidando com a coconstruo interacional do conhecimento. O professor assistente (TA) no um construtor isolado: o entrevistador um colega de trabalho num lugar de construo. O que eles esto construindo em conjunto so as estruturas de conhecimento. (MOHAN, 1998, p.200) 23

As estruturas de conhecimento as quais ele se refere so as estruturas do campo do discurso. No seu estudo, Mohan observou algumas dessas estruturas de conhecimento, como a seqncia e os princpios. Por exemplo, no caso da seqncia, o entrevistador pergunta ao candidato um procedimento culinrio para um dado prato. Antes de fazer essa pergunta, entretanto, o entrevistador faz algumas perguntas para contextualizar o tpico a ser conversado, perguntando se ele sabe cozinhar e, em caso afirmativo, que prato ele pretenderia fazer para o jantar. Depois dessas perguntas, o entrevistador faria a pergunta inicial sobre o procedimento culinrio para aquele prato. O candidato responderia a essa pergunta com uma

22

Os ITAs (International Teaching Assistants) so professores assistentes estrangeiros que do aulas, sesses de laboratrio e orientaes para alunos de graduao. 23 No original: The OPI is not merely an elicitation, it is an interview. Hence we are not dealing merely with the construction of knowledge, we are dealing with the interactional co-construction of knowledge. The TA is not a lone builder: the interviewer is a co-worker on the building site. What they are jointly building are knowledge structures.

48

seqncia de aes que levaria a um produto final, ou seja, o prato. O entrevistador, percebendo que falta algum ingrediente, por exemplo, faria perguntas exploratrias. E por meio delas que o entrevistador e o candidato estabelecem uma coconstruo interacional do conhecimento. J em relao aos princpios, por exemplo, o entrevistador pergunta ao candidato uma regra do jogo de futebol, por exemplo, o que significa impedimento. O entrevistador espera que o candidato, ao mencionar que joga futebol, saiba lhe explicar essa regra, a do impedimento, por meio de uma explicao mais analtica, como um especialista falando, e menos por uma explicao baseada numa generalizao emprica sobre uma experincia pessoal. Aps uma tentativa frustrada de explicar a regra, o candidato diz ao entrevistador que impedimento era um conceito muito difcil de explicar. O entrevistador tenta ajud-lo pedindo que ele use o quadro-negro. Desta vez, o candidato consegue dizer a regra. Para fechar esse tpico, o entrevistador faz uma pergunta voltada a uma experincia pessoal do candidato, ou seja, se ele, alguma vez, tinha sido impedido. As perguntas que o entrevistador fez para que o candidato explicasse um procedimento culinrio ou uma regra do jogo de futebol requeriam do candidato um conhecimento da estrutura do conhecimento. No primeiro caso, ele teria que relatar uma seqncia de aes e no segundo, dar uma explicao analtica. Assim, esperava-se que o candidato desse todos os detalhes, mas na falta destes, o entrevistador faria perguntas exploratrias.
Um procedimento culinrio dado, mas h um ingrediente faltando; um horrio dado, mas h uma atividade que permanece sem razo; uma generalizao dada, mas sem exemplos, e um contraste implcito que precisa ser explcito. Nos termos de ato de fala, esta a

49

diferena entre o mais geral O professor assistente respondeu a questo de forma satisfatria? e a mais especfica O professor assistente respondeu de forma razoavelmente completa o horrio, a regra ou a generalizao contrastiva? (MOHAN, 1998, p. 200) 24

Com o que foi dito, fica claro que as entrevistas orais podem se diferenciar segundo os seus objetivos. Se o objetivo da entrevista apenas ter uma amostra do desempenho do candidato ou se h algo a mais, ou seja, uma co-construo de significado entre os seus participantes. J Young e Milanovic (1992) analisaram a estrutura do discurso de 30 entrevistas orais do exame do Primeiro Certificado em Ingls (FCE First Certificate in English) e chegaram concluso de que o domnio da interao caracteriza-se em relao orientao do objetivo do entrevistador - que maior que a do candidato e reao do candidato - que maior que a do entrevistador. O primeiro termo significa os objetivos internos de cada falante separadamente e o segundo, como os participantes reagem um ao outro.
O domnio nessas interaes duais no simplesmente uma questo de falar mais ou iniciar mais tpicos mas, mais exatamente, tem a ver com a meta de orientao do examinador e a reao do candidato. O domnio tambm evidente na assimetria da interao: o examinador muito menos reativo que o candidato, e o candidato parece ser um pouco menos orientado (em relao meta) que o examinador. (YOUNG; MILANOVIC, 1992, p.421) 25

24

No original: A cooking procedure is given, but there is an ingredient missing; a schedule is given but there is activity remaining to be accounted for; a generalization is given, but this is the difference between the more general Has TA answered the question satisfactorily? and the more specific Has TA replied with a reasonably complete schedule, procedure, rule or contrastive generalization? 25 No original: Dominance in these dyadic interactions is not simply a question of speaking more or of initiating more topics but, rather, has to do with the goal orientation of the examiner and the reactiveness of the candidate. Dominance is also evident in the asymmetry of the interaction: The examiner is far less reactive than the candidate, and the candidate appears a little less goal oriented than the examiner.

50

Em outras palavras, o domnio da interao no est relacionado ao fato de quem fala mais, pois nesse caso, seriam os candidatos. No entanto, o domnio se estabelece em relao ao entrevistador, cujo objetivo avaliar o candidato, e por isso, ir controlar a sua fala, atravs da manuteno de turno, introduo e fechamento dos tpicos, controle do seu acesso ao turno por meio de perguntas e interrupes. Por outro lado, a reao do candidato aos tpicos introduzidos pelo entrevistador ser maior do que a reao do entrevistador, pois ele ter que reagir ou responder mais aos tpicos do entrevistador do que vice-versa. Alm disso, a variao no discurso tambm analisada em relao a diferentes contextos. O discurso variou em relao ao gnero - se o entrevistador era homem ou mulher - e tambm em relao tarefa - se uma tarefa que era mais estruturada, com respostas j pr-determinadas e outra menos estruturada, sem respostas pr-determinadas. Outros aspectos no foram contemplados tais como idade, caractersticas individuais, empatia, e outras caractersticas que

apresentassem influncia na interao entre candidato e entrevistador. Em relao atuao dos entrevistadores em contexto de avaliao oral em sala de aula, Amarante (1994) discute os papis que os entrevistadores, no caso, os professores, assumem quando avaliam os seus alunos. Os dados mostraram que os entrevistadores exerceram domnio nas entrevistas, sendo perguntadores, enquanto os alunos apenas respondiam o que lhes era perguntado. No entanto, os alunos s assumiam o papel de perguntador quando o entrevistador lhes pedia, como em Me pergunte se tem algum filme passando. Alm disso, o domnio do entrevistador ficou evidente tambm pelas correes que fazia em relao s formas lingsticas (gramtica). Nesse caso, a avaliao oral se restringiu, portanto, 51

competncia comunicativa escolar (o desempenho enquanto aluno) e no a uma competncia mais ampla, em que os alunos tivessem que assumir outros papis sociais. A autora conclui que:

(...) necessrio repensar a utilizao da entrevista oral como instrumento de avaliao formal ou, ao menos, repensar a conduo da entrevista oral, uma vez que, por um lado, ela parece propiciar a intensificao da assimetria de poder e, por outro, parece no fornecer ao aluno oportunidades de uso comunicativo da lngua estrangeira, acabando por se constituir em um ritual vazio de significado no plano das relaes humanas, em que a linguagem parece ter apenas funo metacomunicativa. (AMARANTE, 1994, p.93)

Porm, em seu outro trabalho, Amarante (1998) coloca que h maneiras de minimizar a assimetria entre entrevistador e aluno por meio da no correo dos erros gramaticais. Por exemplo, o entrevistador poder no assumir nem o papel de avaliador e nem o de professor, sendo nesse caso, um facilitador, dando entrevista um estilo mais prximo de conversa. Alm disso, segundo essa mesma autora, outra forma seria o entrevistador tentar acalmar o aluno que est nervoso, em lngua materna, ou ainda utilizar a estratgia de andaime (scaffolding), isto , fazer perguntas que requerem respostas do tipo sim ou no dos alunos como forma de se chegar resposta desejada, como foi visto no artigo de Lazaraton (1996a). O comportamento no-verbal nas entrevistas tambm tem sido objeto de estudo para outros autores. Jenkins e Parra (2003) analisaram a influncia do comportamento no-verbal nas entrevistas do Teste de Proficincia de Ingls Oral (OEPT) que avaliavam a proficincia oral dos ITAs (International Teaching Assistants) de uma universidade americana. As entrevistas consistiam em

52

simulaes de sala de aula, em que os entrevistadores passariam por alunos, fazendo perguntas ao professor e os candidatos, no papel de professores, deveriam conduzir uma aula de acordo com a sua rea de ensino. Em relao ao comportamento no-verbal, foram analisadas caractersticas sinestsicas, como o contato do olhar, a inclinao do corpo, a expresso facial - de forma positiva, o sorriso - e caractersticas paralingsticas, relacionadas ao aparelho fonador, tais como a qualidade de voz (se o tom de voz variado ou no) e as vocalizaes. Alm disso, analisaram-se tambm como os candidatos se comportavam como ouvintes ao ouvirem as perguntas que os entrevistadores faziam como alunos, ou seja, se eles eram atenciosos, apoiadores e compreensivos e se davam back channel pequenas mensagens, como sim, uh huh, ou balanando a cabea. As autoras concluram que os candidatos bem sucedidos foram capazes de modificar a dinmica do poder e reduzir a assimetria da entrevista, ou seja, eles encararam a entrevista como uma discusso ou conversa entre pares. Dessa maneira, puderam negociar sentidos e, como esperavam a assistncia dos entrevistadores, demonstraram um comportamento positivo e foram capazes de negociar uma conversa e realizar tomada de turno. Por outro lado, aqueles candidatos que encararam a entrevista como uma avaliao, no conseguiram estabelecer a interao com os entrevistadores, no fazendo ou fazendo pouco uso da linguagem no-verbal. O papel da linguagem no-verbal nas entrevistas pode ser resumido da seguinte maneira:
Os alunos avaliados como lingisticamente proficientes passam, sem levar em conta a competncia no-verbal, mas os lingisticamente fracos, que empregam estratgias no-verbais, que lhes possibilitam negociar sentido e sustentar a conversa de uma maneira que engaja

53

o interesse e a ateno dos avaliadores, so tambm bem sucedidos. Eles podem transformar um sistema fechado em um sistema autntico, dinmico e aberto requerido por Lantolf e Frawley (1988) e podem alcanar a contingncia mtua desejada por van Lier (1989). (JENKINS; PARRA, 2003, p.103) 26

A seguir, apresentarei estudos relacionados ao aspecto cultural nas entrevistas, que tambm pode ser uma varivel que afete a confiabilidade de um exame.

2.5. O ASPECTO CULTURAL NAS ENTREVISTAS

Ross (1998) analisou por que candidatos japoneses apresentavam dificuldades para interagir nas entrevistas. O que foi constatado que havia tpicos ou assuntos que na cultura japonesa no eram discutidos e que isso, de alguma forma, tambm era transferido para a segunda lngua. Alm disso, outra

caracterstica valorizada nessa cultura falar pouco, o mnimo necessrio. Porm, no momento da entrevista, isso se torna problemtico porque h a necessidade de que o candidato fale e interaja com o entrevistador para que a sua produo lingstica seja avaliada. Se o candidato no contribui ou no responde s perguntas, o entrevistador pode interpretar que o candidato no sabe a lngua o suficiente para que ele possa interagir com o entrevistador.

26

No original: Those students rated as linguistically proficient pass regardless of nonverbal competence, but linguistically weaker examinees who employ nonverbal strategies that enable them to negotiate meaning and sustain a conversation in a manner that engages the evaluators interest and attention are also successful. They can transform a closed system into the authentic, dynamic, open system required by Lantolf and Frawley (1988) and can achieve the mutual contingency desired by van Lier (1989).

54

Alm desse aspecto cultural, o propsito da entrevista tambm parece no ser compreendido entre os candidatos japoneses. As perguntas do entrevistador no buscam a veracidade das informaes dadas pelos candidatos, mas so um convite para que eles possam expandir as suas respostas.

O propsito das questes no contexto de entrevista de proficincia de lngua raramente estabelecer uma verdade de fatos particulares sobre as experincias da vida do candidato. Pelo contrrio, as perguntas de entrevista so convites para o candidato falar sobre tpicos introduzidos atravs do processo de questionamento. (ROSS, 1998, p. 340) 27

Young e Halleck (1998) realizaram um estudo para observar as diferenas nos estilos conversacionais entre candidatos japoneses e mexicanos nos diferentes nveis: Superior, Avanado e Intermedirio Mdio das entrevistas de proficincia oral da ACTFL (American Council on the Teaching of Foreign Languages) e chegaram s seguintes concluses, j esperadas: comparando-se os estilos conversacionais dos candidatos mexicanos e japoneses, os primeiros requereram menos trabalho do entrevistador; alm de falarem mais rpido, mudaram os tpicos com mais freqncia. Essas mesmas caractersticas tambm foram observadas comparandose os candidatos de proficincia alta aos de proficincia baixa. Como o estudo foi feito com apenas seis candidatos, os autores mencionam as limitaes de seu estudo, pois no h como generalizar os resultados obtidos, j que nem todos os candidatos mexicanos iro ter as caractersticas do estilo conversacional anteriormente descrito. Isso porque h outros fatores que
27

No original: The purpose of questions in the context of the language proficiency interview is rarely to establish the truth of particular facts about a candidates life experiences. Rather, interview questions are invitations for the candidate to talk about the topics introduced through the questioning process.

55

podem influir para que um candidato no contribua para a interao, como as diferenas individuais, a personalidade, a maneira como foi aprendida a lngua, etc. que podem no ter sido levados em conta. Assim, no se pode generalizar tambm com relao aos candidatos de nvel mais alto, como sendo aqueles que contribuem bastante para a interao e falam mais rpido. A meu ver, o fato de um candidato no falar ou no contribuir para a interao pode estar relacionado a fatores culturais, individuais, entre outros. O entrevistador precisa estar ciente disso, antes de julgar o desempenho do candidato. Em outro estudo, Berwick e Ross (1996) analisaram entrevistas orais para avaliao de proficincia em lngua inglesa e em lngua japonesa e concluram que os entrevistadores dessas duas lnguas apresentavam estilos diferentes com relao maneira como exerciam sua autoridade sobre os entrevistados. Enquanto os entrevistadores japoneses enfatizavam a forma e tinham um estilo parecido com o de um professor (instructional care-taking), os entrevistadores americanos focavam sua ateno para o contedo e dependiam da vontade do candidato para que a interao flusse. Portanto, a maneira como o entrevistador conduz uma entrevista pode variar segundo o estilo conversacional de uma determinada cultura. Como foi exposto nesta seo, apesar dos estilos tanto de entrevistadores quanto de candidatos estarem relacionados cultura que eles pertencem, eles no podem ser totalmente generalizados. Estilos como o de professor (BERWICK; ROSS, 1996) podem aparecer em entrevistadores de outras culturas. Os estilos podem se tornar variveis, e dessa maneira, diminuir a confiabilidade de um exame, no momento em que um determinado estilo possa afetar o desempenho esperado de

56

um candidato e, sendo assim, a nota atribuda a ele no refletiria o seu real desempenho.

Neste captulo, abordei os estudos mais significativos da avaliao oral com enfoque na confiabilidade, validade e estilos dos entrevistadores. No prximo captulo, apresentarei a anlise dos dados e a discusso dos resultados.

57

58

CAPTULO III

ANLISE DOS DADOS E DISCUSSO DOS RESULTADOS

3.1. INTRODUO

Neste captulo apresentarei a anlise dos dados e a discusso dos resultados deste trabalho, com o objetivo de responder s duas perguntas colocadas no Captulo I: (1) Como a atuao dos entrevistadores em relao aos procedimentos do exame? (2) Que estilos os entrevistadores apresentam nas interaes face a face? O captulo est organizado em trs partes. Na primeira parte, sero apresentados os dados relacionados aos procedimentos do exame e seus resultados sero discutidos, e na segunda parte, os dados e os resultados referentes aos estilos dos entrevistadores. Por fim, na terceira parte, as consideraes finais encerraro este captulo.

3.2. DADOS RELACIONADOS AOS PROCEDIMENTOS DO EXAME

Em relao aos procedimentos do exame, foram observados o tempo e as etapas. Em relao ao primeiro, a atuao dos entrevistadores foi analisada sob duas perspectivas: (a) o cumprimento do tempo estabelecido de 20 minutos para o total da entrevista e (b) o cumprimento do tempo de 5 minutos para cada elemento

59

provocador. J em relao s etapas, foram identificados os entrevistadores que no cumpriram a ordem das etapas estabelecidas no Manual do Aplicador (ver Anexo 3). Retomando o que j foi mencionado no Captulo I, a durao total da interao de 20 minutos que esto distribudos em: cinco primeiros minutos de conversa sobre um questionrio previamente respondido pelo candidato (ver Anexo 1) e 15 minutos restantes para a parte dos elementos provocadores, sendo que para cada elemento a durao de 5 minutos. Na tabela que se segue esto listados, portanto, os tempos que cada entrevistador, identificado com letra do alfabeto, levou em cada parte da entrevista (na primeira parte e, em seguida, no primeiro, segundo e terceiro elemento provocador) em relao a cada candidato, identificados com nmero. Alm disso, o tempo total de cada entrevista foi listado e as trs instituies identificadas com algarismo romano.
Tempo (minutos) Instituio Entrevistador A A A B B B B B B C C C C D D E E F F F G G H H H Candidato 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 1. Parte 5 5 4 6 6 4 6 5 6 5 6 5 5 5 2 3 8 5 7 5 5 4 9 4 11 1. Elemento Provocador 5 4 5 5 5 5 6 6 6 5 5 5 5 6 5 5 5 6 9 5 4 5 5 6 5 2. Elemento Provocador 5 8 5 7 5 4 4 5 4 4 5 5 5 5 2 4 3 2 4 5 4 6 5 6 7 3. Elemento Provocador 5 5 5 5 5 5 6 5 4 5 5 5 5 6 4 3 4 5 6 6 6 4 4 5 4 Total 20 22 19 23 21 18 22 21 20 19 21 20 20 22 13 15 20 18 26 21 19 19 23 21 27

II

60

Tempo (minutos) Instituio Entrevistador I I I J J J J L L L L M M M M M N N N N N O O O O P P P P Q Q Q Q Candidato 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 1. Parte 4 4 4 3 4 6 5 5 6 7 4 2 2 3 3 5 5 3 4 5 4 6 2 3 3 5 5 4 6 5 4 4 4 1. Elemento Provocador 6 4 7 3 3 3 5 8 6 7 7 5 5 4 3 4 4 5 5 5 4 7 4 5 8 5 5 6 4 6 5 5 6 2. Elemento Provocador 7 4 7 4 3 7 2 5 5 5 4 4 2 5 4 4 5 4 5 3 5 6 8 4 6 6 5 3 5 6 5 5 6 3. Elemento Provocador 6 4 4 6 2 5 3 3 5 1 2 4 3 4 4 5 5 4 5 4 5 3 3 6 4 4 4 6 4 5 5 5 6 Total 23 16 22 16 12 21 15 21 22 20 17 15 12 16 14 18 19 16 19 17 18 22 17 18 21 20 19 19 19 22 19 19 22

III

Tabela 1: Durao das entrevistas

Os grficos a seguir mostram a relao entre tempo e entrevistador para cada uma das partes da entrevista de um entrevistador e tambm em relao aos demais. Como nem todos os entrevistadores conseguiram cumprir com rigor os 5 minutos estabelecidos para cada parte da entrevista, considerou-se como entrevistadores que no variaram aqueles que cumpriram tempo no intervalo de 4 a 61

6 minutos. Devido a esse intervalo para cada parte da entrevista, foi considerado o intervalo de 16 a 24 minutos para o tempo total da entrevista. Portanto, aqueles entrevistadores que cumpriram esse intervalo foram considerados adequados em relao ao tempo esperado. As faixas de tolerncia foram destacadas para uma melhor visualizao dos entrevistadores que no se encaixaram nesse intervalo. Todo grupo de dados possui 3 quartis. Se os dados forem ordenados do menor para o maior, os primeiros 25% dos dados so menores ou iguais ao primeiro quartil. O segundo quartil a mediana, 50% dos dados so menores ou iguais e maiores ou iguais mediana. Os primeiros 75% dos dados so menores ou iguais e 25% maiores ou iguais ao terceiro quartil. Observando as barras de baixo para cima, a primeira linha horizontal corresponde ao primeiro quartil, a segunda mediana e a terceira ao terceiro quartil. Por exemplo, em relao entrevistadora B, o primeiro quartil 19,5, a mediana 21 e o terceiro quartil 22,25 (ver tabela 2). A linha vertical indica o tempo mnimo e mximo de entrevista para cada entrevistador. As linhas verticais no aparecem em algumas barras porque o primeiro quartil igual ao tempo menor de entrevista e/ou o terceiro quartil igual ao tempo maior. As barras indicam a variao de cada entrevistador em relao as suas entrevistas. Quanto maior for a barra, maior ser a variao. Se, ao invs da barra h apenas um trao horizontal, como no caso da entrevistadora (G), isso indica que a durao de todas as suas entrevistas foi a mesma. No grfico 1 e na tabela 2 a seguir, so apresentadas as informaes da anlise descritiva dos dados em relao ao tempo total por entrevistador:

62

Tempo Total
27 26 25 24

24

Tempo em Minutos

23 22 21 20 19 18 17 16 15 14 13 12

16

G H I J Entrevistador

Grfico 1: Tempo total por entrevistador

Tempo Total
Entrevistador
A B C D E F G H I J L M N O P Q

28

Mdia
20,333 20,833 20 17,5 17,5 21,67 19 23,67 20,33 16 20 15 17,8 19,5 19,25 20,5

E.P. da Mdia
0,882 0,703 0,408 4,5 2,5 2,33 0 1,76 2,19 1,87 1,08 1 0,583 1,19 0,25 0,866

Desvio Padro
1,528 1,722 0,816 6,36 3,54 4,04 0 3,06 3,79 3,74 2,16 2,24 1,304 2,38 0,5 1,732

Mnimo
19 18 19 13 15 18 19 21 16 12 17 12 16 17 19 19

Q1
19 19,5 19,25 * * 18 * 21 16 12,75 17,75 13 16,5 17,25 19 19

Mediana
20 21 20 17,5 17,5 21 19 23 22 15,5 20,5 15 18 19,5 19 20,5

Q3
22 22,25 20,75 * * 26 * 27 23 19,75 21,75 17 19 21,75 19,75 22

Mximo
22 23 21 22 20 26 19 27 23 21 22 18 19 22 20 22

3 6 4 2 2 3 2 3 3 4 4 5 5 4 4 4

Tabela 2: Tempo total da entrevista por entrevistador

N: nmero de entrevistas; EP da mdia: Erro padro da mdia; Mnimo: menor tempo; Mximo: maior tempo; Q1: primeiro quartil; Q3: terceiro quartil.

28

63

Embora, pela tabela 2, quase todos os entrevistadores tenham cumprido em mdia o tempo, isto , as mdias dos tempos que variaram entre vinte e quatro e dezesseis minutos, ele no um bom indicador de desempenho dos entrevistadores pois um entrevistador pode passar mais tempo em uma das partes da entrevista e menos em outras, e mesmo assim se encaixar na faixa de tolerncia do tempo total. Observando-se o grfico 1, nota-se que as entrevistadoras (D), (E), (F), (H), (J) e (M) apresentaram algumas entrevistas fora da faixa de tolerncia. Ao se verificar as medianas, mais da metade das entrevistas das entrevistadoras (J) e (M) teve o seu tempo diminudo. No entanto, uma ressalva deve ser feita em relao a essas barras, j que a quantidade de entrevistas por entrevistador no a mesma. No grfico 2 e tabela 3 a seguir, apresento a anlise descritiva dos dados em relao primeira parte da entrevista.

Primeira Parte da Entrevista

11 10 9 Tempo em Minutos 8 7 6 5 4 3 2 A B C D E F G H I J Entrevistador L M N O P Q 4 6

Grfico 2: Tempo da primeira parte

64

Primeira Parte
Entrevistador
A B C D E F G H I J L M N O P Q

N
3 6 4 2 2 3 2 3 3 4 4 5 5 4 4 4

Mdia
4,667 5,5 5,25 3,5 5,5 5,667 4,5 8 4 4,5 5,5 3 4,2 3,5 5 4,25

E.P. da Mdia
0,333 0,342 0,25 1,5 2,5 0,667 0,5 2,08 0 0,645 0,645 0,548 0,374 0,866 0,408 0,25

Desvio Padro
0,577 0,837 0,5 2,12 3,54 1,155 0,707 3,61 0 1,291 1,291 1,225 0,837 1,732 0,816 0,5

Mnimo
4 4 5 2 3 5 4 4 4 3 4 2 3 2 4 4

Q1
4 4,75 5 * * 5 * 4 4 3,25 4,25 2 3,5 2,25 4,25 4

Mediana
5 6 5 3,5 5,5 5 4,5 9 4 4,5 5,5 3 4 3 5 4

Q3
5 6 5,75 * * 7 * 11 4 5,75 6,75 4 5 5,25 5,75 4,75

Mximo
5 6 6 5 8 7 5 11 4 6 7 5 5 6 6 5

Tabela 3: Tempo da primeira parte da entrevista por entrevistador Conforme se verifica na tabela 3, os entrevistadores (D), (H), (M) e (O) no cumpriram em mdia o tempo. Entre os que no cumpriram, a entrevistadora (H) foi a que apresentou maiores tempos fora da faixa e a entrevistadora (M) com os menores tempos fora da faixa. Alm disso, observando o grfico 2, nota-se que as barras das entrevistadoras (E), (F), (J), (L) e (N) indicam uma variao em relao ao tempo estabelecido de cinco minutos. No entanto, suas medianas esto no intervalo de 4 a 6 minutos, significando que metade ou mais das entrevistas esteve nesse intervalo de tolerncia. O grfico 3 e a tabela 4, a seguir, se referem s variaes de tempo de cada entrevistador no 1 elemento provocador. Assim como na primeira parte da entrevista, a durao prevista para essa parte de 5 minutos.

65

1o. Elemento Provocador

9 8 Tempo em Minutos 7 6 5 4 3 A B C D E F G H I J Entrevistador L M N O P Q 4 6

Grfico 3: Tempo do 1 Elemento Provocador

1 Elemento Provocador
Entrevistador
A B C D E F G H I J L M N O P Q

N
3 6 4 2 2 3 2 3 3 4 4 5 5 4 4 4

Mdia
4,667 5,5 5 5,5 5 6,67 4,5 5,333 5,667 3,5 7 4,2 4,6 6 5 5,5

E.P. da Mdia
0,333 0,224 0 0,5 0 1,2 0,5 0,333 0,882 0,5 0,408 0,374 0,245 0,913 0,408 0,289

Desvio Padro
0,577 0,548 0 0,707 0 2,08 0,707 0,577 1,528 1 0,816 0,837 0,548 1,826 0,816 0,577

Mnimo
4 5 5 5 5 5 4 5 4 3 6 3 4 4 4 5

Q1
4 5 5 * * 5 * 5 4 3 6,25 3,5 4 4,25 4,25 5

Mediana
5 5,5 5 5,5 5 6 4,5 5 6 3 7 4 5 6 5 5,5

Q3
5 6 5 * * 9 * 6 7 4,5 7,75 5 5 7,75 5,75 6

Mximo
5 6 5 6 5 9 5 6 7 5 8 5 5 8 6 6

Tabela 4: Tempo do 1 Elemento provocador por entrevistador Por meio da tabela 4, nota-se que as entrevistadoras (F), (J) e (L) no cumpriram em mdia o tempo, sendo a entrevistadora (L) com a maior mdia. Alm

66

disso, todas as suas entrevistas permaneceram fora do intervalo de tolerncia de 4 a 6 minutos. A seguir, o grfico 4 e a tabela 5 se referem s informaes descritivas em relao ao tempo do 2 Elemento Provocador.

2o. Elemento Provocador

8 7 Tempo em Minutos 6 5 4 3 2 A B C D E F G H I J Entrevistador L M N O P Q 4 6

Grfico 4: Tempo do 2 Elemento Provocador

67

2 Elemento Provocador
Entrevistador
A B C D E F G H I J L M N O P Q

N
3 6 4 2 2 3 2 3 3 4 4 5 5 4 4 4

Mdia
6 4,833 4,75 3,5 3,5 3,667 5 6 6 4 4,75 3,8 4,4 6 4,75 5,5

E.P. da Mdia
1 0,477 0,25 1,5 0,5 0,882 1 0,577 1 1,08 0,25 0,49 0,4 0,816 0,629 0,289

Desvio Padro
1,73 1,169 0,5 2,12 0,707 1,528 1,41 1 1,73 2,16 0,5 1,095 0,894 1,633 1,258 0,577

Mnimo
5 4 4 2 3 2 4 5 4 2 4 2 3 4 3 5

Q1
5 4 4,25 * * 2 * 5 4 2,25 4,25 3 3,5 4,5 3,5 5

Mediana
5 4,5 5 3,5 3,5 4 5 6 7 3,5 5 4 5 6 5 5

Q3
8 5,5 5 * * 5 * 7 7 6,25 5 4,5 5 7,5 5,75 6

Mximo
8 7 5 5 4 5 6 7 7 7 5 5 5 8 6 6

Tabela 5: Tempo do 2 Elemento provocador por entrevistador

Na tabela 5, percebe-se que as entrevistadoras (D), (E), (F) e (M) no cumpriram em mdia o tempo. As mdias obtidas por elas foram bem prximas. Para finalizar a anlise relativa aos elementos provocadores, apresento o grfico 5 e a tabela 6, referentes ao 3 Elemento Provocador.

68

3o. Elemento Provocador

6 6

5 Tempo em Minutos

1 A B C D E F G H I J Entrevistador L M N O P Q

Grfico 5: Tempo do 3 Elemento Provocador

3 Elemento Provocador
Entrevistador
A B C D E F G H I J L M N O P Q

N
3 6 4 2 2 3 2 3 3 4 4 5 5 4 4 4

Mdia
5 5 5 5 3,5 5,667 5 4,333 4,667 4 2,75 4 4,6 4 4,5 5,25

E.P. da Mdia
0 0,258 0 1 0,5 0,333 1 0,333 0,667 0,913 0,854 0,316 0,245 0,707 0,5 0,25

Desvio Padro
0 0,632 0 1,41 0,707 0,577 1,41 0,577 1,155 1,826 1,708 0,707 0,548 1,414 1 0,5

Mnimo
5 4 5 4 3 5 4 4 4 2 1 3 4 3 4 5

Q1
5 4,75 5 * * 5 * 4 4 2,25 1,25 3,5 4 3 4 5

Mediana
5 5 5 5 3,5 6 5 4 4 4 2,5 4 5 3,5 4 5

Q3
5 5,25 5 * * 6 * 5 6 5,75 4,5 4,5 5 5,5 5,5 5,75

Mximo
5 6 5 6 4 6 6 5 6 6 5 5 5 6 6 6

Tabela 6: Tempo do 3 Elemento provocador por entrevistador

Em relao ao grfico 5, apenas as entrevistadoras (E) e (L) no cumpriram em mdia o tempo. A entrevistadora (L) obteve a menor mdia. Alm 69

disso, interessante observar que esse grfico no apresentou tempo acima dos seis minutos. Isso pode indicar que no ltimo elemento provocador, os entrevistadores j tenham uma amostra suficiente da fala do candidato e encerram essa parte no tempo esperado de cinco minutos. Como se pode notar, dos entrevistadores analisados, nem todos seguem rigorosamente o tempo estabelecido para a aplicao da parte oral do exame, mesmo se considerando um intervalo de quatro a seis minutos de tolerncia, o que, em princpio, poderia trazer complicaes para a confiabilidade do exame. Um exame confivel aquele que no apresenta variaes no-sistemticas (ALDERSON et al. 1995), isto , aquelas que no esto relacionadas aprendizagem do candidato de um teste para outro, mas ao barulho externo, na instruo dada aos candidatos etc. Todos os candidatos que prestam o exame devero passar por procedimentos semelhantes, ou para ser mais especfico, ter o mesmo tempo para mostrar seu desempenho. Se o total da durao da entrevista de 20 minutos e h candidatos que tm o seu tempo diminudo, como no caso da candidata (30) que teve apenas 12 minutos e outros que tm o seu tempo aumentado, como a candidata (25) com 27 minutos, talvez os candidatos que tiveram menos tempo de entrevista possam ter sido prejudicados no sentido de no terem tido tempo suficiente para mostrarem seu desempenho (ver tabela 1). E, dessa maneira, a amostra de seu desempenho no ser significativa para que uma avaliao seja feita. Alm da durao total das entrevistas, a durao de suas partes tambm deve ser observada. A primeira parte da entrevista o primeiro contato entre entrevistador e candidato e serve como aquecimento, isto , para deixar o candidato 70

 vontade para falar. Alm disso, o entrevistador ir fazer perguntas de cunho mais pessoal, ou seja, abordar tpicos que sero, em princpio, mais fceis para o candidato responder. Dessa forma, no seria justo um candidato ter s 2 minutos nessa parte, sem tempo suficiente para se aquecer e outro ter um tempo excessivo de 11 minutos. Analisando-se qualitativamente as interaes dos entrevistadores que no cumpriram o tempo estabelecido, verificou-se que o problema foi no terem feito perguntas suficientes para completar os cinco minutos de entrevista. Outros indcios tambm podem ser observados por meio do grfico 2. Os entrevistadores (M) e (O) tm o seu tempo diminudo na primeira parte da entrevista. Essa parte no orientada por um roteiro e depende muito da habilidade do entrevistador em manter a interao. Uma sugesto para esses entrevistadores seria fazer mais perguntas para os candidatos, independente de contriburem ou no para a interao. A mesma sugesto poderia ser colocada para a entrevistadora (J), pois ela tem dificuldades em manter a interao no primeiro elemento provocador. No caso da entrevistadora (L), ela excede o tempo de cinco minutos no primeiro elemento provocador e, para cumprir os vinte minutos totais da entrevista, diminui o tempo do terceiro elemento. A observadora (M) quem sinaliza entrevistadora (L) para encerrar a entrevista. Um dos problemas que poderia surgir em relao a isso , por exemplo, o desempenho de um candidato melhorar no ltimo elemento provocador e ele ser interrompido exatamente nesse momento. Na tabela 7 a seguir, foi mostrado o cumprimento das etapas por cada um dos entrevistadores. Elas se referem ordem das perguntas previstas no roteiro do manual do aplicador que os entrevistadores devem seguir. Na primeira etapa do 71

elemento provocador solicitado ao candidato que leia e observe silenciosamente o elemento provocador por cerca de um minuto. Depois, o entrevistador faz a primeira pergunta, descrita na segunda etapa. Essa pergunta mais direcionada quilo que est escrito ou ilustrado no elemento provocador. As perguntas seguintes, que fazem parte da etapa 3, so sugestes para os entrevistadores fazerem as perguntas como forma de manter a interao com o candidato (ver Anexo 3). Os nmeros dos elementos provocadores correspondem numerao de 1 a 20, presente no material do aplicador. Os elementos provocadores, cujas etapas no foram seguidas, foram indicados com um asterisco. J os dois asteriscos indicam que o candidato iniciou a interao, e portanto, o entrevistador no realizou a etapa 2. Por fim, os demais elementos, sem asterisco algum, indicam que as etapas foram seguidas.

Instituio

Entrevistador A A A B B B B B B C C C C D D E E F F F G G

Candidato 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

1. Elemento Provocador EP1 EP9 EP14 EP4 EP5 EP3 EP2 EP11 EP4 EP14 EP11 EP1 EP3 EP15 EP8 EP3 EP4** EP6 EP11 EP19 EP3 EP17

2. Elemento Provocador EP7 EP10* EP17 EP7 EP20 EP9** EP5 EP8 EP7 EP16 EP12 EP5 EP13 EP14 EP7 EP2 EP18** EP8** EP14 EP17 EP6 EP11

3. Elemento Provocador EP9 EP17 EP3 EP12 EP6 EP16 EP14 EP18 EP12 EP7 EP18 EP15 EP20 EP17** EP11 EP6 EP1** EP5 EP16** EP2* EP16 EP5

72

Instituio II

Entrevistador H H H I I I J J J J L L L L M M M M M N N N N N O O O O P P P P Q Q Q Q

Candidato 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58

III

1. Elemento Provocador EP1 EP3 EP6 EP4 EP3 EP9 EP7* EP6 EP6 EP9 EP9 EP14 EP8 EP18 EP4 EP1 EP20 EP8 EP8 EP4 EP14 EP20 EP8 EP14 EP1 EP5 EP2 EP2 EP3* EP3* EP1* EP9** EP14 EP3 EP14 EP1

2. Elemento Provocador EP6 EP2 EP5 EP2* EP14 EP18 EP2* EP9 EP20 EP5* EP12 EP9 EP7 EP6 EP9 EP6* EP11 EP19 EP1 EP9** EP3 EP2 EP1 EP18 EP2* EP4 EP4 EP3 EP9 EP14* EP6* EP11** EP2 EP5 EP3 EP2

3. Elemento Provocador EP7 EP1 EP4 EP11 EP12 EP19 EP11* EP8* EP4 EP8 EP15 EP13 EP18 EP14* EP12 EP18* EP15 EP7 EP19 EP12 EP18 EP17 EP17 EP12 EP14 EP3* EP15 EP1* EP12* EP12* EP14 EP6** EP17 EP7 EP18 EP6

Tabela 7: Etapas dos Elementos Provocadores

No grfico 6, cada crculo representa o total, em porcentagem, das etapas realizadas por entrevistador, destacando-se as trs categorias j mencionadas: uma quando o entrevistador seguiu as etapas, outra quando ele no as seguiu e uma terceira relacionada ao candidato que iniciou a interao. Para consultar a quantidade de etapas por cada categoria, vide tabela 8. 73

Cumprimento das Etapas por Entrevistador

A
11,1%

B
5,6%

D
16,7% 100,0%

C ategory C andidato Inicia N o S egue E tapa S egue E tapa

88,9%

94,4%

83,3%

F
22,2%

50,0%

50,0% 66,7%

11,1%

100,0%

100,0%

I
11,1%

L
8,3% 41,7%

M
13,3%

58,3% 88,9% 91,7% 86,7%

N
6,7%

O
25,0% 16,7%

P
25,0%

100,0% 93,3% 75,0% 58,3%

Grfico 6: Porcentagem de cumprimento das etapas por entrevistador

Etapas da Entrevista
Atuao na Etapa Entrevistador A
Segue etapa 8 88,89 No segue etapa 1 11,11 0 0,00 0 0,00 0 0,00 0 0,00 Candidato inicia interao 0 0,00 1 5,56 0 0,00 1 16,67 3 50,00

Total
9 100,00 18 100,00 12 100,00 6 100,00 6 100,00

17 94,44

12 100,00

5 83,33

3 50,00

74

6 66,67

1 11,11 0 0,00 0 0,00 1 11,11 5 41,67 1 8,33 2 13,33 0 0,00 3 25,00 7 58,33 0 0,00 21 12,07

2 22,22 0 0,00 0 0,00 0 0,00 0 0,00 0 0,00 0 0,00 1 6,67 0 0,00 3 25,00 0 0,00 11 6,32

9 100,00 6 100,00 9 100,00 9 100,00 12 100,00 12 100,00 15 100,00 15 100,00 12 100,00 12 100,00 12 100,00 174 100,00

6 100,00

9 100,00

8 88,89

7 58,33

11 91,67

13 86,67

14 93,33

9 75,00

2 16,67

12 100,00

Total

142 81,61

Legenda: Primeira Linha - Quantidade de etapas Segunda Linha Porcentagem

Tabela 8: Etapas da entrevista por entrevistador

Observando-se o grfico 6, nota-se que as entrevistadoras (C), (G), (H) e (Q) cumpriram com todas as etapas em todas as suas interaes. J os entrevistadores (A), (B), (D), (E), (F), (I), (J), (L), (M), (N), (O) e (P) no as cumpriram em sua totalidade, especialmente as entrevistadoras (J) e (P). Entre os que no cumpriram com as etapas, foram includas as entrevistadoras (B), (D), (E) e (N), pois,

75

em suas entrevistas, os candidatos iniciaram a interao e, portanto, elas no realizaram a pergunta da etapa 2, passando para a etapa 3. Embora no haja uma observao mais especfica no Manual do Entrevistador em relao ao fato dos candidatos iniciarem a interao, essa diferena da atuao dos entrevistadores pode ter implicaes para confiabilidade, uma vez que, ao no responder primeira pergunta do entrevistador mais direcionada interpretao do elemento provocador, o candidato pode partir de uma experincia pessoal para iniciar a sua interao, no respondendo, desta forma, primeira pergunta. Nesse caso, ele poderia ser beneficiado em relao a outros candidatos que teriam que responder primeira pergunta (LAZARATON, 1996a). A tabela 8 mostra que, de um total de 174 etapas, 81,61% delas foram seguidas, 12,07% no foram seguidas e 6,32% dos candidatos iniciaram a interao. Embora maior parte das etapas tenha sido seguida, ainda h etapas que no foram seguidas. E qual poderia ser a implicao para a confiabilidade de se seguir ou no as etapas? Para exemplificar, escolhi o elemento provocador intitulado Adeus, olho gordo (ver Anexo 4). A primeira pergunta, Com base no material, o que voc entende por olho gordo?, exigia, caso o candidato no soubesse o significado da expresso, que o deduzisse, a partir do material. O trecho abaixo um exemplo de um candidato que teve dificuldades para respond-la:

ENT(B).: Com base nesse material, o que que voc entende por olho gordo? CAND.(4): (2.0) Olho gordo, olho (turco). Ah:: olho gordo, ah: ya. (7.0) ((candidato l o material)) ENT.(B): Por exemplo, as pessoas usam diversos tipos de amuletos n. CAND.(4): Isso, uhum.

76

ENT.(B): Pra que eles usam? CAND.(4): Eles usam pelas crenas que eles tm, eles acham, por exemplo, eu conheo muita persona que tem na:: nas suas chaves, la chave, una pata de coelho ENT.(B): uhum CAND.(4): eles podem tirar fora muito, pode ser as ms (vibras) ENT.(B): uhum CAND.(4): que pueden vir (ininteligvel) ENT.(B): Mau olhado n CAND.(4): =mau olhado ENT.(B): inveja, talvez CAND.(4): inveja. Tudo eso eles fazem para tirar, o sea, para voc ter una protecin de:: de todas las cosas ms que possam, possam acontecer ENT.(B): , justamente do olho gordo, inveja CAND.(4): =isso ENT.(B): esse tipo de coisa. Uhum. E voc:: acha que os amuletos, por exemplo, voc acredita em amuletos? CAND.(4): No acredito em amuletos. (...)

Como se pode ver, o candidato (4) apresenta dificuldades em responder a primeira pergunta colocada pela entrevistadora (B), tanto que ele volta a ler novamente o material para tentar buscar uma resposta. Percebendo esse problema, a entrevistadora o ajuda, tentando fazer com que ele chegue ao significado dessa expresso por meio de perguntas auxiliares. No entanto, nota-se que a entrevistadora quem acabou dando o significado. Aps a primeira pergunta ser respondida, a entrevistadora inicia ento a terceira etapa, perguntando se ele acredita em amuletos. O trecho seguinte um exemplo de uma entrevistadora, no caso (P), que no segue as etapas. Ela j inicia a conversa com a candidata (51) na pergunta da etapa 3:

ENT.(P): (nome da candidata), voc tem algum amuleto? CAND.(51): Nenhum. ENT.(P): No acredita neles? CAND.(51): Eu no. Mas eu no tenho nenhuma::: contrarie-, contra assim (...)

77

Portanto, os dois candidatos no tiveram as mesmas oportunidades. O candidato (4) teve que responder a uma pergunta mais complexa do que a candidata (51). Isso tem implicaes para a confiabilidade do exame, uma vez que se um candidato passa por um entrevistador que no segue as etapas, ele poderia estar sendo ajudado e isso refletiria no seu desempenho. Por isso, importante seguir as etapas, embora elas no estejam enfatizadas no manual de instrues para aplicao do exame, no item perguntas mais freqentes (ver Anexo 16). As etapas tm que ser seguidas para que o elemento provocador seja bem aproveitado. Em comunicao pessoal, um dos membros da comisso tcnica informou que esse problema j foi eliminado durante a anlise das entrevistas gravadas e instrues adicionais foram enviadas aos postos de aplicao do exame. Os nveis do candidato (4) e da candidata (51) so diferentes. O primeiro ainda tem muita influncia do espanhol e apresenta dificuldades em interagir, ao contrrio da segunda candidata. Embora o nvel da candidata (51) fosse superior ao do candidato (4), ela no foi desafiada com uma pergunta mais complexa. Dar uma definio para uma palavra ou expresso pode ser mais difcil do que falar sobre uma experincia pessoal. Ainda em relao a esse aspecto, embora a entrevistadora (H) tenha seguido as etapas, isto , iniciando a interao com a pergunta da etapa 2, ela iniciou as perguntas da terceira etapa antes mesmo de passar o elemento provocador candidata (23). Isso ocorreu porque essa candidata, em particular, apresentou dificuldades com os elementos provocadores. Na primeira parte da entrevista, ela no havia apresentado problemas, como se pode notar no trecho que se segue: 78

ENT.(H): =uhum. E voc se decidiu entre ser lingista ou ser capoeirista? Como que vai ser? CAND.(23): na realidade eu queria juntar esses meus interesses e estou aqui (ininteligvel) de passagem por So Paulo e ah agora vou pra Bahia tambm, ah: estou aqui de passagem procurando umas oportunidades de fazer o curso de psgraduao aqui. Ah: e eu queria fazer uma pesquisa ah: pesquisa baseada numa: capoeira Angola mas uma pesquisa lingstica porque, como eu entendi ah quase no existem pesquisas desse tipo ENT.(H): =uhum CAND.(23): ento eu t procurando ah uma oportunidade de fazer um curso de mestrado e fazer ah: a pesquisa ENT.(H): que bom que voc faa porque um trabalho bem original, n? Mas tem que ver a a lingstica do ponto, o uso que faz na msica da capoeira, isso? CAND.(23): eu queria: ah primeiro eu queria fazer na rea da semitica mas agora eu j: consegui tentei falar com um professor do departamento da lingstica e:: acho que voc conhece, o (nome do professor) (ininteligvel) ENT.(H): =uhum CAND.(23): e ele falou que acha difcil pra mim fazer uma: coisa assim complicada porque eu sou estrangeira ah que vai ser difcil eu redigir o texto e:: tenho que fazer uma adaptao porque pode ser que o meu histrico escolar diferente, tem que fazer revalidao de diploma e:: isso isso difcil na verdade, mas eu vou procurar, vou tentar vou procurar ver ENT.(H): talvez na rea de sociolingstica seja mais CAND.(23): = ENT.(H): n

A candidata (23) responde prontamente s perguntas e no h hesitaes. Por se tratar da primeira parte da entrevista, esperado que ela fale mais, pois os tpicos da conversa so de natureza pessoal e portanto, mais fceis de responder. No entanto, na parte da entrevista dos elementos provocadores, ela no apresenta o mesmo desempenho. Para exemplificar, segue o trecho do incio da segunda etapa do elemento provocador Co e o carteiro (ver Anexo 5):

ENT.(H): Ok? Voc concorda que todo dono responsvel pelo seu co, voc concorda com essa afirmao? CAND.(23): Concordo, concordo. ENT.(H): Por que? CAND.(23): (4.0) hum ENT.(H): ou em que medida, em que situao o dono se torna responsvel pelo co?

79

CAND.(23): (4.0) acho que (2.0) ele o dono e ah: se eu se eu sou dona de uma coisa e no um animal eu tambm sou responsvel ah: pela essa coisa e ainda mais se:: tiver um animal porque um ser vivo e: ento tem mais: mais responsabilidade ah que tambm um ser humano que tem mais: ah: mais inteligncia do que (...)

Nessa parte da entrevista, ao contrrio do primeiro trecho, a candidata (23) apresenta dificuldades em responder primeira pergunta do elemento provocador, j que ela leva quatro segundos para iniciar a resposta. Nos outros elementos provocadores houve a mesma hesitao. Isso pode ser um indicativo de que o elemento provocador exige mais do candidato do que a primeira parte da entrevista, ou seja, a interao com base no questionrio, pois nesse caso as perguntas so sobre assuntos de ordem pessoal. J que a candidata teve uma pequena queda no seu desempenho, pode ser que a entrevistadora, para verificar se aquele elemento ia fazer com que a candidata falasse ou no, comete um erro ao comear com as perguntas do elemento provocador antes de entregar o mesmo. Quando chega o momento da candidata falar sobre o elemento, no h mais o que dizer, porque tudo j havia sido discutido anteriormente. Nesse caso, a entrevistadora se utilizou de um dos apoios analisados por Lazaraton (1996a), isto , o de fazer perguntas preliminares para contextualizar o tpico a ser conversado. Porm, o apoio foi realizado em momento inadequado, j que para o elemento provocador no h necessidade de contextualizar. Dessa maneira, o objetivo do elemento provocador se perde, trazendo conseqncias negativas em relao interao como um todo.

80

O trecho a seguir faz parte do final da interao com base no segundo elemento provocador em que a entrevistadora (H) faz perguntas para checar se a candidata (23) consegue falar sobre o prximo elemento, ou seja, o terceiro.
(...) ENT.(H): Voc mora sozinha? CAND.(23): Moro sozinha. ENT.(H): Voc tem algum bichinho? Voc tem um cachorro? CAND.(23): No infelizmente no. Eu quer-, gostaria de ter mas morando sozinha no d no d tempo pra: cuidar ENT.(H): Cuidar de um animal. E o seu irmo mora numa casa mora num apartamento? CAND.(23): Mora num apartamento l (no muito comum ter muitas casas) tem mais prdios com apartamentos e o meu irmo mora com a esposa dele e tem um: gato, uma gata ENT.(H): Voc gosta de animais? CAND.(23): Gosto ENT.(H): Gosta? muito comum cachorros na Rssia? CAND.(23): Comum. ENT.(H): . E muitas pessoas tm? CAND.(23): Muitas pessoas tm. ENT.(H): Bom, d uma olhada nesse outro material aqui ((entrega o elemento provocador para a candidata)) que fala justamente sobre isso, sobre cachorros. Vamos conversar um pouco sobre isso.

Como se pode ver, a entrevistadora faz perguntas fechadas, que s requerem da candidata respostas do tipo sim ou no. As perguntas fazem parte da etapa 3 (ver Anexo 5), porm elas so feitas antes mesmo do elemento ser apresentado e assim, no momento em que elas devem ser realmente feitas, no h mais o que ser explorado sobre o tpico, porque a candidata j disse tudo antes. A candidata (25), por outro lado, tem uma atuao bastante distinta, uma vez que contribui bastante para a interao e, para ela, pode-se dizer que os elementos provocadores funcionam.

81

A interao a seguir ilustra o bom funcionamento do elemento provocador com a candidata (25); ela no teve problemas em interagir a partir das perguntas iniciais do elemento provocador Ordem na casa, ordem na vida (ver Anexo 6):

ENT. (H): (T bem? Certinho?) CAND.(25): T bom. ENT.(H): Voc concorda com o ttulo "ordem na casa, ordem na vida"? E por qu? CAND.(25): Bueno (2.0) este meu ponto de:: (1.0) vista:: sobre: ordem na casa fundamental para muitas coisas. ENT.(H): =uhum CAND.(25): Na minha profisso, por exemplo, para ahorrar tempo. ENT.(H): =uhum CAND.(25): s vezes eu tenho que sair tambin porque: ligam por telefone para falar que vem um paciente, (espera) um paciente ou para:: fazer um show em interior de So Paulo. Entonces tenho que ter toda roupa passada ENT.(H): ((risos)) CAND.(25): todas as coisas no seu lugar. ENT.(H): =uhum (...)

A candidata (25) no apresentou problemas em relao aos elementos provocadores, pois respondeu a primeira pergunta sem a necessidade de acomodaes pela entrevistadora (H). Por isso, a entrevistadora nem chegou a introduzir o assunto a ser abordado pelo prximo elemento provocador.

(...) ENT.(H): Que interessante. Bom, vamos mudar um pouquinho CAND.(25): =Sim ENT.(H): de assunto CAND.(25): =Sim ENT.(H): Eu gostaria que voc desse uma olhada nesse outro material

A atuao diferenciada da entrevistadora (H) foi verificada apenas em relao candidata (23). Nas outras interaes ela conduziu de forma esperada 82

talvez porque as outras candidatas no apresentaram dificuldades em relao primeira pergunta do elemento provocador. Os entrevistadores (O) e (P) realizaram as entrevistas de maneira diferente dos outros entrevistadores. De acordo com as instrues para a aplicao do exame (ver Anexo 16), em cada entrevista, o entrevistador quem faz as perguntas e o observador apenas observa e avalia mais detalhadamente a interao. Os papis de entrevistador e observador so alternados entre os avaliadores. No caso do entrevistador (O), no ele quem faz todas as perguntas e sim a observadora (P). Isso ocorreu com os candidatos (47) e (48), que foram entrevistados pela observadora (P). No entanto, o entrevistador (O) no permaneceu apenas como observador, pois ele tambm interagiu com os candidatos atravs de algumas perguntas ou comentrios. O excerto que se segue em relao primeira parte da entrevista que, sem seguir as instrues, foi conduzida pela observadora (P). Nessa entrevista, como o candidato (47) era um cardiologista, a observadora lhe pergunta como anda o corao brasileiro:

OBS.(P): tudo bom? (nome do candidato) voc : boliviano n CAND.(47): isso, eu sou da Bolvia OBS.(P): mdico? CAND.(47): mdico OBS.(P): qual a sua especialidade, (nome do candidato)? CAND.(47): cardiologia OBS.(P): cardiologia. Faz tempo que t no Brasil? CAND.(47): J:. Seis anos. OBS.(P): Seis anos? CAND.(47): So seis anos OBS.(P): veio sozinho, veio com a famlia? CAND.(47): a princpio segui sozinho. Minha esposa: a(c)tualmente chegou um ano depois OBS.(P): boliviana tambm? CAND.(47): boliviana tambm OBS.(P): mdica?

83

CAND.(47): mdica, mdica tambm OBS.(P): e tem filhos? CAND.(47): a(c)tualmente como acabamos o curso de especializao, ps graduao, praticamente: tamos finalizando agora e uma coisa que vem, t marcado para o prximo ao ao OBS.(P): e em casa fala espanhol? CAND.(47): :: a maior, maior parte sim, n. Mas assim, :: dois, trs dias ficamos juntos mas geralmente ficar assim trabalhando. os horrios as vezes um pouco incompatvel. Mas d pra voc misturar as coisas as vezes, viu? ENT.(O): o pessoal que trabalha mais CAND. (47): Brasil. ENT.(O): brasileiro n. CAND.(47): brasileiro ENT.(O): Pacientes CAND.(47): bom, na verdade : portugus mesmo n ENT.(O): tem pacientes que voc pega que so mais regionais, n? CAND.(47): :, no. mas a cada um j adota um estilo porque voc tem que adaptarse. devagar tranquilo d para (sobre levar a). Pelo menos + eu no tive problemas nesse aspecto at agora n OBS.(P): voc cardiologista, n CAND.(47): sou OBS.(P): e como que anda o corao do brasileiro? CAND.(47): olha o corao, eu sou cardiologista e sou um cardio numa UTI. Mas la incidncia estou vendo esse caso que teve muita repercusso mundial agora, de ontem. O corao uma mquina imprevisvel se voc no la cuida. Muita gente acha ah: no senti nada, nunca senti nada nunca fiquei internado mas: parece que Deus manda (as) ou por castigo. Da primeira vez que internou d problema e muita gente: sai com sequela n. Mas pelo geral ENT.(O): esse esse fato a do do jogador ah: aquele que: em Portugal tambm teve um, que o rapaz de 20 e poucos anos tambm (parte ininteligvel) CAND.(47): =no, no de 24 anos. Na verdade, tem, estou vendo agora, mais ou menos de 2000 para c, acho que s uns 7 ou 8 no mundo inteiro. Morte sbita, morte sbita. (fala pausadamente) E este caso fala a favor de a os cardiologistas mais ou menos imagina. Duas coisas podem acontecer isso. Una (ininteligvel) O corao se dispara, se dispara mais pelo esforo fsico exagerado e chega um momento que la mquina, sabe, uma mquina igual de frmula um, se voc no pode controlar, disparou e:: bateu. Pronto e acabou. Igual que acontece aqui.

O entrevistador (O), interessado no assunto, interage com o candidato (47) ao retomar o que o candidato diz em relao s pessoas com quem ele trabalha e tambm ao citar outro caso de parada cardaca em jogador de futebol. J com a candidata (49) o prprio entrevistador (O) quem conduz a primeira parte, porm a conversa no foi bem sucedida, durando apenas 3 minutos:

84

ENT.(O): H quanto tempo voc t no Brasil? CAND.(49): Trs anos. ENT.(O): Trs anos. Medicina? CAND.(49): Uhum. ENT.(O): voc faz especialidade em qu? CAND.(49): ginecologia ENT.(O): Em ginecologia. ((l o questionrio)) tem bastante coisa n ((ri)). ((fecha o questionrio e olha para a candidata)) E voc t fazendo alguma especi-, ah:: voc faz especializao em ginecologia. E a, como que t o seu convvio aqui durante esses trs anos? CAND.(49): Ah t, muito bem. Eh:: a especializao (ininteligvel) no estgio que eu t fazendo, trabalhado bastante (ininteligvel) compartilhar com outras pessoas que no so da minha profisso n. Tambm no saio muito porque tenho uma filha de 5 anos. ENT.(O): Uhum. Voc t com uma filha de 5. CAND.(49): tenho uma filha de 5. ENT.(O): ((risos)) ((pega novamente o questionrio e o folheia)) e quase no sai CAND.(49): hum ENT.(O): Muito bem ((deixa o questionrio)). E o seu grupo mais de bolivianos ou brasileiros? CAND.(49): A maioria, todos so brasileiros. (ininteligvel) de Bolvia. ENT.(O): Interessante, interessante. T bom. Ns vamos dar::: ah::: voc j fez o, o Celpe-Bras? CAND.(49): Eu j fiz. Voc foi o (professor) entrevistador. ENT.(O): Eu fui o professor entrevistador. Eu lembro, voc tava nervosa aquele dia n ((fala rindo)) Agora voc t calma? CAND.(49): ((ri)) T sim, estou mais calma.

O entrevistador (O) apresenta dificuldades em manter a interao na primeira parte da entrevista. Mesmo tendo em mos o questionrio, no consegue fazer perguntas. Talvez ele no tenha preparado as perguntas antes da entrada da candidata. Ele poderia ter perguntado mais sobre a filha da candidata, a profisso etc. O estilo do entrevistador (O) se assemelha ao estilo dos entrevistadores americanos do estudo de Berwick e Ross (1996), pois ele espera que o candidato se esforce para interagir, sem a sua ajuda. No h iniciativas por parte do entrevistador para dar continuidade interao. (MORTON et al., 1997).

85

Com o candidato (50), o entrevistador (O) quem comea fazendo as perguntas, porm as faz de forma muito rpida e a observadora (P) o interrompe, passando a fazer perguntas adicionais.

ENT.(O): muito bem (1.0) E onde que voc aprendeu falar espanhol? CAND.(50): na Espanha ENT.(O): na Espanha CAND.(50): na Espanha, depois em Bolvia, na Argentina ENT.(O): ah:: que bom. Voc viajou todos esses pases do mundo CAND.(50): tenho muitos conhecidos ENT.(O): Isso muito bom. Guarani? CAND.(50): guarani, tambm viu. Eu (viajei) em Paraguai ENT.(O): e hebraico? CAND.(50): hebraico que eu estou estudando. Estou fazendo ps-graduao na literatura do mundo bblico. ENT.(O): Aqui? CAND.(50): aqui. Na universidade (nome da universidade) ENT.(O): (1.0) bom, (depois converso com voc) a respeito. Ah:: Bom, voc j fez esse exame aqui Celpe-Bras? CAND.(50): a primeira vez que eu ENT.(O): t. Eu vo:u fornecer a voc trs elementos, so elementos provocadores e voc vai observar, vai ver e ns vamos comentar a respeito. Tudo bem? OBS.(P): Deixa eu s perguntar pra ele, eh: lngua portuguesa voc chegou a estudar? ENT.(O): =ah: o portugus OBS.(P): Voc aprendeu aqui no Brasil?

O entrevistador (O) no soube explorar as respostas dadas pelo candidato (50) e a observadora (P) decide fazer perguntas adicionais. Pode ser que esse entrevistador espera que o candidato contribua para interao sem a sua ajuda. Nas entrevistas conduzidas pela entrevistadora (P), o observador (O) tambm faz perguntas ou comentrios, mas diferentemente deste, ela consegue interagir com os candidatos (51), (52), (53) e (54) na primeira parte da entrevista. O excerto a seguir a primeira parte da entrevista da entrevistadora (P) com a candidata (51). A durao dessa parte foi de 5 minutos.

86

ENT.(P): ((olha para a ficha da candidata)) voc mdica, boliviana, quanto tempo voc t aqui no Brasil? CAND.(51): seis anos ENT.(P): seis anos, assim, direto? CAND.(51): direto (ininteligvel) ENT.(P): uhum. E voc tem uma filhinha n CAND.(51): Uma menina ENT.(P): se casou aqui no Brasil ou casou l? CAND.(51): =aqui. ENT.(P): com boliviano? CAND.(51): brasileiro. ENT.(P): brasileiro. Em casa vocs s falam portugus? CAND.(51): eu sou separa dele (ininteligvel) ENT.(P): uhum. E o seu beb como que t? Fala portugus ou fala um pouco espanhol? CAND.(51): eu falo, tudo que eu falo para ela em portugus. Eu falo uma frase e depois eu falo primeiro em portugus, depois castelhano, assim eu ensino ela falar as duas lnguas. Geralmente as crianas aqui no Brasil eles, quando vo para escolinha (ininteligvel) entendem muito bem o espanhol mas no falam (ininteligvel) ENT.(P): voc pretende ficar aqui no Brasil? CAND.(51): no, vou voltar para Bolvia. ENT.(P): uhum. E voc fez especialidade em? CAND.(51): (nome da universidade) ENT.(P): qual a especialidade? CAND.(51): anestesiologia. Eu fiz na poca com a inteno de voltar. Mas depois de trs anos de residncia, eu decidi ficar. ENT.(P): existem muitas mulheres na anestesiologia ou so mais homens? CAND.(51): geralmente homens. s vezes tem certa:: certa (averso) a mulheres mas no nada (ruim). Mas eu no vejo:: (1.0) se vocao, (ininteligvel) ENT.(P): por que que voc acha que existe esse nmero menor de mulheres nessa rea? CAND.(51): Talvez porque anestesiologia pra: pra trabalhar (ininteligvel) muito difcil voc lidar com a especialidade, com famlia (ininteligvel) a depende muito, como seria os horrios. ENT.(P): e como que voc faz com a nenm, deixa com a bab? CAND.(51): eu moro com a bab n. (ininteligvel) e eu tento o maior tempo possvel ficar com ela. puxado mas agora (ininteligvel) ENT.(P): e para amamentar? Como que voc fez? CAND.(51): eu tive com um ms e meio eh:: comecei a trabalhar. Ento eu tirava o leite, deixava no congelador, trabalhava doze horas, quando voltava, dava mama. Ela parou sozinha com cinco meses. Ento eu no amamento mais. No t mamando at hoje. Ainda bem que alimenta muito bem, saiu a me. ENT.(P): (alimentar) o beb CAND.(51): no, a me no (ininteligvel) ENT.(P): ah . OBS.(O): o anestesiologista o que mais tem cinco chamadas, no ? CAND.(51): =tem OBS.(O): tem emergncias n CAND.(51): =mesmo que voc fica com (ininteligvel) voc fica com a chamada. Ento no adianta muito ficar em casa, eles te chamam e no pode (ininteligvel) uma profisso muito difcil de lidar mas minha vocao, eu amo muito, tudo para

87

mim. Eu no escolheria dentro da rea mdica outra especialidade. Estou segura disso, agora que eu t trabalhando depois de formada (ininteligvel) ENT.(P): s vezes voc fica no planto, voc fica doze horas, as prximas doze horas voc pode ficar na sua casa n CAND.(51): =sim. ENT.(P): e nessas doze horas voc no pode ter chamada n CAND.(51): no. Porque voc pega planto, voc que escolhe (ininteligvel) Ento se voc pegar mesmo um planto, ento tem que ficar at (ininteligvel) ENT.(P): ah t. Se fica em casa, eles te chamam, voc prefere o planto n, ento mais tranqilo CAND.(51): =sim, mais tranqilo ENT.(P): ((entrevistadora pega o elemento provocador)) a primeira vez que voc faz o exame? CAND.(51): no, a segunda. ENT.(P): te (entrego) o elemento provocador de nmero 3, eu vou passar para voc. ((entrega o material)) Voc d uma olhada.

Como se pode observar, a entrevistadora (P) consegue manter a interao com a candidata (51), fazendo perguntas adicionais e cumprindo os cinco minutos previstos para essa parte da entrevista. Nos elementos provocadores, as interferncias dos observadores (O) e (P) continuam durante todas as interaes. Nesse caso, contrariando os procedimentos do exame, o observador deixa de ser aquele que apenas observa, e passa a ser tambm aquele que participa da interao, seja com perguntas ou comentrios. S com as candidatas (51) e (52) isso no ocorre, ou seja, o observador (O) no faz nenhum tipo de pergunta ou comentrio. Ele s interfere quando tem algo que realmente queira falar ou perguntar. Foi o que aconteceu com os candidatos (53) e (54). As interaes com esses candidatos foram mais interessantes e alegres, alm de abordar tpicos que chamassem a ateno do observador (O). Talvez as caractersticas dos candidatos tenham influenciado para tais interferncias.

88

Outra variao que tambm ocorreu foi em relao escolha dos elementos provocadores. Somente as entrevistadoras (L) e (M) os escolhiam durante a interao com o candidato. O Manual do Aplicador determina que a escolha dos trs elementos provocadores deve ser feita antes da entrada do candidato na sala de entrevista. No entanto, notou-se que as entrevistadoras (L) e (M) escolheram os elementos no momento da interao e, para isso, desviavam a ateno e o olhar para procur-los, no mantendo o contato do olhar com os candidatos. Alm disso, suas perguntas eram desfocadas. O exemplo a seguir faz parte do final da conversa sobre o elemento provocador Co e carteiro (ver Anexo 5), momento em que a entrevistadora (L) precisa procurar o prximo elemento provocador. Enquanto ela escolhe o prximo elemento, faz perguntas ao candidato (35) para saber qual elemento ir funcionar para ele.

CAND.(35): Eu concordo com tudo. Acho que tem que deixar muitas coisas a, avisos pra que a gente ler tudo e saber que tem cachorro a. ENT.(L): uhum. ((entrevistadora comea a procurar o prximo elemento provocador, sem manter contato do olhar)) (4.0) O papo t to bom que a gente passa o tempo aqui no? CAND.(35): . ENT.(L): (4.0) voc t , t ((continua procurando o elemento)) (2.0) Voc no casado ainda:. CAND.(35): no, mas t namorando. ENT.(L): t namorando. Quem namora, pensa em casar. ((pega o elemento)) CAND.(35): , j pensei. ENT.(L): Pra isso, ((entrega o elemento para o candidato)) voc j pensou n . Olha s essa reportagem, essa figura. CAND.(35): t bom.

89

Como se pode notar, a entrevistadora (L) se atrapalha um pouco ao procurar o elemento provocador. As perguntas servem apenas para auxili-la na escolha do elemento.

3.3. DADOS RELACIONADOS AOS ESTILOS DOS ENTREVISTADORES

Nas entrevistas analisadas, o envolvimento dos entrevistadores foi um fator diferenciador para diminuir a relao assimtrica entre entrevistador e candidato. Houve entrevistadores que se mostraram mais envolvidos na interao do que outros. O envolvimento da entrevistadora (H) com as candidatas (23) e (25) grande, j que a primeira parte dessas entrevistas durou 9 e 11 minutos respectivamente. Um aspecto positivo nessa entrevistadora que ela d feedbacks contnuos, faz comentrios em relao ao que a candidata diz.
(...) ENT.(H): E o clima? Como que t o clima l na Rssia? CAND.(23): Ah: o clima? ((olha para baixo e ri)) ENT.(H): ((risos)) Melhor aproveitar n, melhor nem pensar, ainda mais que foi pra Bahia agora CAND.(23): ((risos)) , agora que j t nevando l na Rssia ((risos)) ENT.(H): Meu deus! CAND.(23): No inverno pode fazer ah: vinte graus abaixo de zero, mas l no vero pode ser como aqui, trinta graus ENT.(H): Trinta graus? ((tom de surpresa)) CAND.(23): Trinta graus ENT.(H): (Minha filha!) quando tiver trinta graus vou te visitar! CAND.(23): Eh ento, ento j posso falar que em junho, julho e agosto ...

(...) ENT.(H): Por isso que: voc fala aqui que nos momentos de lazer voc gosta de instrumentos musicais, voc toca tambm? CAND.(25): Sim, eu toco viola ENT.(H): =Uhum CAND.(25): Eh:: (1.5) (ininteligvel) bateria, eletrnica, percusso ENT.(H): Nossa (nome da candidata), eu nunca vi uma mdica instrumentista!

90

CAND.(25): =ah no? ENT.(H): a primeira vez. ((risos)) ((sorri para a candidata)) CAND.(25): Em Campo Grande trabalhvamos como dupla musical ENT.(H): =Que legal! ((continua sorrindo))

Os exemplos acima mostram uma entrevistadora que parece estar realmente interessada no que as candidatas dizem e que suas perguntas no so apenas para faz-las falar mais. Conduz a interao de forma participativa, ao expressar suas idias e opinies por meio dos comentrios que faz durante a entrevista. No s a entrevistadora (H), mas tambm outros entrevistadores como (C), (P), (O), e (F) demonstraram esse envolvimento na conversa. A entrevistadora (C) tambm estabelece uma interao mais significativa com os seus candidatos. Na entrevista com a candidata (20), elas esto conversando sobre o elemento provocador 13 (ver Anexo 7), cujo tema era super-heris e a entrevistadora contribui com um comentrio:

(...) ENT.(C): Eh:: e na sua infncia, quais eram as brincadeiras mais comuns, brincavam de ser super heris ou quais eram as brincadeiras? CAND.(20): Eh:: olha, que: que o:: mais o Superman. Todos as crianas gostavam de vestir como ele, (fazer) que volavam ((faz gestos)), por eso ((risos)) ENT.(C): ((risos)) T. E:: voc quando era criana gostava de brincar do qu? CAND.(20): (3.0) Acho que super-heri no muito ENT.(C): No? CAND.(20): No. ENT.(C): Que tipo de brincadeira? CAND.(20): Eu sempre brincava de, de ser a professora e ensinar ou ter, ter uma loja e vender. Isso eu gostava mais, mais que super-heri. ENT.(C): . E quando voc queria ser professora, voc encontrava alunos para as suas aulas? ((ri)) CAND.(20): No. Acho que as bonecas ((risos)) ENT.(C): ((risos)) Eu lembro tambm, eu queria brincar de professora, o meu irmo no queria brincar comigo CAND.(20): =. ENT.(C): eles no gostam n CAND.(20): =eles no gostam. Eu sou a mais nova da famlia, ento pior. ((ri)) ENT.(C): ((risos)) No tinha muita companhia, n. (...)

91

No exemplo acima, interessante observar como a entrevistadora (C) desenvolve a interao com a candidata (20). Embora haja perguntas do roteiro para que o entrevistador possa dar continuidade interao, ele ainda pode fazer outras perguntas, mesmo que no haja uma relao direta com o material apresentado, j que o objetivo da entrevista manter a interao. Como a candidata sinalizou que no brincava de super-heri, a entrevistadora lhe pergunta que tipo de brincadeira ela mais gostava quando era criana e dessa maneira, a candidata conseguiu dar prosseguimento a sua fala. Na parte final da entrevista, em que a entrevistadora (C) comenta a sua brincadeira de infncia, percebe-se uma menor assimetria, aproximando-se de uma conversa. No trecho a seguir, em que a observadora (P) est entrevistando o candidato (50) em relao ao elemento provocador Consumo na internet (ver Anexo 8), h uma troca de papis, isto , ao invs do candidato falar, a observadora quem fala. Embora esse tipo de interao seja interessante, na medida em que o candidato faz comentrio sobre a fala da entrevistadora, por outro lado, a avaliao do desempenho do candidato se torna mais complicada, j que ele no fala tanto. A observadora (P) faz um comentrio, partindo do que o candidato (50) falou a respeito de no comprar carro pela Internet. Ela ento exemplifica que comprou um carro por telefone e que tudo correu bem:
(...) CAND.(50): ultimamente escutei sobre problemas de uma insegurana de compra por internet aqui no Brasil. Compro livros do Amazon (1.0) da internet, mas aqui para comprar um carro pela internet ENT. (O): ((risos))

92

CAND.(50): no tentaria no, no faria OBS.(P): bom, eu comprei um carro por telefone e deu certo ENT.(O): ((risos)) CAND.(50): ( srio?) parabns ((risos)) OBS.(P): eu tenho os bebs pequenininhos, eu tenho trigmeos. E eu troquei de carro e at eu ir a loja e tal, por telefone capaz de fazer, at assinar o contrato. E chegou no dia ((risos)) (ininteligvel) CAND.(50): at isso? OBS.(P): at isso. ((risos)) ENT.(O): Voc conhece ou conheceu algum que utilizou a internet e teve algum problema nesse sentido?

(...)

No exemplo acima, o candidato faz comentrios sobre a fala da observadora, mas em outro momento, ele permaneceu em completo silncio. Ainda em relao ao mesmo elemento provocador, o candidato (50) fala que usa a internet para comprar livros e fazer pesquisas relacionadas a sua rea de estudo, a literatura do apocalipse. O entrevistador (O) e a observadora (P) fazem comentrios em relao a isso, mas no h nenhuma manifestao do candidato:

ENT.(O): tem uma coisa que, que quando eu trabalho com ela, do::, ela da (2.0), da comisso So Vicente. Eh: Ela resumiu assim mesmo, ela falou assim 'vamos falar sobre o apocalipse' ela falou assim 'o apocalipse j ocorreu, j aconteceu. Foi da poca dos romanos. O resto balela'. OBS.(P): balela bom ((risos)) ENT.(O): (ininteligvel) no. ento t. T bom ((risos)). OBS.(P): [que mais de um] ENT.(O): Ento vou trocar de elemento seno a gente vai filosofar e eu no quero filosofar agora. Ah: eu vou te passar o elemento provocador de nmero 3.

Nesse trecho, s o entrevistador e a observadora falam e o candidato no se manifesta. No entanto, seu comportamento no-verbal foi analisado. Ele olha para o entrevistador, mas no faz comentrios, apenas d um meio sorriso, e olha de lado e para baixo. O entrevistador retoma a interao com o candidato e lhe d outro

93

elemento provocador. Embora o entrevistador (O) e a observadora (P) demonstrem um envolvimento maior com os candidatos nas interaes, o trecho indica que houve um envolvimento entre entrevistador e observadora, mas no em relao ao candidato. Os entrevistadores mostraram interesse na interao com o candidato, no se limitando a fazer as perguntas. Eles falaram aquilo que eles tambm tinham vontade, deixando menos marcada a relao assimtrica entrevistador-candidato. Por outro lado, se o candidato no se manifesta em relao ao que eles falam, a avaliao fica comprometida, pois sua amostra de fala ser mnima. Pode-se, portanto, considerar esses entrevistadores como colaborativos, nos casos em que os candidatos tambm contribuem para a interao. No entanto, mesmo que sua inteno a princpio seja colaborativa, os entrevistadores podem se tornar nocolaborativos dependendo da interao que se estabelece com o candidato, por exemplo, quando um candidato no fala ou no se manifesta em relao ao comentrio do entrevistador. Discuto, a seguir, algumas interaes em que os entrevistadores tiveram problemas na elaborao de perguntas. Notou-se que o entrevistador (O) apresenta tendncia de fazer perguntas longas, que incluem exemplos, ou faz vrias perguntas de uma s vez. O primeiro excerto faz parte da entrevista com base no elemento provocador Escolha da profisso (ver Anexo 9), em que o entrevistador (O) interage com o candidato (50). J o segundo est relacionado ao elemento provocador Presentes (ver Anexo 10), em que a candidata (48) interage com o mesmo entrevistador.

94

(...) ENT.(O): Em relao a uma educao bem distinta, o Brasil tem um sistema educacional bem distinta (sic). Por exemplo, uma (sic) Alemanha voc tem l, (ininteligvel) ele j tem desde pequenininho, o menino tem uma tendncia eles vo focando pra aquela, pra aquela, pra aquele tipo de rea e chegando no nvel superior, ele j consegue. uma coisa assim meio que mecnica no , onde voc separa ali o cara que est formando, com aquele que vai ser o tcnico, aquele que vai ser o engenheiro CAND.(50): sim, meu pai foi carpinteiro, meu av foi carpinteiro e eu serei carpinteiro, : ENT.(O): No, no. CAND.(50): ((risos)) ENT.(O): ((risos)) CAND.(50): mas tem gente n (ininteligvel) que continua com a profisso dos pais.

(...) ENT.(O): E:: ah:: para um homem e a mulher quando se d presente, que presente que voc acha que pode ser adequado para um homem e o que no se deve dar, no seu caso, por exemplo, a mulher d para o homem e o homem d para mulher, o que que o homem no pode dar de presente para a mulher e o que que a mulher no pode dar de presente para o homem? CAND.(48): (2.0) ENT.(O): por ser feio CAND.(48): que seria feio (1.5)

(...)

As reformulaes que esse entrevistador faz so uma forma de apoio, na tentativa de ajudar os candidatos a entenderem a pergunta, como foi observado por Lazaraton (1996a). Porm, as perguntas so longas e confusas e tomam muito tempo que poderia se usado para coletar mais amostras do desempenho do candidato. Alm disso, as perguntas so imprecisas e o entrevistado tem dificuldade em localizar a pergunta principal. O fato do candidato no entender a pergunta pode no estar relacionado compreenso dele, mas sim falha na elaborao da pergunta pelo entrevistador. Por isso, as perguntas devem ser claras e objetivas, pois do contrrio elas se tornam uma varivel que pode interferir no desempenho do candidato, e portanto, diminuir a confiabilidade do exame. 95

O entrevistador (O), alm disso, tem a tendncia de dar apoio mesmo quando no h tal necessidade. O candidato (47), alm de contribuir bastante para a interao, no apresenta problemas na compreenso. O excerto a seguir faz parte da entrevista com base no elemento provocador Quando voc se sente um peixe fora dgua? (ver Anexo 11):

ENT.(O): as pessoas tm grupos, elas formam. Por exemplo, vocs so mdicos, voc tem grupo de mdico. Ns professores, temos grupo de professores. O jogador de futebol tem grupo de jogador de futebol. Quando que voc acha que a pessoa sente-se assim fora do contexto? CAND.(47): Eu acho assim, eu acho na verdade em esse aspecto eu sou muito, nunca me senti na na turma, no curso, essa coisa, sempre ao princpio voc vai sentindo que no est no grupo, entendeu. Mas voc tem que fazer a cada dia tentar (ininteligvel) nessa turma, entendeu, e se vai adaptando, se vai adaptando. No vou negar, o primeiro ano que tava fazendo o curso s vezes pela dificuldade de comunicao, de uma coisa ou outra, eu me fui los trs, quatro meses mais ou menos eu me me enrolei nessa turma. Actualmente, por exemplo, tenho uma turma de colegas mdicos, antigos colegas de residncia que praticamos futebol, socialmente eh: participo em eventos de aniversrio, festinha, tudo una coisa assim normal. Mentir pra voc, falaria que me sinto como (ininteligvel) meu pas, lgico a famlia, sua terra onde voc nasceu nunca voc vai trocar por nada do mundo, entendeu. uma coisa que voc lembra a vida inteira.

A pergunta elaborada pelo entrevistador (O) apresenta dois problemas. O primeiro est relacionado ao prprio entendimento da expresso sentir-se um peixe fora dgua. O entrevistador inicia sua pergunta com exemplos de formao de grupos, o que contraria a expresso (se as pessoas esto em seus prprios grupos, elas no se sentiriam um peixe fora dgua). O segundo problema fazer perguntas detalhadas, com exemplos. Observando-se a extenso de sua resposta, o candidato (57) no necessitava de tal apoio. Em casos de candidatos com nvel de proficincia alto, como o do candidato (47), no haveria necessidade de um entrevistador fazer perguntas to 96

detalhadas, a no ser que o candidato precisasse de tal apoio. No exemplo apresentado, o entrevistador poderia ter feito a pergunta de forma direta, sem tantos detalhes. Retomando o que foi colocado por Morton et al. (1997), para candidatos com nvel de proficincia alto, os bons entrevistadores deveriam fazer perguntas adicionais que desafiassem os candidatos e no foi exatamente o que aconteceu com o candidato (47). Pelo contrrio, houve uma facilitao, nesse caso. Em suma, foi notado que esse entrevistador, em particular, tem uma tendncia de fazer perguntas longas que podem se tornar desnecessrias para candidatos de proficincia alta. Ele apresenta uma caracterstica de dar apoios de forma excessiva, ou overacommodation (ROSS; BERWICK, 1992) e isso pode trazer problemas em relao avaliao da compreenso oral dos candidatos. Se o entrevistador faz muitas acomodaes, no h como avaliar at que ponto o candidato consegue entender tudo que est sendo dito pelo entrevistador. Alm disso, j que as acomodaes so freqentes, o entrevistador pode avaliar a compreenso de um candidato com nvel baixo de proficincia como sendo boa, igualando-o aos candidatos com nvel alto. Por um lado, interessante que o entrevistador facilite a sua fala para que d continuidade na interao com o candidato. No entanto, necessrio reconhecer que esse candidato pertence a um nvel baixo de proficincia. Nos trechos a seguir esto exemplificados diferentes apoios dados pelos entrevistadores em relao ao vocabulrio. O excerto abaixo um exemplo de uma das entrevistas da entrevistadora (L). O elemento provocador Gaiola (ver Anexo 12) foi utilizado na interao com o

97

candidato (35), que teria que relacionar a imagem da gaiola com a frase Acho que a gente tem que sair de onde nasceu para poder voltar.

ENT.(L): pronto? CAND.(35): uhum ENT.(L): que relao voc faz com o que t escrito e essa figura? Voc sabe como chama isso aqui? CAND.(35): uma jaula. ENT.(L): uhum. vocs chamam de jaula? CAND.(35): ENT.(L): e:: e:: se fosse pra passarinho, tem mesmo nome? CAND.(35): passarinho l ENT.(L): , , isso aqui, se eu fosse colocar o passarinho aqui dentro, tem o mesmo nome? CAND.(35): tem o mesmo nome. ENT.(L): jaula tanto pra elefante, pro:: pro leo, ou pro passarinho? CAND.(35): no, pro elefante, leo, fala de (ininteligvel) ENT.(L): ah:: um outro termo CAND.(35): um outro termo porque mais grande, esse aqui mais pequenininho. ENT.(L): isso, pro um pssaro. Aqui ns chamamos de gaiola. CAND.(35): ah t ENT.(L): uhum. Qual a relao com o que est escrito e com a gaiola? CAND.(35): bom, o que est escrito acho que tem uma relao muito boa ENT.(L): [uhum] CAND.(35): porque a gajola ela serve, fica presa (...)

A entrevistadora inicia a pergunta da etapa 2, mas elabora logo em seguida, no mesmo turno, uma outra sobre o nome do objeto que o candidato est vendo. Como o candidato responde que uma jaula, ela tenta fazer com que ele chegue ao vocabulrio esperado. Porm, depois de um tempo, percebe que ele no sabe e ento fala que a palavra gaiola. S no fim, ela retoma a pergunta colocada no incio da conversa. Nota-se que, alm de ter levado muito tempo para tentar explicar um vocabulrio, a pergunta da etapa 2 foi desviada para uma pergunta voltada ao vocabulrio. As interferncias da lngua materna so previstas na grade de avaliao, 98

portanto, nesse caso, no haveria necessidade de parar a interao para explicar o vocabulrio. A entrevistadora (N), por exemplo, escolheu o mesmo elemento provocador para o candidato (45), porm no se fixou no vocabulrio inadequado utilizado por ele, e deixou apenas que a interao flusse:

CAND.(45): Pronto ENT.(N): (nome do candidato), qual a relao que voc v da figura com o texto? O que voc entendeu? Como voc interpreta n essa afirmao? CAND.(45): Uma afirmao simples mas tambm n abstrata. ENT.(N): Hum CAND.(45): ((l o ttulo do material)) Acho que a gente tem que sair de onde nasceu ENT.(N): =hum CAND.(45): pra poder voltar acho que pode ser tambm n (ininteligvel) voltar na terra dele ou outro tipo de (ininteligvel) ENT.(N): =hum CAND.(45): hum:: no entendi o objetivo que o artista plstico deu a jau-, a jaula n ENT.(N): =hum CAND.(45): Porque difcil se voc libertar um passarinho que ele volte jaula n ENT.(N): =hum CAND.(45): Hum:: no sei, o objetivo poderia tratar que s vezes a gente tem que conhecer outros mundos ENT.(N): =hum CAND.(45): para valorizar aquilo que tinha antes ENT.(N): =hum CAND.(45): ou:: ENT.(N): =aconteceu isso com voc? CAND.(45): na verdade (ininteligvel) alguma coisa nova, entendeu? Eu acho que ainda no me arrependi de nenhuma coisa n. Sei l, l pelos 60, 70 anos a gente vai poder ver (...)

s vezes, o vocabulrio um fator que quebra a interao, quando o entrevistador no entende o que o candidato diz. Porm, no caso acima apresentado, falar jaula ao invs de gaiola no comprometeria a interao, porque h a imagem ilustrada no elemento provocador, e por isso jaula s poderia estar se referindo a gaiola. A entrevistadora (L) perde muito tempo tentando fazer com que o candidato chegue ao vocabulrio certo. J a entrevistadora (N) foi mais tolerante quanto ao 99

vocabulrio e deixou que ele continuasse falando, o que seria mais adequado para uma entrevista. J o apoio dado pela entrevistadora (L) seria cabvel numa situao de sala de aula. Ainda em relao ao vocabulrio, quando os candidatos no entendem um termo do elemento provocador, h entrevistadores que explicam o que significa o termo, como no caso da entrevistadora (C). O candidato (11) sinaliza para a entrevistadora que no sabe o significado da expresso olho gordo (ver Anexo 4). Nesse caso, era importante que o candidato entendesse o termo para dar uma resposta para a entrevistadora. Ela ento explica a expresso para o candidato:

ENT.(C): Depois do que voc leu a, o que voc entende por olho gordo? CAND.(11): Hum:: A verdade ::: ((risos)) No entendeu muito, a expresso de olho gordo no. S leendo um pouco o texto ENT.(C): uhum CAND.(11): d pra percibir um pouco que t referindo-se as::: as, as amuletos e todas: essas:: ENT.(C): uhum CAND.(11): coisas que as persoas, ia falar que as mulheres mas ENT.(C): ((risos)) CAND.(11): mas no s as mulheres, as persoas, homens e mulheres, agora tan usando muito ENT.(C): uhum CAND.(11): no sei o que a expresso prpria, no sei que, o que, nesse sentido ENT.(C): =A gente costuma usar aqui como inveja. Algum est de olho gordo em voc, t com inveja, quer suas coisas CAND.(11): =Ah:: ENT.(C): quer o que voc tem, ento pra se proteger CAND.(11): =Ah:: t ENT.(C): da inveja, voc usa n CAND.(11): =Ah, entendi. Por isso utilizamos amuletos. ENT.(C): Isso. E voc acredita em amuletos? CAND.(11): Hum:: no (...)

Porm, a entrevistadora (B) no explica esse mesmo termo de forma direta. Ela tenta, de forma indireta, fazer com que o candidato (9) chegue ao 100

entendimento do termo. Porm, no isso que ocorre. O candidato fica sem entender o termo.

ENT.(B): tudo bem? CAND.(9): tudo bem. ENT.(B): ento, baseado nesse material,o que que voc entende por olho gordo? CAND.(9): (2.0) Olho gordo? (2.0) Es: um: mal, es como um mal, as pessoas, a gente utiliza: certas pre-, eh:: prendas, rolhas para protecin da de o mal, mal ENT.(B): (a gente conhece) olho gordo, pelo olho gordo, o que que ? CAND.(9): Olho gordo ENT.(B): Inveja, talvez? O que que voc acha? CAND.(9): Alguma:::: como:::: ENT.(B): uma inveja talvez dos outros? CAND.(9): que a pessoa vea:: tem uma::: olho gordo como um mal ENT.(B): as pessoas usam amuletos n CAND.(9): amuletos, s para ENT.(B): para proteo n CAND.(9): =para proteo de::: (ininteligvel) ENT.(B): uhum, tudo bem. Voc acredita em amuletos?

Portanto, a entrevistadora (B) sugere ao candidato (9) que olho gordo signifique inveja, mas por falta de conhecimento lingstico, ele acaba no entendendo o termo e a entrevistadora muda para outro tpico. Nesse caso, talvez tivesse sido melhor explicar o termo para o candidato de forma mais detalhada e direta, como o que foi feito pela entrevistadora (C). Por outro lado, essa maneira de sugerir um vocabulrio pode ser eficaz nos casos de candidatos com proficincia alta. Portanto, mais uma vez, um estilo pode ser colaborativo ou no dependendo do candidato. A entrevistadora (F) tem, como estilo, fazer muitas perguntas para entender os mnimos detalhes. Abaixo, apresento um trecho da primeira parte da entrevista com a candidata (18).

101

(...) ENT.(F): e o que que voc veio fazer aqui no Brasil? CAND.(18): o meu marido foi transferido pela empresa dele ENT.(F): e no que que ele trabalha? CAND.(18): qumico. No ele , ele :: como chama? ENT.(F): =engenheiro qumico? CAND.(18): no, ele comerciante. A empresa qumica. ENT.(F): sei, ele vendedor, isso? CAND.(18): ENT.(F): ele representante de vendas, isso? CAND.(18): , sim ENT.(F): uhum e a empresa o que? que:, que qumica que ? CAND.(18): , tudo. Eles compram e vendem. mais comrcio ENT.(F): =:: CAND.(18): eles no produzem. ENT.(F): = uma distribuidora CAND.(18): distribuidora ENT.(F): no uma indstria CAND.(18): ah t ENT.(F): isso? no uma indstria qumica, uma distribuidora de produtos qumicos CAND.(18): =sim ENT.(F): de qualquer natureza ou s remdio? (...)

O estilo dessa entrevistadora, ou seja, de fazer perguntas e confirmaes sobre detalhes pode ser visto como algo positivo, demonstrando que ela est interessada na conversa ou como algo negativo, como uma pessoa que faz muitas perguntas, no deixando o candidato vontade. Concluindo, esse estilo pode ser aceito ou tomado como colaborativo ou no dependendo da personalidade do candidato. Alm disso, analisando-se toda a interao, a candidata (18) apresenta um nvel alto de proficincia e por isso, no haveria a necessidade da entrevistadora (F) dar apoios em relao ao vocabulrio. Observando o excerto anterior, a candidata apenas confirma o vocabulrio fornecido pela entrevistadora, tornando difcil avaliar o seu vocabulrio (LAZARATON, 1996a).

102

Outro aspecto em relao ao estilo que h entrevistadores que tentam induzir o candidato resposta que eles gostariam de ouvir. Embora esse estilo no tenha ocorrido em todos os momentos da entrevista, houve trechos em que ele foi verificado. Por exemplo, na entrevista do candidato (54) com a entrevistadora (P), eles conversavam sobre o elemento provocador 9 (Eles x Elas) (ver Anexo 13). O candidato j havia, partindo das informaes presentes no material, feito a comparao entre homens e mulheres. A entrevistadora (P) faz uma pergunta introdutria (se o candidato tem irmos ou no) e, em seguida, pergunta que outras caractersticas ele notou em relao s mulheres:
ENT.(P): (...) E voc::, eh alm dessas caractersticas, voc que teve uma casa cheia de homens, que outras caractersticas voc notou nas mulheres? CAND.(54): nas mulheres? ENT.(P): . Alm de falarem mais, a gente gasta mais? N:o ((em tom de brincadeira)). A gente demora mais para se arrumar? No, imagina. CAND.(54): Ah:: as mulheres eu acho que elas (ininteligvel) ( um sexo forte) Ah:: tem:: eh:: podem suportar mais stress do que o homem, por terem melhor sistema imunolgico que o homem, eh tem maior expectativa eh:: comparando com os homens. Ento acho que um sexo eh:: que eh sexo que no um sexo fraco no. um sexo forte. ENT.(P): =forte. Mas essas caractersticas ((aponta para o material)) ah:: qual a caracterstica feminina que mais te irrita? Fala mais, ou gasta mais, ir no shopping? CAND.(54): Ah::: (fala) mais. ENT.(P): (fala) mais? CAND.(54): Ah porque como tem a rea da linguagem mais desenvolvida, consegue falar, tem mais (ininteligvel)

Observando as perguntas feitas pela entrevistadora (P), nota-se que a resposta do candidato (54) est relacionada primeira pergunta colocada pela entrevistadora (... que outras caractersticas voc notou nas mulheres?). No entanto, a entrevistadora insiste para que o candidato responda segunda pergunta, ou seja, sobre as caractersticas negativas em relao mulher. A dificuldade de responder a essa pergunta pode estar ligada prpria situao em que ele se encontra, isto , 103

falar de caractersticas negativas em relao mulher para uma mulher (a entrevistadora). Como a entrevistadora no deixa outra opo para o candidato seno responder ao que ela pediu, ele por fim responde pergunta. No trecho a seguir, a entrevistadora (L) interage com o candidato (34) em relao ao elemento provocador Eles X Elas:

ENT.(L): voc mdico n, voc viu aquela reportagem que falava que o homem tem neurnio espacial e que a mulher no tem. Isso CAND.(34): =essa reportagem eu no vi ENT.(L): Nossa! A crtica foi tremenda. Foi colocada pela mdia. J Soares entrevistou o neurologista porque n. Voc como mdico CAND.(34): o que eu tenho lido assim eh:: na estrada, pessoa na frente e algum fala vai para esquerda e a mulher fica pensando e s vezes faz assim pra ver com qual mo escreve ((risos)) ENT.(L): ((risos)) CAND.(34): escreve com o qu? para l. ((risos)) o homem talvez no tem tanto que, que esso um pouco mais mecnico, mais mecnico ENT.(L): isso no questo de educao? CAND.(34): em educao? ENT.(L): no questo de educao? CAND.(34): =eu no sei viu ENT.(L): o menino quando nasce, ou ganha uma bola ou um carrinho. Ento ele t l dirigindo o carrinho. CAND.(34): talvez isso ENT.(L): a menina ganha uma boneca. Passa brincando com boneca (fala pausadamente) e ningum d carrinho pra mulher CAND.(34): =uhum verdade. (ininteligvel) ENT.(L): =o menino com dez anos, o pai fala todo orgulhoso: 'vem meu filho, vamos dirigir'. Como que voc v essa questo? CAND.(34): (eu tenho um casal) porque s vezes eu coloco no volan-, numa rua, numa estrada, coloco no volante o menino, ela eu nunca coloquei. ENT.(L): =coitada! CAND.(34): (ininteligvel) no, voc citou isso e eu lembrei eu fao isso, verdade. Isso acontece. Eu nunca coloquei (nome da criana) Simulo que ele que t me levando, 'oh, agora pra direita.' ((risos)) Eu gosto de fazer coisa assim (ininteligvel) eu acho que orientao (ininteligvel) que diferente mesmo, tudo acaba mecanizando uma coisa que. Eu nunca tinha pensado nisso

A entrevistadora (L) tenta fazer com que o candidato (34) repense a sua posio em relao s diferenas entre homem e mulher, ou seja, que podem estar

104

ligadas s crenas e valores de cada um. No final do trecho, o candidato acaba concordando com a entrevistadora depois que ela expe seus argumentos. A entrevista, no exemplo anterior, um momento de reflexo, pois a entrevistadora (L) coloca a sua posio e faz com que o candidato pense mais a fundo sobre o tema. Nessa entrevista, a entrevistadora no faz apenas perguntas, mas tambm expe seus posicionamentos acerca do tema para discuti-los com o candidato. Alm disso, ela tem um estilo casual e, dessa maneira, diminui a assimetria entre entrevistador e candidato. No entanto, os turnos da entrevistadora so longos, disponibilizando-se pouco tempo para o candidato falar. Nesse caso, observa-se que a amostra pode no ser suficiente para avaliar o desempenho do candidato (MORTON et al., 1997; MCNAMARA; LUMLEY, 1997) Por outro lado, h entrevistadores que fazem as retomadas de forma eficiente: ao pedirem mais detalhes sobre informaes dadas pelo candidato, mostram que esto realmente interessados na conversa. No excerto da primeira parte da entrevista que se segue, a entrevistadora (F) retoma, mais adiante, uma frase colocada no incio pela candidata (18):

ENT.(F): por que voc no pode trabalhar CAND.(18): eu j poderia, mas estou procurando mas no muito srio ainda porque compramos uma casa ento tem muita coisa pra fazer ainda. Eu tenho uma filha de 13 anos e:: ela precisa de mim ainda. ENT.(F):=uhum CAND.(18): Mas mais pro futuro eu gostaria de trabalhar ENT.(F): e trabalhar no qu? na sua rea de formao mesmo? CAND.(18): eu me formei em ahm:: na rea social mas eu acho que no gostaria de trabalhar ENT.(F): voc chegou a trabalhar na Alemanha um pouco ou no? CAND.(18): sim, mas s um ano depois mudamos. eu trabalhei com meu marido tipo secretria. e eu no tenho confiana no no: ham que eu aprendi

105

ENT.(F): =uhum CAND.(18): porque nunca trabalhei direito (ininteligvel) ENT.(F): mas voc gosta disso? CAND.(18): mas eu acho que no gostaria de trabalhar nisso ENT.(F): =uhum. e quando voc diz 'eu j poderia trabalhar agora', houve um tempo que voc no pode trabalhar? CAND.(18): sim, no comeo eu no tinha o o visto pra: ENT.(F): =uhum CAND.(18): poder trabalhar e agora permanente e:: (ininteligvel)

No entanto, h entrevistadores que demonstram dificuldade em fazer as retomadas e acabam fazendo uma pergunta cuja resposta j foi dada anteriormente pelo candidato. No trecho a seguir, em relao ao elemento provocador Amor de sogra (ver Anexo 14), a entrevistadora (D) faz uma retomada desnecessria porque o candidato (15) j respondeu anteriormente.

CAND.(15): t bom ((risos)) ENT.(D): como voc interpreta o ttulo, "amor de sogra"? CAND.(15): ((risos)) uma stira que eles fazem n. ((risos)) Mas no meu caso, por exemplo, no tem nada a ver, j no sei porque tem esse preconceito que a sogra ruim e o genro mau, no sei ((risos)). No meu caso no assim, eu me dou bem com a minha sogra, no tenho problema no. Ah:: mas j:: ah: tenho amigos que eles j::, por exemplo, eles se casaram j::: nem conheciam a sogra, o sogro, j comearam a falar mal eu falei 'Cara, voc tem que conhecer primeiro' voc tem que dar uma opinio, a depois voc vai dar uma opinio no assim dar um conceito sin saber difcil no. Mas geralmente todos, so todos homens n. Eles fazem uma referncia que a sogra m::, que ela ruim, no sei o que. No meu caso no assim no. ((risos)) Eu me dou muito bem com a minha sogra. ENT.(D): voc, voc, eu no me lembro muito bem qual que a palavra exatamente que voc usou, se , se tipo era uma stira ou uma ironia CAND.(15): stira ENT.(D): Por que voc acha que uma stira? CAND.(15): ah porque, ((risos)) porque geralmente a sogra m, o genro mal, eles no concordam, tm muitas divergncias. por isso. Geralmente assim, amor de sogra, como que no existe isso a, mais ou menos isso a ((risos)) ENT.(D): muito bem.

Um outro elemento que se pode notar nessa interao que a entrevistadora mantm uma postura sria, pois os risos esto presentes apenas nos 106

turnos do candidato. Isso pode indicar um distanciamento da entrevistadora em relao ao candidato, caracterizando o estilo como no-colaborativo. A entrevistadora (G) tambm insiste em repetir a pergunta j respondida pela candidata (22). O elemento provocador utilizado nessa interao foi Mulher apaixonada (ver Anexo 15).

ENT.(G): Eh:: eu gostaria que voc fizesse uma:: descrio dessa, da personagem apaixonada, n. Eh:: pode ser fsica ou psicolgica n CAND.(22): (3.0) Hum, no sei. Eu acredito que ela:: no est muito conforme com, com o que est acontecendo n, dela se apaixonar por, talvez por algum que no, no tinha que ser ENT.(G): Ahm CAND.(22): E ela est muito ahm:: triste eh:: ENT.(G): E por que ela est triste? CAND.(22): Eh:: (2.0) talve-, talvez sea porque ela no:::, la amiga no est muito de acordo com o namoro dela. ENT.(G): Hum, t. Eh, a (nome da cartunista) uma cartunista: argentina, n. Ento eh:: lida com o humor n. E voc, onde voc acha que est o humor nesse, nesse cartoon a? CAND.(22): (3.0) Eh:: (2.0) que la amiga la que est reclamando ahm o comportamento de:: da outra amiga n que:: eh:: talvez se fosse algum mais acerca da da famlia ENT.(G): Hum CAND.(22): poderia a-, at ser mas uma amiga que::: hum, no sei ENT.(G): Bom, a n, ns temos uma:: uma mulher n, fisicamente ela no est muito, muito bem n. Eh:: isso se deve a qu? CAND.(22): (4.0) Ela:: disse que era una mulher segura, uma mulher eh mais forte tal,talvez n ENT.(G): Uhum CAND.(22): e agora se apaissonou, apaixonou talvez por algum que no devia ser ENT.(G): Ahm CAND.(22): por um homem que talvez no la amiga no concorda muito ENT.(G): Ahm CAND.(22): porque ela est envergo-, envergonhada, no sei ENT.(G): E voc acha que a paixo capaz de fazer isso com as pessoas? Deixar as pessoas mal, pra baixo? CAND.(22): No deveria ser, mas ENT.(G): Por que? CAND.(22): ((risos)) eh porque:: no perde, perde::: hum::: perde:::: hum perde:: as metas, perde::: no sei, muita coisa

(...)

107

Observando as respostas dadas pela candidata (22) em relao s perguntas deste excerto, pode-se perceber que elas se repetem. No fim de um de seus turnos, a candidata diz no sei. Nesse caso, a entrevistadora poderia ter explorado mais o tpico com outras perguntas sugeridas no roteiro para aplicao da Parte Individual. Alm disso, pode-se supor que esse no fosse um assunto sobre o qual a candidata se sentisse vontade para falar. A entrevistadora poderia ter feito perguntas referentes s pessoas em geral e no candidata em particular, como sugerido por Shohamy e Reves (1985). No roteiro para aplicao do exame consta que se um candidato no souber responder pergunta, o entrevistador pode ajud-lo, explicando a figura ou ainda uma expresso que o candidato no tenha entendido, pois o objetivo da entrevista no avaliar se o candidato entendeu e respondeu certo ou errado pergunta, mas a maneira como ele respondeu. Na tabela 9, a seguir, foi colocado um resumo de elementos caracterizadores de estilos colaborativos e no-colaborativos que foram vistos nesta seo.

Elementos caracterizadores de estilos colaborativos Entrevistador, alm de perguntador, faz comentrios, deixando a interao menos assimtrica Faz perguntas claras e diretas

Elementos caracterizadores de estilos nocolaborativos Entrevistador age apenas como perguntador, sem envolvimento com o candidato Faz perguntas longas e confusas

108

Elementos caracterizadores de estilos colaborativos No interrompe a interao para pedir esclarecimento de vocabulrio

Elementos caracterizadores de estilos nocolaborativos Interrompe a interao para esclarecimento de vocabulrio (atitude mais condizente com a de professor e no de avaliador) Explica, de forma indireta (por meio de sugestes), uma expresso no entendida para candidato com nvel mais alto de proficincia Faz perguntas adicionais para candidatos que no tm dificuldades em interagir Faz perguntas que induzam s respostas que os entrevistadores querem ouvir

Explica, de forma direta, uma expresso no entendida para candidato com nvel mais baixo de proficincia

Faz perguntas adicionais para candidatos que tm dificuldades em interagir Faz perguntas que no induzam s respostas que os entrevistadores querem ouvir Faz perguntas com o intuito de provocar reflexo no candidato

Faz perguntas com o intuito de impor uma opinio ao candidato

Faz retomadas para esclarecimentos sobre o Faz retomadas desnecessrias sobre algo que o candidato disse que o candidato j disse Reconhece quando o candidato no quer responder pergunta e muda de tpico Consegue manter a interao independente de qual seja o nvel do candidato Insiste para que o candidato responda pergunta No consegue manter a interao em relao a candidatos com nvel de proficincia mais baixo

Tabela 9: Elementos caracterizadores de estilos colaborativos e no-colaborativos dos entrevistadores

109

Nesta seo, vrios estilos foram identificados, observando-se as suas possveis conseqncias em relao confiabilidade. Na prxima seo, analisarei a atribuio de notas pelo entrevistador e observador.

3.4. ATRIBUIO DE NOTAS PELOS ENTREVISTADORES E OBSERVADORES

Conforme j mencionado no captulo I, o candidato avaliado pelo entrevistador e pelo observador. Seis aspectos so avaliados: competncia interacional, fluncia, pronncia, adequao gramatical, adequao lexical e compreenso. O entrevistador atribui uma nica nota, levando-se em conta todos esses aspectos; ao contrrio do observador, que atribui uma nota para cada um dos aspectos, totalizando-se seis notas. Por clculos estatsticos, o sistema produz uma nota do observador e uma nota final (mdia entre as notas do entrevistador e observador). A avaliao do observador em relao a cada aspecto no ser tratada neste trabalho. Analisarei apenas as notas finais do observador e do entrevistador, com o intuito de verificar se houve muitas discrepncias em suas notas e entender por que elas ocorreram. Na tabela 10 que se segue 29 , consta a quantidade de notas atribudas pelos avaliadores como entrevistador e observador. Por exemplo, a avaliadora (A) atribuiu, como entrevistadora, uma nota 2 e uma nota 4, totalizando duas notas. J como observadora, atribui uma nota 1 e uma nota 5.

29

O total de notas foi 57 porque no havia as notas finais de um dos candidatos.

110

Entrevistador
Nota Avaliador
A B C D E F G H I J L M N O P Q R

Observador
Nota 5
0 1 0 1 0 0 0 2 1 0 0 1 1 0 1 0 0 8

1
0 2 0 0 0 0 0 0 0 2 1 1 2 0 0 0 0 8

2
1 2 0 0 0 1 0 0 0 1 0 2 1 1 1 0 0 10

3
0 0 4 0 2 2 2 1 0 1 1 0 0 0 2 2 0 17

4
1 1 0 1 0 0 0 0 2 0 2 1 1 3 0 2 0 14

Total
2 6 4 2 2 3 2 3 3 4 4 5 5 4 4 4 0 57

Avaliador
A B C D E F G H I J L M N O P Q R

1
1 0 1 0 0 0 0 0 0 0 1 1 0 0 0 2 0 6

2
0 2 2 0 0 0 0 0 0 0 0 0 0 1 1 0 0 6

3
0 1 0 2 1 3 0 1 1 0 2 3 3 1 2 1 1 22

4
0 3 1 0 0 1 0 3 0 0 1 0 1 1 1 1 0 13

5
1 0 0 0 1 0 0 1 2 0 1 0 0 1 0 1 2 10

Total
2 6 4 2 2 4 0 5 3 0 5 4 4 4 4 5 3 57

Total

Total

Tabela 10: Quantidade de notas por avaliador

A tabela 10 foi colocada para uma melhor compreenso da tabela 11, em que foram apresentadas as medidas Gama de Goodman-Kruskal e P-valor. Goodman-Kruskal uma medida resumo da tabela de pares concordantes e discordantes para a associao entre variveis ordinais. Se o mdulo dessa medida igual a 1, existe associao perfeita; se igual a 0, as variveis so independentes. Por exemplo, h associao perfeita para as avaliadoras (D), (E) e (F), isto , as notas atribudas como entrevistadora e observadora so semelhantes ou dependentes, ao contrrio do que ocorre com os avaliadores (A), (O), (L) e (M).

111

No entanto, necessrio observar a significncia das associaes de Gama de Goodman-Kruskal atravs do P-valor. Aplicando o teste de concordncia, com nvel de significncia de 5%, foram obtidos P-valores para os avaliadores, exceto (G), (J) e (R), pois (G) e (R) atuaram somente como observadores e (J) como entrevistadora.

Medida de Associao
Avaliador
A B C D E F G H I J L M N O P Q R

Gama de Goodman-Kruskal
0 -0,37931 0,5 1 -1 -1 * 0,333333 -0,142857 * -0,0666667 0,0526316 -0,263158 0 0,0909091 0,25 *

P-valor
0,5 0,830368 0,0927234 0,0296732 0,875893 0,923479 * 0,249959 0,601873 * 0,553721 0,446987 0,74742 0,5 0,434267 0,294505 *

Tabela 11: Associao de avaliador como entrevistador e observador

Analisando-se os P-valores da tabela 11, nota-se que apenas a avaliadora (D) apresentou associao significativa entre suas atuaes como entrevistadora e observadora.

112

No entanto, ao se observar a tabela 12, a seguir, as notas que tiveram discrepncia de dois pontos foram atribudas pela entrevistadora (F) e observador (R), entrevistadora (J) e observadora (F) e entrevistadora (M) e observadora (L), ao avaliarem os candidatos (18), (19), (30), (32) e (37).

Instituio

Candidato 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41

Entrevistador A A A B B B B B B C C C C D D E E F F F G G H H H I I I J J J J L L L L M M M M M

Observador B B B A A C C C C B B B B E E D D R R R H H I I I H H H F F F F M M M M L L L L L

Nota (Ent.) 2 4 1 5 2 2 4 1 3 3 3 3 5 4 3 3 3 3 2 3 3 5 5 3 4 5 4 2 1 3 1 3 4 4 1 2 2 4 1 5

Nota (Obs.) 2 4 1 5 2 2 4 1 4 3 4 2 5 3 3 3 5 5 3 4 3 5 5 3 4 5 4 3 3 4 3 3 3 3 1 4 3 3 1 5

Nota final 2 4 1 5 2 2 4 1 4 3 4 3 5 4 3 3 4 4 2 4 3 5 5 3 4 5 4 2 2 4 2 3 4 4 1 3 2 4 1 5

II

113

Instituio

Candidato 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58

Entrevistador N N N N N O O O O P P P P Q Q Q Q

Observador Q Q Q Q Q P P P P O O O O N N N N

Nota (Ent.) 2 1 4 5 1 4 4 2 4 5 2 3 3 3 4 3 4

Nota (Obs.) 3 1 4 5 1 4 3 2 3 5 2 3 4 3 3 3 4

Nota final 2 1 4 5 1 4 4 2 4 5 2 3 4 3 4 3 4

III

Tabela 12: Notas dos candidatos

Em relao primeira dupla de avaliadores, a entrevistadora (F) foi muito rigorosa ao atribuir nota 3 para as candidatas (18) e (19). Retomando as interaes, pude observar que elas j apresentavam caractersticas esperadas para o nvel avanado (nota 4). A candidata (19), por exemplo, j tem um domnio da lngua, mas a maneira como narrou suas histrias se tornou confusa, o que pode ter contribudo para a reduo de sua nota. A entrevistadora (F) no considerou o seu desempenho como um todo. Quando a entrevistadora (F) assume a posio de observadora nas entrevistas com (J), ela no to rigorosa. No entanto, a entrevistadora (J) quem se torna mais rigorosa, atribuindo nota 1 para os candidatos (30) e (32). Essas entrevistas foram reanalisadas e notou-se que o nvel mais adequado para os candidatos j seria o intermedirio (nota 2).

114

Pensando no aspecto da confiabilidade, se a observadora (F) tivesse a mesma rigidez quando atribuiu notas como entrevistadora, a nota do candidato poderia no refletir seu real desempenho (MCNAMARA, 1996). Se dois avaliadores so exigentes, as notas atribudas a um mesmo candidato sero semelhantes e, dessa maneira, no haver nem a possibilidade de uma terceira nota para equilibrlas. Nos casos apresentados, pela mdia, houve um equilbrio na nota final dos candidatos atribudas, pelo entrevistador e pelo observador. Na seo a seguir, apresento as consideraes finais deste trabalho.

3.5. CONSIDERAES FINAIS

Este estudo teve como objetivo fazer uma anlise da atuao dos entrevistadores na interao face a face do Celpe-Bras. Partindo do referencial terico exposto no Captulo II e da anlise dos dados apresentados no Captulo III, retomo as perguntas de pesquisa e apresento as respostas a elas.

1) Como a atuao dos entrevistadores em relao aos procedimentos do exame? A atuao dos entrevistadores foi analisada sob duas perspectivas: (a) o cumprimento do tempo estabelecido para cada parte da entrevista e (b) cumprimento da ordem das etapas. Em relao durao das entrevistas, os dados mostraram que o tempo total foi cumprido em mdia. Porm, ao se olhar para partes especficas das entrevistas, observa-se que alguns entrevistadores no seguiram o tempo 115

estabelecido para cada parte, mesmo considerando um intervalo de tolerncia de 4 a 6 minutos. Analisando-se as entrevistas, notou-se que a reduo do tempo estava relacionada ao fato dos entrevistadores no fazerem mais perguntas para os candidatos que apresentavam dificuldades em interagir e, por isso, o tempo foi diminudo para esses candidatos. Nesses casos, as amostras produzidas foram reduzidas e uma das conseqncias que o candidato talvez possa no ter tido tempo suficiente para demonstrar o seu desempenho nos respectivos elementos provocadores. Em relao s etapas dos elementos provocadores, ficou claro que o no cumprimento das etapas pode interferir no desempenho do candidato. As perguntas da segunda etapa so mais complexas no sentido de exigirem, por exemplo, definies de expresses, e no apenas relato de experincias pessoais do candidato. O entrevistador que no segue as etapas das perguntas pode estar beneficiando alguns candidatos e no outros, e dessa maneira, diminuindo a confiabilidade. Os procedimentos do exame esto colocados nas Instrues para Aplicao do Exame e no Roteiro para aplicao da Parte Individual, porm nem todos os entrevistadores os cumpriram. Seria interessante que eles fossem mais enfatizados uma vez que o no cumprimento dos procedimentos pode ser uma varivel no-sistemtica (ALDERSON et al. 1995), trazendo implicaes para confiabilidade do exame, como foi apontado neste trabalho.

116

2) Que estilos os entrevistadores apresentam nas interaes face a face? Neste trabalho, foram identificados os elementos caracterizadores dos estilos dos entrevistadores. Os estilos foram classificados em colaborativos e nocolaborativos, porm tal classificao no pode ser vista de forma esttica, uma vez que um elemento considerado colaborativo pode se tornar no-colaborativo, dependendo da interao entre entrevistador e candidato. Como um dos elementos caracterizadores, foi observado que alguns entrevistadores mostraram um grau de envolvimento maior do que outros por meio de aes como comentrios, em que o entrevistador deixava de atuar apenas como perguntador durante a entrevista, mas como algum que compartilhava situaes e opinies com os candidatos. Dessa forma, a entrevista se aproximou de uma conversa e a assimetria existente entre entrevistador e candidato pode ser diminuda. Alm disso, para esses entrevistadores, o objetivo da entrevista no se restringiu apenas em fazer o candidato falar, mas no que ele est falando, diferentemente do objetivo exposto por van Lier (1989). Por isso as interaes se tornaram mais interessantes e menos assimtricas, contribuindo para validade do exame. Por outro lado, se o envolvimento no demonstrado por todos os entrevistadores, isso pode se tornar uma varivel que interfere no desempenho dos candidatos. Para garantir a confiabilidade, necessrio que todos os candidatos tenham as mesmas oportunidades para mostrarem aquilo que so capazes de falar, como foi colocado por Lazaraton (1996a). Em relao elaborao de perguntas, foi observado que alguns entrevistadores apresentaram dificuldades, pois suas perguntas foram longas e sem foco, tornando difcil para que o candidato as compreendesse, afetando dessa 117

maneira seu desempenho. A falta de compreenso pode no estar relacionada ao candidato, mas ao entrevistador que no elabora de forma clara e direta as perguntas. Uma das implicaes para a confiabilidade seria avaliar a compreenso do candidato como sendo menor, o que no corresponderia ao seu real desempenho. Alm disso, com o intuito de marcar o domnio sobre a entrevista (YOUNG; MILANOVIC, 1992), alguns entrevistadores faziam perguntas como forma de induzir s respostas que gostariam de ouvir e no mudavam de tpico quando o candidato apresentava dificuldades em responder uma pergunta. As retomadas para esclarecimentos sobre algo que o candidato disse foram utilizadas de forma adequada, mas, em alguns casos, no funcionaram, pois o entrevistador retomou algo que o candidato j havia falado antes. As retomadas indicaram interesse do entrevistador, alm de demonstrar preocupao em fazer com que o candidato explique de forma detalhada para que um sentido seja construdo (MOHAN, 1998). O vocabulrio desconhecido pelo candidato era fornecido atravs de uma explicao direta ou indireta. No entanto, ao optarem por uma forma ou outra, talvez os entrevistadores devessem levar em considerao o nvel do candidato, pois a expresso, muitas vezes, poderia continuar sem sentido para ele. Fornecer vocabulrio pode ser uma atitude colaborativa, o que no exime o entrevistador de penaliz-lo adequadamente (LAZARATON, 1996a). Em relao atribuio de notas, pode-se perceber que as

entrevistadoras (F) e (J) foram rigorosas ao avaliar os candidatos. Mesmo seguindo uma grade, os avaliadores podem avaliar de forma diferente por serem mais rigorosos ou mais generosos (MCNAMARA, 1996), ou ainda influenciados por outros 118

aspectos, tais como personalidade, maneiras, expresso facial e impresso de amizade (POLLITT; MURRAY, 1996). Um dos problemas em relao confiabilidade que um candidato pode ser avaliado por dois avaliadores rigorosos, por exemplo, e dessa maneira, sua nota pode no refletir o seu real desempenho.

A interao face a face complexa por natureza e avaliar essa complexidade uma tarefa difcil. Como colocado por McNamara (1996), a avaliao baseada no desempenho envolve variveis como atribuio de notas, que pode ser feita de forma inconsistente pelos avaliadores, ou ainda, relacionadas s diferentes atuaes dos entrevistadores. Essas variveis no-sistemticas (ALDERSON et al., 1995) podem afetar a confiabilidade do exame no sentido de modificarem o desempenho real de um candidato. Embora o Manual do Aplicador do exame Celpe-Bras traga informaes em relao ao cumprimento do tempo e das etapas, ainda assim nem todos os entrevistadores seguiram rigorosamente os procedimentos do exame. Alm disso, espera-se que com os resultados desta pesquisa, informaes mais detalhadas possam ser adicionadas ao Manual do Aplicador e usadas tambm na formao de entrevistadores. No Manual consta que os entrevistadores demonstrem interesse na conversa, porm no h maiores explicaes ou exemplos em relao a isso. Da mesma forma, no h meno em relao aos tipos de apoios que eles podem fornecer aos candidatos e suas implicaes em relao confiabilidade e validade do exame. Como mencionado no captulo 2, so poucos os estudos na rea de avaliao oral e maior parte dos estudos est relacionada aos testes de proficincia 119

em lngua inglesa. H a necessidade, portanto, de mais estudos na rea de avaliao de portugus como lngua estrangeira. Os prximos estudos poderiam dar continuidade a este trabalho, realizando uma pesquisa experimental a fim de verificar o impacto dos estilos colaborativos e no-colaborativos dos entrevistadores no desempenho dos candidatos e nas notas por eles atribudas. Outros estudos poderiam investigar as crenas que entrevistadores e candidatos tm em relao avaliao oral (ROSS, 1998).

120

REFERNCIAS BIBLIOGRFICAS

ALDERSON, J. C.; CLAPHAM, C.; WALL, D. Language Test Construction and Evaluation. Cambridge University Press, 1995. AMARANTE, M. F. S. O aspecto interpessoal e o aspecto pedaggico na fala do professor em entrevistas orais utilizadas para fins de avaliao formal. Revista Letras, Campinas, v. 13, n.1/2 p. 85-95, 1994. _________________. A entrevista como procedimento de avaliao da competncia comunicativa dos aprendizes. Revista Letras, Campinas, v. 14, n.1/2 p. 225-251, 1995. _________________. Ideologia neoliberal no discurso da avaliao: a excelncia e o avesso da excelncia. Campinas: Unicamp, 1998. Tese de Doutorado. ATKINSON, J.; HERITAGE, J. (Eds.) Structures of social action: studies in conversation analysis. Cambridge: Cambridge University Press, 1984. BACHMAN, L. F. Fundamental Considerations in Language Testing. New York: Oxford University Press, 1990. BERWICK, R.; ROSS, S. Cross-cultural pragmatics in oral proficiency interview strategies. In: MILANOVIC, M.; SAVILLE, N. (Eds.) Studies in language testing 3: performance testing, cognition and assessment. Cambridge: Cambridge University Press, 1996. p. 34-54. BROWN, A. Interviewer variation and the co-construction of speaking proficiency. Language Testing, v. 20, 1, p.1-25. 2003. CONSOLO, D.A. A construo de um instrumento de avaliao da proficincia oral do professor de lngua estrangeira. Trabalhos em Lingstica Aplicada, v.43 (2), 2004. 121

GIOSA, E. A fala colaborativa: um caminho alternativo para o ensino de conversao em LE. Contexturas, n.2, 1994. GRICE, H. P. Studies in the way of words. Cambridge: Harvard University, 1989. HUGHES, A. Testing for language teachers. Cambridge University Press, 1989. JENKINS, S; PARRA, I. Multiple layers of meaning in an oral proficiency test: the complementary roles of nonverbal, paralinguistic, and verbal behaviors in assessment decisions. The Modern Language Journal, 87. p.90-107, 2003 JOHNSON, M.; TYLER, A. Re-analyzing the OPI: how much does it look like natural conversation? In: YOUNG, R.; HE, A.W. (Eds.) Talking and testing: discourse approaches to the assessment of oral proficiency. Amsterdam and Philadelphia: Benjamins. 1998. p.355-382. LAZARATON, A. Interlocutor support in oral proficiency interviews: the case of CASE. Language Testing 13. p.151-172, 1996a. _____________. A qualitative approach to monitoring examiner conduct in the Cambridge assessment of spoken English (CASE). In: MILANOVIC, M.; SAVILLE, N. (Eds.) Studies in language testing 3: performance testing, cognition and assessment. Cambridge: Cambridge University Press. 1996b. p.18-33. Manual do Exame Certificado de Proficincia em Lngua Portuguesa para estrangeiros, 2003. MCNAMARA, T.F. Measuring Second Language Performance. London: Addison Wesley Longman, 1996. MCNAMARA, T.F. and LUMLEY, T. The effect of interlocutor and assessment mode variables in overseas assessments of speaking skills in occupational settings. Language Testing 14. p.141-156, 1997. 122

MOHAN, B. knowledge structures in oral proficiency interviews for international teaching assistants. In: YOUNG, R.; HE, A.W. (Eds.) Talking and testing: discourse approaches to the assessment of oral proficiency. Amsterdam and Philadelphia: Benjamins. 1998. p.173-204. MORTON, J.; WIGGLESWORTH, G.; WILLIAMS, D. Approaches to the evaluation of interviewer behaviour in oral tests. In: Access: Issues in language test design and delivery. National Centre for English Language Teaching and Research Macquarie University, Sydney, NSW 2109, p.175-195, 1997. POLLITT, A.; MURRAY, N. L. What Raters Really Pay Attention to. In: MILANOVIC, M.; SAVILLE, N. (Eds.) Studies in language testing 3: performance testing, cognition and assessment. Cambridge: Cambridge University Press, 1996. p. 74-91. ROSS, S. divergent frame interpretations in language proficiency interview interaction. In: YOUNG, R.; HE, A.W. (Eds.) Talking and testing: discourse approaches to the assessment of oral proficiency. Amsterdam and Philadelphia: Benjamins. 1998. p.333-353. ROSS, S.; BERWICK, R. The Discourse of Accommodation in Oral Proficiency Interviews. Studies in Second Language Acquisition 14. p.159-176, 1992. SCARAMUCCI, M. V. R. O projeto Celpe-Bras no mbito do Mercosul: contribuies para uma definio de proficincia comunicativa. In: ALMEIDA FILHO, J. C. P. (org.) Portugus para estrangeiros interface com o espanhol. Campinas, SP: Pontes. 1995. p. 77-90. SCARAMUCCI, M. V. R. O papel da interao na pesquisa sobre aquisio e uso de lngua estrangeira: implicaes para o ensino e para a avaliao. Letras Hoje 137, p. 365-373. 2004. 123

SCHOFFEN, J.R. Avaliao de proficincia oral em lngua estrangeira: descrio dos nveis de candidatos falantes de espanhol no exame Celpe-Bras. Porto Alegre: UFRGS, 2003. Dissertao de Mestrado. SHOHAMY, E.; REVES, T. Authentic language tests: where from and where to? Language Testing 2, 1, p. 48-59, 1985. VAN LIER, L. Reeling, Writhing, Drawling, Stretching, and Fainting in Coils: Oral Proficiency Interviews as Conversation. TESOL Quarterly 23, p.489-508, 1989. VIGIA-DIAS, L. Um olhar sobre eventos de avaliao de linguagem oral em aula de lngua estrangeira (ingls): abordagem de ensino X avaliao de aprendizagem. Campinas: Unicamp, 1995. Dissertao de Mestrado. YOUNG, R.; MILANOVIC, M. Discourse Variation in Oral Proficiency Interviews. Studies in Second Language Acquisition 14. 403-424, 1992. YOUNG, R.; HALLECK, G. B. Let them eat cake! or how to avoid losing your head in cross-cultural conversations. In: YOUNG, R.; HE, A.W. (Eds.) Talking and testing: discourse approaches to the assessment of oral proficiency. Amsterdam and Philadelphia: Benjamins. 1998. p.355-382.

124

ANEXOS

125

126

ANEXO 1:

QUESTIONRIO PARA ESTRANGEIROS QUE MORAM NO BRASIL

Fonte: www.mec.gov.br/sesu/celpe

127

128

1) O que voc gosta de fazer nos momentos de lazer? 2) O que levou voc a se interessar pela lngua e pela cultura do Brasil? 3) Onde voc estudou portugus? 4) Durante quanto tempo? 5) Como foi essa experincia? 6) O que voc conhece da cultura brasileira? 7) Voc tem amigos brasileiros? 8) Por que voc veio para o Brasil? 9) Voc est no Brasil sozinho(a)? 10) Como tem sido sua vida aqui no Brasil? 11) O que voc estranha no Brasil, ou do que voc sente falta em sua vida aqui, em relao ao seu pas? 12) Que lugares do pas voc j visitou?

129

130

ANEXO 2:

ELEMENTO PROVOCADOR

131

132

133

134

ANEXO 3:

ROTEIRO PARA APLICAO DA PARTE INDIVIDUAL

135

136

137

138

ANEXO 4:

ELEMENTO PROVOCADOR: ADEUS, OLHO GORDO

139

140

141

142

ANEXO 5:

ELEMENTO PROVOCADOR: CO E O CARTEIRO

143

144

145

146

ANEXO 6:

ELEMENTO PROVOCADOR: ORDEM NA CASA, ORDEM NA VIDA

147

148

149

150

ANEXO 7:

ELEMENTO PROVOCADOR: SUPER-HERIS

151

152

153

154

ANEXO 8:

ELEMENTO PROVOCADOR: COMPRA PELA INTERNET

155

156

157

158

ANEXO 9:

ELEMENTO PROVOCADOR: ESCOLHA DA PROFISSO

159

160

161

162

ANEXO 10:

ELEMENTO PROVOCADOR: PRESENTES

163

164

165

166

ANEXO 11:

ELEMENTO PROVOCADOR: QUANDO VOC SE SENTE UM PEIXE FORA DGUA?

167

168

169

170

ANEXO 12:

ELEMENTO PROVOCADOR: GAIOLA

171

172

173

174

ANEXO 13:

ELEMENTO PROVOCADOR: ELES E ELAS

175

176

177

178

ANEXO 14:

ELEMENTO PROVOCADOR: AMOR DE SOGRA

179

180

181

182

ANEXO 15:

ELEMENTO PROVOCADOR: MULHER APAIXONADA

183

184

185

186

ANEXO 16: INSTRUES PARA APLICAO DO EXAME

187

188

Avaliao da Parte Individual perguntas mais freqentes Quem conversa com o candidato? A interao face a face (entrevista e elemento provocador) sustentada somente pelo entrevistador. O observador dever permanecer em silncio. importante que o candidato tenha todas as oportunidades para falar e que o entrevistador sustente a conversa, mostrando interesse e ampliando a discusso com as perguntas sugeridas no Roteiro. Quem avalia o candidato? A avaliao da produo oral do candidato feita pelo entrevistador e pelo observador de forma independente. Como se avalia o candidato? O observador, ao longo da interao, preenche a Ficha de Avaliao da Interao Face a Face Observador, assinalando os nveis de cada aspecto avaliado com base nas descries da Grade de Avaliao da Interao Face a Face Observador. O entrevistador, ao final da interao, preenche a Ficha de Avaliao da interao Face a Face Entrevistador, assinalando a descrio que melhor caracteriza o desempenho do candidato. As notas so independentes, isto , no devem ser discutidas pelos avaliadores. Salienta-se que duas notas independentes do maior confiabilidade avaliao. Como se chega nota final da Parte Individual? Todas as notas atribudas pelo observador e pelo entrevistador so inseridas no sistema. A nota final da Parte Individual calculada pelo MEC. O sistema calcula uma nota concluso do Observador, e a nota final a mdia das duas avaliaes obtidas. Quanto tempo dura a Parte Individual? A Parte Individual dura 20 minutos. O tempo da interao deve ser rigorosamente respeitado, assim como o tempo de cada parte da interao (5 minutos para o questionrio e 5 para cada elemento provocador), independente do nvel apresentado pelo candidato no incio da interao. 189

190