OBJETIVOS DA AVALIAO DA FIDEDIGNIDADE EM ESTUDOS

OBSERVACIONAIS
Pontifcia

Ceclia Guarnieri Batista

Universidade Catlica de

Campinas

RESUMO - Na literatura da anlise aplicada do comportamento,

verifica-se que a avaliao da fidedignidade feita atravs do clculo
do acordo entre observadores. J na literatura etolgica, constata-se
maior diversificao de tcnicas de avaliao de fidedignidade, incluindo-se a considerao de que a replicao da identificao das
mesmas categorias por outros autores se constitui em indicao de que
o observador foi fidedigno. Procura-se identificaras razes pelas quais
existe essa diferena de enfoque questo. Conclui-se sugerindo que a
avaliao da fidedignidade deve estar subordinada aos objetivos e
caractersticas de cada projeto de pesquisa, retendo-se o significado
mais amplo do termo "fidedignidade", entendido como exatido e
replicabilidade.
GOALS OF RELIABILITY EVALUATION IN OBSERVATIONAL
STUDIES
ABSTRACT - In the applied behavior analysis literature, reliability
evaluation is done through the measurement of interobserver agreement. In the ethological literature, on the other hand, several techniques of reliability evaluation are used, including the replication of
the identification of the same categories of behavior by other researchers. Reasons for this difference are identified. As a conclusion, it is
suggested that reliability evaluation must be subordinated to the goals
and characteristics of each research project, while keeping general
meaning of reliability as accuracy and replicability.
As ltimas dcadas de estudo do comportamento tm assistido a um crescente
interesse por estudos observacionais, por influncia de determinadas abordagens
tericas, como a etologia (Blurton Jones, 1972; Hinde, 1966) e a anlise do
comportamento aplicada (Bijou, Peterson e Ault, 1 9 6 8 ; Ramp e Semb, 1975).
Recentemente so realizados estudos observacionais que decorrem direta ou
indiretamente dessas abordagens e que abordam diferentes temas, como, por
exemplo, o apego e as reaes da criana separao (Ferreira, 1984), a
comunicao no-verbal (Scherer e Ekman, 1982) e as relaes entre professor e
aluno em sala de aula (Marturano, 1978, 1979; Marturano, Bertoldo e Camelo,
1982).
Paralelamente ao desenvolvimento desses estudos, tem crescido a preocupao com a aferio da fidedignidade do sistema de observao e, especificamente, do observador humano como parte desse sistema (Johnson e Bolstad,
Psicol., Teori., Pesqui., Braslia, V. 1 N. 3 p. 2 0 5 - 2 1 4 - Set.-Dez. 1985

205

1 9 7 3 ; Caro, Roper, Young e Dank, 1979). No presente artigo, pretende-se examinar

a forma como a fidedignidade tem sido considerada em Psicologia e, mais
especificamente, nos estudos observacionais, e estabelecer algumas concluses a
partir desse exame.
FIDEDIGNIDADE EM PSICOLOGIA
A definio de fidedignidade em dicionrios de Psicologia varia de acordo
com as diferentes situaes em que o conceito aplicado, como se pode ver a
seguir:
Com relao a relatos verbais, fidedignidade entendida como "o grau de
exatido de um dado relato (de um evento, fenmeno, etc.) ou o grau de confiana
no testemunho de um dado indivduo" (Warren, 1934).
Com relao aos testes psicolgicos, considerada como "uma das
qualidades de uma medida. A fidedignidade de um teste expressa com o auxlio
dos coeficientes de constncia, de equivalncia e de homogeneidade". Constncia, por sua vez, entendida como "correlao entre duas sries de medidas de
um mesmo atributo ou carter, efetuadas sobre um mesmo grupo, qualquer que seja
o tempo decorrido entre as duas observaes". Equivalncia refere-se "correlao entre duas formas de um teste, que se tomam como equivalentes e se
aplicam com intervalo reduzido". E homogeneidade definida como a "correlao
entre as duas partes de um teste (questes pares e mpares)". (Piron, 1 9 6 6 ,
original de 1951).
Para a pesquisa experimental, fidedignidade refere-se ao "grau em que os
resultados so consistentes na repetio do experimento" (Wolman, 1973).
Com relao a aparelhagens eletrnicas ou a sistemas homem-mquina,
entende-se fidedignidade como a "probabilidade de que estes funcionem sem
defeito, sob certas condies e durante um perodo determinado" (Sillamy, 1 980),
Verifica-se, assim, que ao longo das diferentes acepes que o termo
assume, destacam-se as seguintes caractersticas: exatido, constncia de propriedades ao longo de um perodo, repetio de um resultado obedecidas as
mesmas prescries. Sabe-se, tambm, que a tcnica especfica a serutilizada para
a avaliao da fidedignidade varia de acordo com a rea de conhecimento em que o
conceito aplicado: fidedignidade de um teste psicolgico aferida de modo
diferente do que fidedignidade dos resultados de uma pesquisa experimental.
FIDEDIGNIDADE DO OBSERVADOR NA LITERATURA DA ANLISE
DO COMPORTAMENTO APLICADA
A questo da fidedignidade do observador tem sido extensivamente tratada
pelos autores que atuam em anlise do comportamento aplicada. Essa rea de
pesquisa originou-se da anlise experimental do comportamento, que trabalha
com uma ou poucas respostas que produzem um efeito ambiental claro, efeito esse
registrado eletromecanicamente, em laboratrio. A anlise aplicada do comportamento, por sua vez, lida com respostas escolhidas em funo de sua relevncia
social, ao invs de sua importncia para a teoria (Baer, Wolf e Risley, 1968). Isso
leva o analista a a t u a r e m ambientes complexos como salas de aula, instituies,
residncias, etc, e a anotar as respostas relevantes para o problema estudado,
respostas estas que raramente permitem um registro eletromecnico. Lana-se
mo, ento, do observador humano, que registra as respostas selecionadas de
206

Psicol., Teori., Pesqui., Braslia, V. 1 N. 3 p. 205-214 - Set.-Dez. 1985

acordo com instrues predeterminadas. Da necessidade de se aferir a preciso

desse observador, menos confivel do que os equipamentos eletromecnicos,
que provavelmente surgiu a importncia atribuda estimativa da fidedignidade do
observador.
O objetivo bsico da avaliao da fidedignidade tem sido descrito na
literatura da anlise do comportamento aplicada como o de estabelecer a
credibilidade dos dados de observao (Hawkins e Dotson, 1975; Kazdin, 1977;
Kratochwill e W e t z e l , 1977). Essa credibilidade vai permitir que se confie nas
demonstraes de relaes entre escores de comportamento e variveis externas,
nas demonstraes de mudanas no comportamento, em termos de taxa de
resposta ou durao, ao longo de diferentes fases experimentais (Johnson e
Bolstad, 1973; Hopkins e Herman, 1977). O acordo entre observadores que
registram o comportamento simultnea e independentemente considerado como
indicao da fidedignidade desses observadores (Kazdin, 1977; Yelton, 1979). Os
pesquisadores assumiram que o acordo em ocorrncias e/ou no ocorrncias de
comportamentos-alvo sugere que os observadores esto respondendo aos mesmos
eventos. Assim, o acordo entre observadores uma indicao da replicabilidade
dos dados de observao (Wildman e Erickson, 1977).
Entretanto, ao longo do uso de ndices de acordo entre observadores em
estudos dessa natureza, foram surgindo elementos para indicar que esses ndices
esto sujeitos influncia de vrios fatores (Johnson e Bolstad, 1 9 7 3 ; Kazdin,
1977). Alm disso, foi sendo aprofundada a discusso sobre a relao entre acordo
entre observadores e definio do comportamento,
Em um texto sobre caractersticas de uma boa definio, distribudo para
alunos universitrios, Michael (sem data) afirma que o teste final da qualidade de
uma definio o clculo de fidedignidade. Em seguida a essa afirmao, ele faz a
ressalva de que tem havido motivos que impedem o estabelecimento dessa relao
direta na maioria das pesquisas realizadas e menciona algumas, entre as quais se
inclui o uso do mesmo conjunto de definies no treino e na coleta de dados, o que
pode levar os observadores a serem controlados por uma definio implcita (de
consenso) e no pela definio explcita. Ele afirma que, nessas condies, o
observador aprendeu a emitir o mesmo comportamento de registrar que seu
treinador, mas que o grau em que isso corresponde definio verbal relatada
completamente desconhecido. Assim, a definio explcita (relatada na pesquisa)
no foi avaliada; apenas a definio implcita (no expressa verbalmente) foi
avaliada. Ele afirma que isso no seria problema exceto porduas limitaes: a) esse
tipo de definio provavelmente mais suscetvel de modificao no intencional
(como, por exemplo, o desejo do experimentador de obter certos resultados); b)
mais difcil a replicao do mtodo de mensurao por cientistas de outros
laboratrios, uma vez que a definio real desconhecida. Ele considera, a seguir,
que mesmo quando o observador que faz o teste de fidedignidade no foi prtreinado nas definies de interesse, ainda podem haver problemas, pois: a) esse
segundo observador pode ter uma definio de comportamento implcita semelhante do primeiro observador, e, b) a definio pode ser pobre e produzir alto
acordo devido topografia que facilita a discriminao de outros comportamentos:
desse modo, ela continua sendo pouco adequada para replicao do estudo.
Uma discusso semelhante encontrada em Hawkins e Dotson (1 975) sobre
acordo entre observadores em registro de intervalo. Esses autores mostram que,
quando se usa para clculo da porcentagem de acordo entre observadores uma
frmula em que se computam tanto os acordos na ocorrncia como os acordos na
Psicol., Teori., Pesqui., Braslia, V. 1 N.3 p. 2 0 5 - 2 1 4 - Set.-Dez. 1985

207

no-ocorrncia do comportamento, esse ndice altamente afetado pela taxa (ou

durao) do comportamento, e no serve a nenhuma das seguintes funes:
1 ) c o m o ndice de quo precisa, clara, objetiva e completa uma definio;
2) como nice de quo competente o observador; 3) como ndice da confiabilidade no efeito experimental relatado.
A partir dessa colocao de Hawkins e Dotson (1975), a discusso de
fidedignidade em anlise do comportamento aplicada passou a girar em torno de
modos de se evitar ndices altos devidos ao acaso. Para isso, foram feitas sugestes
no sentido de: a) calcular separadamente ndices de acordo para ocorrncia e para
no ocorrncia do comportamento (Bijou, Peterson e Ault, 1968; Hawkins e
Dotson, 1 975); b) estabelecer meios de identificara proporo de acordo devida ao
acaso (Johnson e Bolstad, 1973; Hartmann, 1 9 7 7 ; Hopkins e Hermann, 1 9 7 7 ;
Birkimer e Brown, 1979, a, b; Yelton, 1979), muitos deles envolvendo uma certa
sofisticao estatstica. A reao de autores com tradio na rea no tem sido
muito favorvel a esse segundo tipo de proposio. Ao comentar o artigo de
Hartmann(1977), por exemplo, Baer(1977) afirma que o que interessa ao analista
do comportamento responder questo: "Ser que quaisquer dois observadores,
usando o mesmo cdigo de comportamentos, veriam os mesmos comportamentos
do mesmo modo ao mesmo tempo?" questo essa que se refere avaliao da
homogeneidade dos observadores que atuam num mesmo projeto. Ele considera
que essa resposta pode ser obtida atravs do clculo separado das porcentagens
de acordo sobre ocorrncia e no ocorrncia do comportamento registrado em
intervalos e que as proposies sobre outros modos de calcularo acordo, inclusive
levando em conta os valores obtidos ao acaso, so dispensveis e at prejudiciais
rea da anlise do comportamento aplicada. Curiosamente, as colocaes de
Michael (sem data) no so retomadas nos trabalhos referentes a ndices de acordo
entre observadores.
Levando-se em conta as consideraes acima, verifica-se que a questo da
fidedignidade do observador tratada na anlise do comportamento aplicada
privilegiando-se o clculo do acordo entre observadores como indicador de fidedignidade. Busca-se identificar e controlar os fatores de erro que afetam esses
ndices, sempre na direo de preservar essa forma de aferir fidedignidade. Isso
est ligado ao interesse central da anlise do comportamento aplicada, que o de
demonstrar o efeito de variveis experimentais sobre a freqncia (ou durao) do
comportamento, produzindo mudanas de magnitude consideradas socialmente
significativas. A exatido da contagem , portanto, crucial, para que no sejam
confundidos os efeitos dessas variveis com os erros de mensurao.
FIDEDIGNIDADE DO OBSERVADOR NA LITERATURA ETOLGICA
O livro organizado por Blurton Jones (1972) com uma coletnea de artigos
sobre comportamento infantil e maternal marca o incio da pesquisa etolgica
sistemtica do comportamento humano. Em vrios artigos, a questo da fidedignidade do observador abordada, no sentido de enfatizar a replicabilidade das
observaes. Vrios autores afirmam que um teste adequado da realidade das
categorias identificadas o fato de que outros pesquisadores independentes
estaro tambm identificando categorias semelhantes (Blurton Jones, 1 9 7 2 ;
Leach, 1972; Richards e Bernal, 1972). Nota-se que, aqui, a preocupao bsica
com a fidedignidade na identificao de categorias replicveis, definidas em
termos de unidades observveis, contrapondo-se aos estudos de psicologia social
208

Psicol., Teori., Pesqui., Braslia, V. 1 N. 3 p. 2 0 5 - 2 1 4 - Set.-Dez. 1985

e do desenvolvimento da poca, que faziam uso de categorias amplas de

comportamento, e que exigiam dos pesquisadores certo grau de interpretao para
decidir em que categoria enquadrar os eventos observados.
Uma outra nfase notada nos comentrios de alguns autores, no livro j
citado, refere-se desconfiana no ndice de acordo entre observadores como
indicador de fidedignidade. Argumenta-se que um grupo de observadores, depois
de um treino suficiente, provavelmente comea a compartilhar entre si de
interpretaes quanto identificao de categorias, mas que este grupo pode
divergir de um outro grupo utilizando o mesmo sistema de categorias. Isso visto
como um obstculo para a comunicao com leitores posteriores e, portanto, para a
replicao do estudo (Blurton Jones, 1972; Smith e Connolly, 1972).
Nesse sentido, uma das solues propostas e a do calculo do acordo entre
observadores em que um deles no est familiarizado com as categorias do estudo;
foi o que fizeram Smith e Connolly (1972) quando utilizaram um observador com
treino de observao de crianas que estudou apenas as definies escritas dos
comportamentos referentes quele estudo especfico e efetuou o clculo de acordo
com o observador principal.
A nfase dos etlogos, ento, na replicabilidade das categorias selecionadas para estudo e na busca de padres de exatido do registro que evitem o mero
consenso entre observadores, eventualmente desviando-se das prprias definies escritas.
Um texto mais recente na revista "Behaviour" (Caro, Roper, Young e Dank,
1979) discute a questo da fidedignidade entre observadores em estudos
etolgicos. Os autores apresentam ndices para clculo do acordo entre observadores e arrolam fatores que afetam o ndice, baseando-se, em parte, na literatura
sobre fidedignidade produzida pela anlise do comportamento aplicada. Eles
consideram que os mtodos de concordncia podem ser teis, especialmente no
que se refere ocorrncia do comportamento a cada intervalo, no treino de
observadores ou no exame detalhado de padres de comportamento.Eles fazem
uma analogia entre o observador e um instrumento utilizado na observao
cientfica: ambos funcionam diferentemente sob diferentes condies. Assim, os
fatores que afetam o modo como os observadores registram o comportamento so
anlogos s diferentes condies que afetam o funcionamento de um instrumento
cientfico. Os autores comentam, no final do artigo, que a fidedignidade entre
observadores no uma condio suficiente para garantir a validade de um estudo.
Eles consideram que possvel obter uma alta fidedignidade entre observadores e
um resultado estatisticamente significante a partir de uma amostra viesada; assim,
o nico teste da validade de um estudo sua replicao. Eles afirmam, ainda, que as
diferenas entre observadores no so a nica fonte de erro, constituindo-se a
avaliao dessas diferenas em uma estimativa moderada do erro total.
Assim, nesse texto, verifica-se uma valorizao maior do acordo entre
observadores como indicao de fidedignidade do que nos textos do livro de
Blurton Jones, ao mesmo tempo que se mantm a nfase na importncia da
replicao dos resultados. Isso est ligado aos objetivos da pesquisa etolgica, de
detectar e descrever padres de comportamento para responder a perguntas em
um ou mais dos seguintes nveis de anlise: causal, ontogentica, funcional e
filogentica (Blurton Jones, 1972). Assim, a deteco dos mesmos padres por
outros pesquisadores uma indicao muito significativa de que se est
selecionando categorias adequadas para anlise. Por outro lado, reconhece-se a
utilidade relativa do clculo do acordo entre observadores, como uma das formas
Psicol., Teori., Pesqui., Braslia, V. 1 N. 3 p. 205-214 - Set.-Dez. 1985

209

de se aferir a preciso do registro de um observador ao longo de um estudo. Dessa

forma, a questo da fidedignidade do observadora tratada na etologia de um modo
mais diversificado do que na anlise do comportamento aplicada: um observador
fidedigno tanto pode ser aquele que obtm resultados replicveis como aquele que
obtm um alto ndice de acordo com outro observador, preferindo-se para esse
teste um observador no treinado naquele conjunto especfico de categorias.
Assim, duas vertentes de pesquisa, com perguntas diferentes, enfocam
diferentemente a questo da avaliao da fidedignidade do observador.
EM BUSCA DE UMA SOLUO
A avaliao da fidedignidade do observador em diferentes reas de pesquisa
apresenta pontos comuns e pontos divergentes, relacionados aos objetivos
especficos da investigao em cada rea.
Um ponto levantado por autores de ambas as reas revisadas refere-se
relao entre teste do acordo entre observadores e o teste da qualidade de um
sistema de categorizao do comportamento. Um grupo de autores que trabalham
na rea de comunicao no-verbal chegou a uma soluo interessante (Frey e
Pool, mencionados em Fisch, Frey e Hirsbrunner, 1983). Eles desenvolveram um
sistema de notao de posies de cada parte do corpo, a serem codificadas a partir
da observao da gravao da sesso em video-teipe; em seguida, calcularam
ndices de acordo intra e intercodificadores e obtiveram valores acima de 90%. No
entanto, esses autores consideraram que o ndice de fidedignidade alto no
garante a qualidade de um esquema de notao e que a avaliao dessa qualidade
depende do grau de resoluo do esquema de notao, ou seja, o grau em que o
mesmo est apto a descrever fidedignamente as diferenas comportamentais
existentes. Para tanto, procuraram reconstruir 40 posies randomicamente
selecionadas com base nos dados codificados. Para esse objetivo, tomou-se uma
pessoa que atuou como modelo e cada parte de seu corpo foi colocada nas
posies correspondentes codificao dos sujeitos originais. Fotos tiradas
desse modelo foram ento codificadas e comparadas aos cdigos obtidos a partir
das posies originais. Os resultados indicaram acordo acima de 98%, dos 2 4 0 0
itens de dados obtidos para cada conjunto de fotos.
Nesse estudo, verificaram-se alguns pontos a destacar. Em primeiro lugar, foi
feita uma distino entre acordo na codificao e teste da qualidade do sistema de
categorizao. Alm disso, o teste de acordo na codificao foi efetuado tanto
entre codificadores como intracodificadores. Essa uma nova possibilidade a ser
explorada a partir do uso mais extensivo do equipamento de video-teipe em
estudos observacionais.
De fato, uma possvel soluo para a avaliao da fidedignidade do
observador o uso exclusivo da aferio do acordo intra-observador, em duas
codificaes separadas por um intervalo de tempo do mesmo teipe. Isso foi feito
por Marturano (1978), em um estudo descritivo do comportamento de crianas de
pr-escola em sala de aula. Nesse trabalho, o estudo de fidedignidade abrangeu um
teste do catlogo de comportamentos, atravs do acordo entre observadores na
utilizao do mesmo, e uma avaliao da estabilidade do pesquisador na utilizao
desse catlogo para a codificao do comportamento observado atravs do videoteipe. Essa avaliao de estabilidade foi realizada levando-se em conta que todas
as codificaes das sesses foram realizadas por um mesmo pesquisador.
Calculou-se, ento, a proporo de variao na codificao da mesma fita, a
210

Psicol., Teori., Pesqui., Braslia, V. 1 N. 3 p. 205-214 - Set-Dez. 1985

intervalos de 48 horas e de seis meses da codificao original, obtendo-se valores

considerados satisfatrios. Desse modo, apresenta-se uma possibilidade de o
pesquisador atuar sozinho na anlise dos dados e aferir sua preciso no registro de
seu catlogo de comportamentos. Note-se que o pesquisador s utilizou o clculo
do acordo entre observadores para aferir inicialmente os itens do catlogo.
A guisa de concluso, a partir de todas as consideraes feitas, sugere-se que
a avaliao da fidedignidade do observador seja pensada pelo pesquisador de
modo a estar relacionada especificamente a seu objetivo de estudo e s
caractersticas especficas de seu projeto de trabalho. Algumas sugestes so
apresentadas a seguir;
a) Estudos preliminares, de caracterizao de um fenmeno, podem se
beneficiar mais de discusses informais entre pesquisadores do que de testes
formais de fidedignidade. Uma vez formalizados os critrios para delimitao de
unidades e estabelecido um sistema de categorias, deve-se passar seleo de
uma tcnica adequada de avaliao da fidedignidade do observador.
b) Estudos em que um observador o principal codificador do comportamento podem ter avaliaes de fidedignidade atravs de vrias tcnicas, entre as
quais pode-se propor a avaliao do acordo entre observadores, em que o
observador convidado um pesquisador experimentado que efetua alguns testes
de acordo, tendo tido contato com o sistema de categorias utilizadas nesse estudo
apenas por escrito. Outra possibilidade, quando se conta com gravaes espordicas ou sistemticas em video-teipes, a avaliao da estabilidade desse
observador ao longo do tempo, na codificao do mesmo teipe.
c) Projetos de pesquisa que envolvam grupos de observadores para a coleta
de dados tero necessariamente de contar com um sistema de aferio da preciso
de cada um desses observadores. Na elaborao desse sistema de aferio,
dever-se- levar em conta a literatura que aponta para diferentes fatores que afetam
os ndices de acordo entre observadores. Esse sistema de aferio no indicar
necessariamente a adequao do sistema de categorias utilizado. Entretanto, a
anlise diferenciada dos ndices de acordo para diferentes categorias poder
fornecer elementos para a reviso do sistema ou para o treino diferenciado de
algumas categorias em que os observadores apresentem maior dificuldade.
d) O teste do sistema de categorias, conforme foi discutido, pode receber
contribuies dos dados obtidos a partir do teste de acordo entre observadores
mas no deve se confundir com este, uma vez que preciso levar em conta,
tambm, o risco de observadores com alto ndice de acordo estarem reagindo a
uma definio implcita da categoria, que no coincide necessariamente com a
definio explcita. A soluo proposta por Fisch et al. (1983) parece muito boa: a
partir do registro codificado, algum reproduz o comportamento e este codificado
de acordo com o mesmo sistema. Comparam-se, a seguir, as duas codificaes.
Talvez no seja to fcil representar certos tipos de comportamentos, da mesma
forma que posturas, como foi feito no estudo citado. Entretanto, talvez seja til
tentar a execuo dessa e de outras propostas com o objetivo explcito de teste do
sistema de categorias.
Verifica-se, ento, que a questo da fidedignidade do observador pode ser
trabalhada de vrios modos, e que essa discusso tem sido implementada nos
ltimos anos. O importante reter o significado mais amplo do termo fidedignidade
e estabelecer formas compatveis com os objetivos de cada trabalho para lidar com
a questo da avaliao da fidedignidade do observador.

Psicol., Teori., Pesqui., Brasilia, V . 1 N. 3 p. 205-214 - Set.-Dez. 1985

211

REFERNCIAS
BAER, D. M. (1977). Reviewer's comment: just because it's reliable doesn't mean
that you can use it. Journal of Applied Behavior Analysis, 10, 1 1 7 - 1 1 9 .
BAER, D. M., WOLF, M. M., & RISLEY, T. R. (1968). Some current dimensions of
applied behavior analysis. Journal of Applied Behavior Analysis, 1, 9 1 - 9 7 .
BIJOU, S. W., PETERSON, R. F., & AULT, M. (1968). A method to integrate
descriptive and experimental field studies at the level of data and empirical
concepts. Journal of Applied Behavior Analysis, 1, 1 7 5 - 1 9 1 .
BIRKIMER, J. C., & BROWN, J. H. (1979). A graphical judgmental aid which
summarizes obtained and chance reliability data and helps assess the
believability of experimental effects. Journal of Applied Behavior Analysis, 12,
523-533(a).
BIRKIMER, J. C, & BROWN, J.H. (1979). Back to basics: percentage agreement
measures are adequate, but there are easier ways. Journal of Applied Behavior
Analysis, 12, 535-543(b).
BLURTON JONES, N. (1972). Characteristics of ethological studies of human
behaviour. Em N. Blurton-Jones. (Ed.). Ethological studies of child behaviour.
Cambridge: Cambridge University Press.
CARO, . -, ROPER, R., YOUNG, M., & DANK, G. R. (1979). Inter-observer
reliability. Behaviour. LXIX, 3-4, 3 0 3 - 3 1 5 .
FERREIRA, M. R. (1984). O apego e as reaes da criana separao da me:
uma reviso bibliogrfica. Cadernos de Pesquisa, 48, 3-19.
FISCH, H., FREY, S., & HIRSBRUNNER, H. (1983). Analyzing nonverbal behavior in
depression, Journal of Abnormal Psychology, 92 (3), 3 0 7 - 3 1 8 .
HARTMANN, D. P. (1977). Considerations in the choice of inter-observer reliability
estimates.Journal of Applied Behavior Analysis, 10, 1 0 3 - 1 1 6 .
HAWKINS, R . P . , & D 0 T S 0 N , V . A. (1975). Reliability scores that delude: an Alice in
Wonderland trip through the misleading characteristics of inter-observer
agreement scores in interval recording. Em E. Ramp, & G. Semb (Ed.). Behavior
analysis: areas of research and application, Englewood Cliffs, N. Jersey:
Prentice-Hall.
HINDE, R. A. (1966). Animal behaviour. N. York: McGraw-Hill.
HOPKINS, B. L , & HERMANN, J. A. (1977). Evaluating inter-observer reliability of
interval data. Journal of Applied Behavior Analysis, 10, 121 -126.
JOHNSON, S. M.,& BOLSTAD, 0. D. (1973). Methodological issues in naturalistic
observation: some problems and solutions for field research. Em L. A.
212

Psicol., Teori., Pesqui., Brasilia, V. 1 N. 3 p. 205-214 - Set.-Dez. 1985

Hamerlynck, L. . Handy, & E. J. Mash (Eds.). Behavior change: methodology,

concepts, and practice. Champaign, Illinois: Research Press.
KAZDIN, A. E. (1977). Artifact, bias and complexity of assessment: the ABCs of
reliability. Journal of Applied Behavior Analysis, 10, 141-1 50.
KRATOCHWILL, T. R., & WETZEL, R. J. (1977). Observer agreement, credibility,
and judgment: some considerations in presenting observer agreement data.
Journal of Applied Behavior Analysis, 10, 133-139.
LEACH, G. M. (1977). A comparison of the social behaviour of some normal and
problem children. Em N. Blurton-Jones (Ed.). Ethological Studies of Child
Behaviour. Cambridge: Cambridge University Press.
MARTURANO, E. M. (1978). Um mtodo para a observao e anlise do
comportamento da criana em sala de aula. Psicologia, 4 (2), 3 7 - 7 3 .
MARTURANO, E. M. (1979). Caractersticas do comportamento no jardim da
infncia: l-repertrio bsico. Psicologia, 5 (1), 69-89.
MARTURANO, E. M., BERTOLDO, A. A., & CAMELO, A. L. P. (1982). Estudo
descritivo do intercmbio verbal em sala de aula atravs da anlise de
contingncia - uma contribuio metodolgica. Psicologia, 5 ( 3 ) , 19-36.
MICHAEL J. (sem data). Characteristics of a good definition. Apostila mimeografada para distribuio interna na American University.
PIERON, H. (1966). Dicionrio de Psicologia. Traduo de Cullinan, D. ., do
original francs de 1 9 5 1 . Rio de Janeiro: Globo.
RAMP, E., & SEMB, G. (Eds.). (1975). Behavior analysis: areas of research and
application. Englewood Cliffs, N. Jersey: Prentice-Hall.
RICHARDS, M. P. M., & BERNAL, J. F. (1972). An observational study of motherinfant interaction. Em N. Blurton-Jones (Ed.). Ethological Studies of Child
Behaviour. Cambridge: Cambridge University Press.
SCHERER, K. R., & EKMAN, P. (1982). Handbook of methods in nonverbal behavior
research. Cambridge: Cambridge University Press.
SILLAMY, N. (1 980). Dictionnaire encyclopedique de Psychologie. Paris: Bordas.
SMITH, P. K.,& CONNOLLY, K. (1972). Patterns of play and social interaction in preschool children. Em N. Blurton-Jones (Ed.). Ethological Studies of Child
Behaviour. Cambridge: Cambridge University Press.
WARREN, H. (1934). Dictionary of Psychology. Boston: Houghton Mifflin.
W I L D M A N , B. G., & ERICKSON, M. T. (1977). Methodological problems in beha
vioral observation. Em J. D. Cone, & R. P. Hawkins (Eds.). Behavioral as
sessment: New directions in clinical psychology. N. York: Brunner, Mazel.
Psicol-, Teori., Pesqui., Brasilia, V . 1 N . 3 p. 205-214 - Set.-Dez. 1985

213

W O L M A N , . . (1973). Dictionary of behavioral science. N. York: Van Nostrand

Reinhold.
YELTON, A. R. (1979). Reliability in the context of the experiment. Journal of
Applied Behavior Analysis,
12, 5 6 5 - 5 6 9 .

Artigo recebido em setembro de 1985.

214

Psicol., Teori., Pesqui., Braslia, V. 1 N. 3 p. 2 0 5 - 2 1 4 - Set.-Dez. 1985