Modelos de Avaliação

Doutoramento em Formação de Professores

Carlos Barreira
cabarreira@fpce.uc.pt
Funções da Avaliação
Critérios da Avaliação
Donald Kirkpatrick
 Donald Kirkpatrick
Modelo hierárquico de resultados da formação

n  Visa medir a qualidade de uma intervenção formativa

a partir da análise de quatro níveis de avaliação:

n  Nível 1 - Avaliação das reações dos participantes

n  Nível 2 - Avaliação das aprendizagens dos participantes

n  Nível 3 - Avaliação dos comportamentos dos participantes

n  Nível 4 - Avaliação dos resultados da formação

Modelo multinível
 American Society for Training and
Development

n  Segundo a ASTD (2010):

n  78% das organizações avaliam a formação ao nível da

satisfação dos formandos - nível 1 reacção;

n  Somente 32% avaliam o nível 2, aprendizagem;

n  9% o nível 3, comportamento;

n  6% o nível 4, resultados

n  Assim, os níveis mais interessantes são os menos utilizados

 Donald Kirkpatrick (2010)
Pressupostos do modelo hierárquico de resultados da formação

n  Cada nível é importante e tem impacto no nível

seguinte

n  Conforme se avança nos níveis, o processo torna-se

mais complexo

n  Nenhum dos níveis deve ser ignorado, por considerar o

nível seguinte mais importante
 Modelo multinível de D. Kirkpatrick
Nível 1
Avaliação das
reações
Os participantes estão
satisfeitos com o curso?
-Recolher as reações dos
indivíduos sobre determinados
aspectos da formação
(formadores, métodos,
objetivos, conteúdos,
instalações, apoio logístico...)
-Detectar disfuncionalidades
no sistema formativo
-Regular as práticas, tendo em
conta as necessidades dos
participantes
Nível 2
Avaliação das
aprendizagens
Os participantes
aprenderam com base nos
objetivos do curso?
-Verificar se estão a adquirir as
aprendizagens
-Proporcionar feedback sobre
o modo como estão a evoluir
na (auto)aprendizagem
-Permitir a reformulação da
ação
Nível 3 Nível 4
Avaliação dos Avaliação dos
comportamentos Resultados
Quais as mudanças Quais os impactes da
v e r i f i c a d a s n o s formação nos resultados da
comportamentos dos
organização?
participantes quando
transferem para o contexto
de trabalho o que
aprenderam na formação?
-Avaliar a variação de
indicadores concretos
previamente estabelecidos
-Sinalizar com rigor antes da que resultaram da análise de
f o r m a ç ã o q u e necessidades
comportamentos se
pretendem alterar...
-Determinar o impacte no
desempenho dos participantes
 Modelo multinível de D. Kirkpatrick
Nível 1
Avaliação das
reações
-Reações afetivas, de
satisfação
-Reações instrumentais, de
utilidade
-Reações de dificuldade, da
aprendizagem
-Inquéritos por questionário
-Realização de focus group
-Inquérito por entrevista
-Registo de comentários em
fóruns de discussão
-Realização de observações
de comportamentos
Nível 2
Avaliação das
aprendizagens
Abordagem mais completa:
-Recolher dados antes,
durante e após a formação
-Aprofundar conhecimentos
e demonstração prática de
competências
-Testes escritos e orais
-Role playing
-Elaboração de projetos
-Estudos de caso
-Aplicação de instrumentos de
auto-avaliação
-Realização de observações
-Elaboração de portefólios
-Elaboração de mapas
conceptuais
Nível 3
Avaliação dos
comportamentos
Averiguar em que medida os
formandos transferem para
as situações de trabalho as
aprendizagens adquiridas
Va r i á v e i s q u e p o d e m
influenciar a transferência:
-Características dos sujeitos
-Design da intervenção
-Contexto organizacional
-Entrevistas
-Aplicação do instrumento
L e a r n i n g Tr a n s f e r S y s t e m
Inventory (LTSI)
-Construção de um plano de
intervenção específico
-Observações
-Auto-avaliação
Nível 4
Avaliação dos
Resultados
Impactes nos indicadores de
desempenho da organização
(exemplos):
-Mais reuniões de trabalho em
equipa entre professores
-Melhoria no sucesso escolar dos
alunos
-Aumento da procura da escola
por parte dos pais e alunos
-Análise dos resultados de
planos intervenção específicos
-Análise de indicadores
 Donald Kirkpatrick
Nível 3 - Avaliação da transferência

n  Variáveis que influenciam a transferência das

aprendizagens

n  Características dos sujeitos (motivação, experiência profissional,

prontidão para mudar, atitude face à formação, auto-eficácia)

n  Design da intervenção (características do projeto de mudança,

modelos pedagógicos, conteúdos, conhecimento e oportunidade para
transferir)

n  Contexto organizacional (valores e cultura, política de recursos

humanos, apoio e suporte, consequências da transferência)
 Donald Kirkpatrick
Nível 3 - Avaliar a transferência da formação

n  Características dos sujeitos

n  Competências
n  capacidade cognitiva (tempo, energia, disponibilidade mental no
trabalho para transferir)
n  experiência profissional (nível de proficiência atingido, cargo
ocupado e antiguidade na organização)

n  Factores de personalidade - satisfação com o trabalho,

crenças de auto-eficácia, atitude face à mudança

n  Variáveis motivacionais - Motivação para aprender e

motivação para transferir
 Donald Kirkpatrick
Nível 3 - Avaliar a transferência da formação

n  Concepção/design da intervenção

n  Garantir o ajustamento dos conteúdos (relevância e

aprofundamento) às exigências do público-alvo

n  Assegurar que os modelos e práticas pedagógicas permitem

aos sujeitos aprender o que se pretende que aprendam

n  Incluir conhecimentos sobre o modo de transferir a

aprendizagem para outras situações
 Donald Kirkpatrick
Nível 3 - Avaliar a transferência

n  Contexto organizacional

n  Capaz de promover a aprendizagem contínua

n  O clima facilitador de transferência é promovido através:

n  Da frequência de feedback sobre o desempenho
n  Do apoio dos pares e da organização
n  Da percepção das consequências positivas da utilização das
aprendizagens em contexto
Relação entre Questionários e Níveis
Daniel Stufflebeam (2009)
 Definição de Avaliação

A avaliação é um processo de identificação, recolha e apresentação de

informação útil e descritiva acerca do valor e do mérito das metas, da

planificação, da realização e do impacte de um determinado objecto, com o

fim de servir de guia para a tomada de decisões, para a solução dos

problemas de prestação de contas e para promover a compreensão dos

fenómenos envolvidos”
(Stufflebeam & Shinkfield, 1993: 183)
n  Nesta definição podemos encontrar os conceitos fundamentais do modelo
CIPP. Assim, a avaliação corresponde a três propósitos:

n  Servir de guia para a tomada de decisões (TD);

n  Proporcionar dados para a prestação de contas;
n  Promover a compreensão dos fenómenos envolvidos.

n  A avaliação é processo cumulativo de TD orientado por

reajustamentos constantes rumo ao aperfeiçoamento

n  Na avaliação, o critério fundamental deverá corresponder a uma

conjugação do valor (resposta às necessidades valorizadas) com o
mérito (eficiência e efiçácia).
 Modelo CIPP
Áreas fundamentais na avaliação de um programa

Context, Input, Process, Product

Avaliação de contexto - como ajuda para a definição das metas;

Avaliação de entrada - como ajuda para dar forma às propostas;

Avaliação do processo - como guia para a realização;

Avaliação do produto – ao serviço das decisões de revisão.

 Modelo CIPP de Stufflebeam
4 áreas na avaliação de um programa
Avaliação Campo focado Decisão a tomar
Contexto *Pressões do exterior que se Decisões de Planificação
Qual o estado da situação no exercem sobre o sistema
momento em que se desencadeia o
processo *Necessidades a satisfazer e Delimitação dos objectivos
ocasiões favoráveis a não perder

Inputs *Recursos disponíveis Decisão de Estruturação

O que é necessário para produzir o
estado desejado *Estratégias colocadas em prática
para se atingirem os objectivos em Delimitação dos procedimentos
resposta às necessidades

Processos *Acções colocadas em prática Decisões de Aplicação

O que fazer durante a ação para Concretização e controlo do plano
desenvolver as competências *O que se passa na realidade de ação

Produtos *Resultados obtidos pelas Decisões de Revisão

O que é obtido depois da ação estratégias postas em prática Avaliar as realizações e prosseguir,
modificar ou interromper a ação...
 Modelo CIPP de Stufflebeam
4 áreas na avaliação de um programa
Avaliação Campo focado
Contexto -Características dos participantes
-Problemas que originaram as
necessidades identificadas
-Coerência entre necessidades
sinalizadas e objectivos de aprendizagem
propostos
Inputs -Suficiência de recursos materiais e
humanos
-Medidas alternativas à intervenção
-Sinalização de eventuais entraves à
intervenção
-Adequação das estratégias formativas
Questões Orientadoras
-Que objectivos se pretendem alcançar ao
realizar o diagnóstico de necessidades?
-Que tipo de informação se obtém quando
se efectua o diagnóstico?
-De quem se obtém essa informação e
com que métodos?
-Como se processam os dados?
-Quais os critérios para seleccionar os
monitores e o público-alvo?
-Os formadores têm provas dadas na
área da intervenção?
-Qual o conhecimento, os interesses, as
atitudes e as preocupações do público-
alvo?
-Quais as estratégias mais adequadas
para se alcançar os objetivos?
 Modelo CIPP de Stufflebeam
4 áreas na avaliação de um programa
Avaliação Campo focado
Processos -Desenvolvimento da formação
-Observação de processos de
ensino-aprendizagem
• Conduta do formador
• Conduta dos participantes
• Relação entre formador e
participantes
-Sinalização de eventuais aspectos
a melhorar
Questões orientadoras
-Como está a decorrer a formação?
-Os conteúdos planificados estão a ser
desenvolvidos?
-O formador demonstra conhecimento e
competência?
-Os participantes tiveram oportunidade de
praticar (simulações)?
-Houve um equilíbrio entre as
componentes teóricas e práticas?
-Qual foi o ambiente durante a formação?
-Os conteúdos têm aplicabilidade nos
contextos?
 Modelo CIPP de Stufflebeam
4 áreas na avaliação de um programa
Avaliação Campo focado Questões orientadoras

O que muda em consequência da

Produtos formação:

Resultados da satisfação Os participantes estão satisfeitos e

consideram útil a formação?

Proporcionou conhecimentos,
Resultados face a objetivos
definidos competências, atitudes que antes
não possuíam?

Possibilitou a aplicação das

Resultados face a necessidades do
aprendizagens (melhor
contexto
desenvolvimento das tarefas, maior
motivação)?

Houve mudanças na instituição

(coesão, participação, trabalho em
equipa, resolução de conflitos)?
 Modelo CIPP

n  Segundo Roegiers (1997) o modelo CIPP teve

sucesso na avaliação da formação devido:

n  À associação entre a avaliação e a tomada de

decisão

n  À superação da avaliação reduzida aos produtos

n  À ênfase dada ao contexto

 Hadji (1994)
Modelo de “avaliação plural”

n  Remete para a dimensão pragmática e instrumental da

avaliação: para que é que serve ?

n  Destaca as diversas funções da avaliação

n  Realça a temporalidade que é inerente ao processo de

avaliação de uma acção (antes, durante e depois)
 Hadji
Funções na sequência da acção

Temporalidade Antes Durante Depois

Modalidades Diagnóstica Formativa Sumativa

Prognóstica “Progressiva” Terminal

Função Orientar Regular Verificar

Adaptar Aperfeiçoar Certificar

Centrada Nas Nos processos Nos produtos

características Nas actividades
do contexto
 Construção de dispositivos de avaliação

Posicionamento Questões de partida Orientações avaliativas

Intenções (questionar o 1- O que é que se pretende 1.1.Qual a política da

projecto de avaliação) com a avaliação? avaliação da formação?
1.2. Qual a finalidade
principal da avaliação?

Uso Social (precisar o 2. Quais as transformações 2.1. A quem se destina a

projecto de formação) desejadas? formação?
2.2. O que se pretende
concretamente com a
formação?
Orientações 3. Como recolher e tratar a 3.1. Com que instrumentos?
“técnicas” (prever os informação? 3.2. Quem avalia?
procedimentos) 3.3. Quando se avalia?
3.4. Como divulgar a
avaliação?
 Questionar-se sobre o projecto de
avaliação

n  Qual a concepção dominante de avaliação

n  Medir, apreciar, interpretar?

n  Controlar, regular, compreender?

n  Que intenção se tem ao avaliar (Para que serve?)

n  Sistema de formação
n  Processo de formação
n  Produtos da formação
 Precisar o projecto de formação

n  Finalidades – Perfil de partida

n  Transformações desejadas - relação com as

necessidades detectdas

n  Actualização de conhecimentos?
n  Competências?
n  Qualidades pessoais?
n  Atitudes?
 Prever os procedimentos

n  Determinar a informação útil

n  Explicitar como é recolhida a informação

n  Quem vai efectuar a recolha?
n  Quando?
n  Por meio de que Instrumentos?

n  Definir o quadro de interpretação dessa informação

 Hadji
O que avaliar?

n  O dispositivo e o processo formativo

n  Os efeitos da formação
 O dispositivo e o processo formativo

n  O dispositivo (em sentido lato)

n  O plano (coerência, rigor, exequibilidade)
n  Formadores (Formação? Competências? Estatuto?)
n  Selecção adequada dos formandos em função das suas
necessidades

n  O processo pedagógico (acção propriamente dita)

n  Funcionamento da acção…
n  Relacão pedagógica (escolha dos conteúdos, actividades,
métodos de trabalho, técnicas de animação e modalidades de
avaliação)
 Os efeitos da formação

n  Efeitos pedagógicos (resultados dos formandos na acção)

n  Satisfação dos formandos

n  Aprendizagens realizadas
n  Evoluções assinaláveis…

n  Impactes (consequências decorrentes da acção em contexto)

n  Mudança de práticas
n  Eficácia das práticas
 Estratégia Avaliativa

Temporalização Fases (IQF, 2006) Kirkpatrick (2010) Stufflebeam (2009)

Antes (ex-ante) •  I- Preparação da •  Avaliação de

intervenção contexto
avaliativa Como iniciar uma
formação? •  Avaliação de
•  II- Elaboração de inputs
instrumentos para
recolha de dados

Durante (on-going) •  III- Realização da Níveis 1 e 2 (reações •  Avaliação de

estratégia e aprendizagens) processo
avaliativa

•  IV- Tratamento e
análise dos dados

Depois (ex-post) •  V- Apresentação Níveis (1 e 2) 3 e 4 •  Avaliação de

dos resultados (comportamentos e produtos
resultados)
 Bibliografia

Barreira, C. (2009). Contributo dos modelos de Kirkpatrick e de Stufflebeam

para o desenvolvimento de uma estratégia avaliativa do processo
formativo. In H. Ferreira, S. Bergamo, G. Santos & C. Lima (Eds.), X
Congresso da Sociedade Portuguesa de Ciências da Educação –
Investigar, Avaliar e Descentralizar (pp.1-12). Bragança: Instituto
Politécnico.

Instituto para a Qualidade na Formação (2006). Guia para a avaliação da

formação. Lisboa: IQF (pp. 78-111).

Kirkpatrick, D. & Kirkpatrick, J. (2010). Como avaliar programas de

treinamento de equipes. Os quatro níveis. Rio de Janeiro: Editora Senac.