Sei sulla pagina 1di 14

Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira

Nota Tcnica Daes/Inep n 35/2016

Braslia, 27 de maio de 2016.

Assunto: Estudo de viabilidade tcnica para mudana na metodologia de


clculo do ndice Geral de Cursos Avaliados da Instituio (IGC)

I- Introduo

A presente Nota Tcnica, elaborada pela equipe tcnica vinculada


Coordenao Geral de Controle da Qualidade da Educao Superior (CGCQES) da
Diretoria de Avaliao da Educao Superior (Daes), do Instituto de Estudos e
Pesquisas Educacionais Ansio Teixeira (Inep), responsvel pela formulao,
reviso, clculo e divulgao dos Indicadores de Qualidade da Educao Superior,
tem por finalidade tratar da alterao da forma de clculo do ndice Geral de Cursos
Avaliados da Instituio (IGC) referente ao ano de 2015.

O IGC foi institudo pela Portaria Normativa n 12, de 5 de setembro de


2008 e regulamentado pela Portaria Normativa n 40, de 12 de dezembro de 2007,
republicada em 2010, que consolida disposies sobre indicadores de qualidade,
entre outras disposies.

O clculo do IGC feito a partir da mdia ponderada das notas


contnuas de Conceitos Preliminares de Curso (CPC) dos cursos de graduao e
das notas Capes1 de programas de ps-graduao stricto sensu da Instituio de
Educao Superior (IES). A ponderao feita a partir das matrculas dos

1
Coordenao de Aperfeioamento de Pessoal de Nvel Superior.

SIG Quadra 04, Lote 327 Cobertura Ala B - Edifcio Villa Lobos CEP: 70.610-908 Braslia-DF 1
Tel: (61) 2022-3420 | www.inep.gov.br
Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira

estudantes nos referidos nveis de ensino (graduao, mestrado e doutorado).

Desde sua introduo como indicador de qualidade da educao


superior, o IGC vem sofrendo reiteradas crticas por parte da comunidade
acadmica em geral, que sero apontadas mais adiante nesta Nota Tcnica.

No sentido de atender ao anseio da comunidade pelo aprimoramento


do modelo de clculo, foi criado o Grupo de Estudos Sobre Indicadores da Educao
Superior (GEIES) por meio da Portaria Inep n 206, de 26 de agosto de 2013, cujo
objetivo atuar junto ao Inep na avaliao dos indicadores de qualidade da
educao superior, bem como propor a criao de novos indicadores. Este grupo
composto por um grupo tcnico de destacados especialistas em avaliao da
educao superior no pas.

Paralelamente ao trabalho do GEIES, por iniciativa do Inep, foram


contratados dois consultores2 com recursos do Programa das Naes Unidas para o
Desenvolvimento (PNud). Os consultores tiveram como misso revisar os modelos
utilizados e propor novos indicadores que atendessem as necessidades atuais de
avaliao da educao superior no pas.

A partir dos produtos apresentados pelo consultor Prof. Dr. Jorge Luiz
Bazn, contratado especificamente para desenvolver estudos para o aprimoramento
do IGC, o Inep e o GEIES analisaram e testaram a viabilidade da implantao dos
modelos propostos.

Finalmente, aps as anlises dos produtos entregues pelo consultor,


optou-se pela adoo de um modelo que foi utilizado para o do IGC de 2014, como
consta na Nota Tcnica Daes/Inep n 59/2015.

II - Modelo de clculo do IGC de 2007 a 2013

O modelo de clculo do IGC utilizado em suas edies de 2007 a 2013


dado a seguir.
2
Jorge Luis Bazn Guzmn, Doutorado em Estatstica pela Universidade de So Paulo (2005), Projeto BRA
04/049, Edital 2014-009 Contrato PNud n. 2014/000312; Francisco Louzada Neto, PhD em Estatstica pela
Universidade de Oxford (1998), sob o contrato PNud n 2014/000318.

SIG Quadra 04, Lote 327 Cobertura Ala B - Edifcio Villa Lobos CEP: 70.610-908 Braslia-DF 2
Tel: (61) 2022-3420 | www.inep.gov.br
Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira

( +5) ( +10)
= . + (1 ) + (1 )(1 ) (1)
2 3

a) Conceito mdio de graduao


= =1

(2)

Onde,

GIES o conceito mdio de graduao da IES;

nG o nmero total de unidades de observao da IES no trinio de


referncia para os quais haja CPC;

CPCj o CPC contnuo da unidade de observao j da IES;


njG
j = a proporo de matriculados da unidade de observao j;
TG

njG o nmero de matriculados da unidade de observao j; e

TG o total de matriculados das unidades de observao da IES no


trinio de referncia para os quais haja CPC.

b) Conceito mdio de mestrado


= =1

(3)

MIES o conceito mdio de mestrado da IES a partir da nota trienal da


Capes;

nM o nmero total de programas de mestrado da IES;

Mj a nota do programa de mestrado j da IES;


njM
j = a proporo de matriculados no programa de mestrado j da
TM

SIG Quadra 04, Lote 327 Cobertura Ala B - Edifcio Villa Lobos CEP: 70.610-908 Braslia-DF 3
Tel: (61) 2022-3420 | www.inep.gov.br
Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira

IES;

njM o nmero de matriculados no programa de mestrado j da IES; e

TM o total de matriculados nos programas de mestrado da IES para


os quais haja nota Capes.

Obs.: As notas dos programas de mestrado (Mj ) fornecidas pela Capes


sofrem um ajuste para serem compatibilizadas com as notas do IGC. Aqui, as notas
maiores do que 5 (cinco) sero consideradas como sendo iguais a 5 (cinco).

c) Conceito mdio de doutorado


= =1

(4)

DIES o conceito mdio de doutorado da IES a partir da nota trienal da


Capes;

nD o nmero total de programas de doutorado da IES;

Dj a nota do programa de doutorado j da IES;


njD
j = a proporo de matriculados no programa de doutorado j da
TD

IES;

njD o nmero de matriculados no programa de doutorado j da IES; e

TD o total de matriculados nos programas de doutorado da IES para


os quais haja nota Capes.

Obs.: As notas dos programas de doutorado (Dj ) fornecidas pela Capes


sofrem um ajuste para serem compatibilizadas com as notas do IGC. Neste caso,
deve-se subtrair 2 unidades da nota Capes.

d) Pesos do IGC

SIG Quadra 04, Lote 327 Cobertura Ala B - Edifcio Villa Lobos CEP: 70.610-908 Braslia-DF 4
Tel: (61) 2022-3420 | www.inep.gov.br
Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira


= ,0 1 (5)
+ +


= ,0 1 (6)
+

a proporo de graduandos em relao ao total de matrculas da


IES nos diferentes nveis de ensino (graduao, mestrado e doutorado).

a proporo de mestrandos em relao ao total de matrculas de


ps-graduao stricto sensu da IES;

TG o total de matriculados de graduao das unidades de observao


da IES no trinio de referncia para os quais haja CPC; e

TME o nmero de mestrandos em termos de graduandos equivalentes


da IES;

TDE o nmero de doutorandos em termos de graduandos


equivalentes da IES.

Obs.: As matrculas dos programas de mestrado e de doutorado so


transformadas em termos de graduandos equivalentes. O termo graduandos
equivalentes corresponde ao resultado da multiplicao do nmero de matrculas
dos programas de ps-graduao por um peso, que ser atribudo conforme a nota
do programa, como apresentado na Quadro 2, mais adiante no texto.

e) Frmula alternativa para o IGC

A partir de manipulaes algbricas do modelo apresentado acima, foi


sugerida outra apresentao, na qual surge um termo 0 , que no est associado a
nenhum dos conceitos mdios (graduao, mestrado ou doutorado), sendo
entendido, portanto, como um intercepto. O modelo passaria a ser dado pela
expresso a seguir.

SIG Quadra 04, Lote 327 Cobertura Ala B - Edifcio Villa Lobos CEP: 70.610-908 Braslia-DF 5
Tel: (61) 2022-3420 | www.inep.gov.br
Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira

= 0 + + + (7)

Onde,

5(1) 10(1)(1)
0 = + , 0 0 (8)
2 3


= = , 0 1 (9)
( + + )


= , 0 1 (10)
2( + + )


= , 0 1 (11)
3( + + )

Observe-se que os termos das expresses j foram definidos


anteriormente.

III - Problemas no modelo atual do IGC

O primeiro problema apontado pelos especialistas da rea de


avaliao educacional o que surge a partir da tentativa de compatibilizao entre
as escalas da Capes e do Inep.

No modelo do IGC que foi usado at 2013, as notas dos programas de


ps-graduao so reescalonadas a partir dos seguintes componentes da equao
( + 5) ( + 10)
1 acima e para ficarem compatveis com as 5 (cinco) faixas
2 3
do IGC.

Convm esclarecer que para a Capes as notas so atribudas ao


programa. Assim, se o programa possui apenas o mestrado, as notas variam de 3
(trs) a 5 (cinco), contudo se o programa contm mestrado e doutorado as notas

SIG Quadra 04, Lote 327 Cobertura Ala B - Edifcio Villa Lobos CEP: 70.610-908 Braslia-DF 6
Tel: (61) 2022-3420 | www.inep.gov.br
Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira

variam de 3 (trs) a 7 (sete).

Temos, no quadro abaixo, os resultados do reescalonamento.

Quadro 1: Resultado da converso das notas dos programas de mestrado e


doutorado at 2014

Mestrado Doutorado
Nota Capes Nota Inep Nota Capes Nota Inep
3 4 3 3,7
4 4,5 4 4,0
5 5 5 4,3
6 5 6 4,7
7 5 7 5
Fonte: Inep/Daes

A partir do exame do quadro acima, tem-se que aps o processo de


reescalonamento das notas da Capes para as notas do Inep, observa-se um
aumento nas notas dos programas de mestrado com notas Capes 3 e 4, em
contraste com uma reduo nas notas dos programas de doutorado com nota Capes
a partir da nota 4, o que provoca uma supervalorizao do primeiro em relao ao
segundo nestas faixas.

Nota-se outro efeito deste processo, que a pequena diferenciao


entre os nveis de excelncia dos programas de doutorado, aqueles que tm nota da
Capes 6 e 7, pois entre eles h uma diferena de apenas 0,3.

Outro problema apontado pela comunidade cientfica o que surge a


partir da ponderao do nmero de matrculas nos programas de ps-graduao.

No modelo atual do IGC as matrculas dos programas de ps-


graduao recebem um peso maior de acordo com a nota do programa, conforme
quadro abaixo.

SIG Quadra 04, Lote 327 Cobertura Ala B - Edifcio Villa Lobos CEP: 70.610-908 Braslia-DF 7
Tel: (61) 2022-3420 | www.inep.gov.br
Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira

Quadro 2: Resultado dos pesos das matrculas dos programas de mestrado e


doutorado at 2014 de acordo com a nota Capes

Mestrado Doutorado
Nota Capes Matrcula Inep Nota Capes Matrcula Inep
3 1 3 1
4 2 4 2
5 3 5 3
6 3 6 4
7 3 7 5
Fonte: Inep/Daes

A quantidade de matrculas nos programas de ps-graduao stricto


sensu tem um peso diferente em relao ao dado graduao.

Neste quadro, os pesos dos programas de mestrado variam de 1 a 3 e


o dos programas de doutorado variam de 1 a 5. Esta caracterstica da ponderao
dos programas de doutorado compensa, em certa medida, a questo da pequena
diferenciao entre os programas de excelncia da Capes.

Obtm-se o valor equivalente das matrculas na ps-graduao ao


multiplicarmos o nmero de alunos do programa pelo peso da matrcula no Inep.
Assim, em casos extremos, quando a quantidade de estudantes de ps-graduao
grande e a nota do programa alta, teramos uma supervalorizao deste
componente no clculo do IGC, levando a IES a ter uma nota de IGC alta, ainda que
os cursos de graduao tivessem apresentado resultados insatisfatrios.

IV - Descrio e anlise das propostas do consultor

Buscando dar uma resposta s questes apresentadas, o consultor


apresentou uma srie que propostas de modelos que poderiam ser utilizados; todas

SIG Quadra 04, Lote 327 Cobertura Ala B - Edifcio Villa Lobos CEP: 70.610-908 Braslia-DF 8
Tel: (61) 2022-3420 | www.inep.gov.br
Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira

com suas caractersticas, vantagens e desvantagens.

Para a realizao dos testes visando observar o feito das novas


propostas de modelos em comparao com o modelo anterior do IGC, foram
utilizados dados dos conceitos mdios de graduao, mestrado e doutorado dos
anos de 2011, 2012 e 2013. Os dados das matrculas foram obtidos a partir do
censo da educao superior e da Capes, tambm no mesmo perodo.

Convm observar que qualquer comparao entre os valores do IGC


produzidos pelos modelos propostos pelo consultor e os valores produzidos pelo
modelo utilizado at 2014 apresentar, inevitavelmente, movimentaes nos valores
do IGC das IES, hora diminuindo de faixa, hora aumentando.

Proposta 1: Conceito mdio de graduao da IES

1 = (12)

Este modelo encontra justificativa no fato de que atualmente para cerca


de 86% das IES o IGC calculado utilizando apenas o conceito de graduao, pois
estas no possuem programas de ps-graduao stricto sensu.

A remoo dos componentes da frmula referentes aos programas de


ps-graduao, expe os 14% das IES restantes, que possuem ps-graduao, a
uma possvel queda de faixa de IGC; lembrando que algumas destas instituies
so tidas nacionalmente como referncia de qualidade e produo cientfica.

Outra crtica que se faz ao modelo que esta mudana na concepo


do IGC contraria parte da legislao3 dedicada a este indicador, uma vez que nela
est prevista a utilizao de graduao e de ps-graduao. Outro ponto a
considerar que a questo de fundo, a equalizao entre as notas da graduao,
dadas pelo Inep, e as da ps-graduao, dadas pela Capes, no foi abordada nesta
proposta.

3
Art. 33-B, 2, II e III da Portaria Normativa n 40, de 12 de dezembro de 2007, em sua atual redao.

SIG Quadra 04, Lote 327 Cobertura Ala B - Edifcio Villa Lobos CEP: 70.610-908 Braslia-DF 9
Tel: (61) 2022-3420 | www.inep.gov.br
Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira

Proposta 2: Conceito ponderado mdio da IES

2 = + + (13)

Onde, + + = 1.

Esta sugesto do consultor retira o intercepto do modelo apresentado


na frmula 7. O fato de este indicador no precisar de um intercepto pode ser visto
como uma possvel vantagem, uma vez que este pode ser facilmente explicado
como uma mdia ponderada de conceitos de graduao, mestrado e doutorado.

Tal qual a proposta anterior, esta proposta no aborda a questo da


equalizao entre as escalas do Inep e a da Capes conforme o Quadro 1.
Reiterando que, a manuteno do clculo como estava at 2014 leva a distores,
pois o modo de clculo anterior valoriza, em algumas faixas de valores, o mestrado
em detrimento do doutorado.

Uma das consequncias de tal procedimento, retirar um componente


da frmula original, a diminuio dos valores do IGC, o que em 2013 causaria, em
4,2% das instituies, uma queda de faixa do seu IGC.

Proposta 3: Conceito ponderado padronizado dos conceitos mdios da IES

3 = ( ) + ( ) + ( + 2) (14)

Onde, bG + bM + bD = 1 e Z(. ) corresponde padronizao dos


valores dos conceitos mdios.

Esta proposta busca corrigir o problema da compatibilizao entre as


escalas, atravs da padronizao prvia de cada um dos componentes de conceitos
mdios de graduao, mestrado e doutorado antes de se realizar quaisquer
operaes entre eles. Desta forma, pode-se manter o conceito de doutorado com o
valor original dado pela Capes, que vai at 7, tornando-se, desta forma,

SIG Quadra 04, Lote 327 Cobertura Ala B - Edifcio Villa Lobos CEP: 70.610-908 Braslia-DF 10
Tel: (61) 2022-3420 | www.inep.gov.br
Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira

desnecessrio que se diminuam 2 unidades daquele valor.

Uma vez que os valores resultantes da operao acima se comportam


segundo uma distribuio aproximadamente normal, podem-se usar diferentes
formas para colocar tais valores em uma escala de 1 a 5. Optou-se por utilizar a
forma tradicionalmente utilizada no Inep, dada pela seguinte frmula:

3 +|min(3 )|
3 = 5 (15)
max(3 )+|min(3 )|

A padronizao prvia e o reescalonamento posterior tm como


caracterstica tornar zero as menores notas, tanto as de graduao quanto as de
ps-graduao.

Do ponto de vista terico esperado que as IES que possuam


somente graduao sejam menos afetadas negativamente do que as que as
instituies que possuam programas de ps-graduao com as notas mnimas
aceitas pela Capes.

No ano de 2013, o ndice proposto beneficiaria 27,9 % das IES (545


IES), pois estas passariam para faixas de IGC maiores do que as obtidas com o
clculo do IGC utilizado at 2014. Este mesmo modelo prejudicaria apenas 0,5 %
(10 das 1948 IES) ao rebaixa-las de faixa.

Proposta 4: Conceito ponderado mdio da IES usando uma verso do


Conceito mdio na escala da CAPES


4 = ( + 2) + + (16)

Onde, + + = 1.

Este modelo dispensa correes nas notas da Capes de mestrado e


doutorado, mantendo-se seus valores originais. Atravs da soma do algarismo 2 a

SIG Quadra 04, Lote 327 Cobertura Ala B - Edifcio Villa Lobos CEP: 70.610-908 Braslia-DF 11
Tel: (61) 2022-3420 | www.inep.gov.br
Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira

cada valor do conceito mdio de graduao, consegue-se adequar a escala usada


no Inep, que varia de 1 a 5, escala utilizada na Capes, que varia de 3 a 7.

Tais quais os modelos alternativos propostos anteriormente, este


tambm dispensa o uso de um intercepto o que permite interpretar o modelo como
sendo uma mdia ponderada.

Uma vez realizados os clculos utilizando o modelo proposto, deve-se


proceder a um reescalonamento dos valores obtidos para garantir que estes possam
ser expressos nas faixas que variam de 1 a 5. Para tal, prope-se o uso da
expresso a seguir; possvel, pois os valores mnimos so positivos:

4 (4 )
42 = 5 (17)
(4 )(4 )

Uma das consequncias observveis do uso da equao proposta


uma mudana da faixa atual para a faixa superior, em sua maioria (507 de 1948),
mas tambm ocorre o evento contrrio, um decrscimo no IGC faixa de 2% das IES
(40 de 1948).

No modo de converso entre as escalas mostrado na Quadro 1


dizemos que o 5 no Inep igual ao 7 da capes, neste modelo proposto fazemos o
contrrio: dizemos que o 7 na capes seria igual ao 7 no Inep.

V- Modelo de clculo do IGC referente a 2014

As propostas apresentadas pelo consultor foram apreciadas tanto pela


equipe tcnica do Inep quanto pelo GEIES e optou pela no adoo de nenhum dos
modelos propostos pelo consultor.

Decidiu-se por manter o modelo antigo, o da expresso 1, com uma


modificao sugerida internamente, que trata a questo da equalizao das notas do
mestrado e do doutorado, a saber:

SIG Quadra 04, Lote 327 Cobertura Ala B - Edifcio Villa Lobos CEP: 70.610-908 Braslia-DF 12
Tel: (61) 2022-3420 | www.inep.gov.br
Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira

= + + (18)

Onde,


= , 0 1 (19)
( + + )


= , 0 1 (20)
( + + )


= , 0 1 (21)
( + + )

Satisfazendo,

++ =1 (22)

Aqui,

a proporo de matrculas na graduao;

a proporo relativa s matrculas nos programas de Mestrado da


IES; e

a proporo relativa s matrculas nos programas de Doutorado da


IES.

As converses das notas atribudas pela Capes aos programas de


mestrado e de doutorado so feitas previamente conforme o Quadro 3, a seguir,
considerando apenas programas com nota Capes maior ou igual a 3.

SIG Quadra 04, Lote 327 Cobertura Ala B - Edifcio Villa Lobos CEP: 70.610-908 Braslia-DF 13
Tel: (61) 2022-3420 | www.inep.gov.br
Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira

Quadro 3: Converso das notas dos programas de mestrado e de doutorado


atribudas pela Capes para fins de clculo do IGC

Nota do Programa
Nota Capes do
Para Clculo do
Programa
IGC
3 4
4 4,5
5 5
6 5
7 5
Fonte: Inep/Daes

A nota tcnica DAES n 59/2015, que trata do Clculo do ndice Geral


de Cursos Avaliados da Instituio referente ao ano de 2014, fornece maiores
detalhes quanto ao procedimento de clculo do IGC.

Marcelo Pardellas Cazzola


Coordenador de Instrumentos e Medidas Educacionais

De acordo,

Stela Maria Meneghel


Coordenadora Geral de Controle de Qualidade da Educao Superior

Sueli Macedo Silveira


Diretora de Avaliao da Educao Superior - Substituta

SIG Quadra 04, Lote 327 Cobertura Ala B - Edifcio Villa Lobos CEP: 70.610-908 Braslia-DF 14
Tel: (61) 2022-3420 | www.inep.gov.br

Potrebbero piacerti anche