27 a 30/09/05, Gramado, RS

Pesquisa Operacional e o Desenvolvimento Sustentvel

COMPOSIO PROBABILSTICA E ANLISE ENVOLTRIA DE DADOS

NA AVALIAO DINMICA DE CURSOS

Annibal Parracho SantAnna

Departamento de Engenharia de Produo
Universidade Federal Fluminense
Rua Passo da Ptria, 156
24210-240 Niteri-RJ
annibal@producao.uff.br

RESUMO
Este artigo trata da avaliao de cursos de ps-graduao em Engenharia de Produo.
Compara concluses extradas da composio probabilstica de critrios com as da Anlise
Envoltria de Dados (DEA). So, tambm, confrontadas anlises baseadas apenas em
resultados com outras que contrabalanam medidas de resultados com medidas do volume de
recurso docente empregado. So considerados indicadores de evoluo ao longo do tempo
baseados no ndice de Malmquist. As variveis de resultado bsicas medem a formao de
mestres e a publicao de resultados de pesquisa. Verifica-se que, no conjunto considerado, a
abordagem probabilstica oferece um instrumento objetivo para a avaliao global do
desempenho dos cursos e, em especial, da evoluo desse desempenho com o tempo. Na
comparao com a DEA, constata-se a maior estabilidade dos ndices de Malmquist baseados
na composio probabilstica quando se adiciona anlise a varivel explicativa de recurso
empregado.

Palavras chave: apoio deciso multicritrio - probabilidade DEA.

ABSTRACT
This articles deals with the evaluation of Production Engineering graduate courses. It compares
rankings derived from the probabilistic composition of criteria with DEA efficiency scores. The
difference between analyses based only on outputs and those that counterbalance output measurements
with measurements of the volume of Faculty resource applied is investigated. Indicators of the
evolution through time based on Malmquist index are considered. The basic output variables measure
formation of M. Sc. and publication of research findings. It is demonstrated that, in the data set
studied, the probabilistic approach offers an objective tool for the global evaluation of courses
performance and, specially, of the evolution of such performance through time. In the comparison
with DEA, a larger stability of Malmquist indices based on the probabilistic composition when
explanatory input variables are added is verified.

Keywords: multicriteria decision aid probability DEA.

1. INTRODUO

Este trabalho emprega a composio probabilstica de critrios na avaliao da produo de cursos

de ps-graduao e compara classificaes geradas por este meio com escores de eficincia gerados
por meio da DEA (Charnes et alii, 1978). So calculadas medidas de eficincia relativa desses cursos e
sua evoluo ao longo do tempo. Os dados so extrados dos relatrios de 1998 a 2003 dos cursos de
doutorado e mestrado acadmico em Engenharia de Produo das universidades brasileiras,
divulgados pela CAPES (2005).
 27 a 30/09/05, Gramado, RS
Pesquisa Operacional e o Desenvolvimento Sustentvel

A composio probabilstica permite combinar objetivamente, de diversas maneiras, classificaes

segundo diferentes critrios. Caso se deseje levar em conta preferncias entre os critrios, pode-se
tratar a probabilidade de escolha segundo cada critrio como probabilidade condicional. Preferncias
entre os critrios so, entretanto, difceis de quantificar e a avaliao probabilstica propicia, tambm,
variadas formas de combinar os critrios sem atribuir antecipadamente prioridades entre eles. Por
exemplo, permite adotar um ponto de vista otimista, segundo o qual uma opo boa se boa segundo
pelo menos um dos critrios disponveis, ou uma abordagem pessimista, que exige, para a opo ser
considerada boa globalmente, que seja boa segundo todos os critrios.
No caso presente, da produo dos cursos de ps-graduao, dois atributos so considerados
bsicos, a quantidade de alunos formados e a qualidade da formao oferecida. Como no se deseja ter
por objetivos de gesto perseguir o crescimento da quantidade custa de relaxamento da qualidade ou
vice-versa, a avaliao probabilstica orientada por uma tica pessimista, de avaliar pela
probabilidade de simultaneamente otimizar quanto aos dois atributos.
Quantidade e qualidade so inicialmente medidas por meio de duas variveis objetivas de fluxo. A
medida de quantidade o nmero de mestres formados em um dado perodo e a de qualidade o
nmero de membros do corpo docente apresentando novos resultados de pesquisa nesse mesmo
perodo.
A escolha das fronteiras de referncia um importante elemento da avaliao probabilstica. A
determinao de probabilidades de escolha tem o efeito de expandir as distncias entre aquelas opes
ou objetos de avaliao que esto no extremo a que se deseja atribuir maior importncia. Um ponto de
vista progressista dar maior importncia s distncias entre os melhores desempenhos; j um ponto de
vista conservador dar maior valor s distncias entre os piores. No caso, so usados como referncia
os valores mais baixos das variveis de resultado. Isto se deve ao fato de que, para valores j elevados,
o crescimento dessas variveis perde, gradualmente, o valor. Passa a poder indicar a massificao da
atribuio do ttulo de ps-graduao ou da publicao de artigos. Assim, o esforo para elevar os
valores dessas variveis deve receber maior importncia enquanto se trata de afastar-se da fronteira
inferior e ir perdendo importncia medida que crescem os valores observados.
realizada tambm uma anlise em termos de produtividade, comparando a produo com o
volume de recurso docente empregado, medido pelo nmero de docentes no NRD6, ncleo de
referncia docente adotado pela rea de Engenharia no perodo considerado. Tambm quanto a esta
varivel, adota-se uma tica conservadora, que consiste, no caso, em considerar as probabilidades de
atingir a fronteira de maiores valores e no a de menores valores. Isto se justifica porque, abaixo de
certas dimenses, maior a importncia relativa da participao dos docentes em atividades que no
so diretamente ligadas aos resultados.
A DEA se baseia, tambm, na distncia fronteira, mas considera as distncias em termos
absolutos e sempre as fronteiras de excelncia. Para facilitar a comparao, ser aplicado neste estudo
apenas o modelo DEA-CCR, de Charnes et alii (1978), que emprega o conceito estrito de
produtividade, medida pela razo entre combinaes lineares de produtos gerados e de recursos
empregados, sem adio de constantes a essas combinaes lineares.
Na verdade, a anlise comparativa da produo relativamente dimenso do corpo docente tem,
como contrapartida do atrativo de transferir a avaliao do curso para a avaliao individual dos seus
docentes, a desvantagem de opor-se ao natural estmulo expanso das instituies bem sucedidas.
Para levar em conta o tamanho sem inibir o emprego de recursos, a avaliao probabilstica pode ser
dirigida ao acompanhamento da evoluo dos resultados ao longo do tempo. Tal acompanhamento
aqui realizado adotando o ponto de vista implcito nos ndices de Malmquist (1953), de quantificar a
evoluo de cada curso levando em conta o contexto, isto , medindo a evoluo da sua posio
relativa aos outros cursos.
Em anlises anteriores (Sant'Anna, 2003), demonstrou-se a grande homogeneidade dos cursos desta
rea, sobretudo quanto produtividade. Desta homogeneidade resulta que a classificao dos cursos
muda consideravelmente se muda o ponto de vista da avaliao. Verifica-se, tambm nos dados ora
disponveis, que a evoluo, seja das medidas de produtividade seja das medidas absolutas de
produo, oscila muito se confrontamos dados de um ano com os do ano seguinte. J quando se
consideram dados agregados de perodos mais longos, variaes acidentais so absorvidas e esta

347
 27 a 30/09/05, Gramado, RS
Pesquisa Operacional e o Desenvolvimento Sustentvel

flutuao se reduz. Por este motivo, este artigo considera perodos trienais na anlise da evoluo ao
longo do tempo.
Na seo seguinte, apresentada a estrutura bsica da composio probabilstica. Na Seo 3,
apresentado o ndice de Malmquist probabilstico. Na seo 4, se desenvolve a anlise dos cursos.
Finalmente, a Seo 5 apresenta comentrios finais.

2. PONTOS DE VISTA PROBABILSTICOS

Para comparar unidades produtivas de acordo com a produtividade, a abordagem mais empregada
atualmente a da Anlise Envoltria de Dados (DEA), desenvolvida inicialmente por Charnes et alii
(1978) com base no conceito de eficincia de Farrell (1957). A DEA compara as unidades pela
eficincia em extrair o maior agregado de produtos possvel do menor agregado de recursos utilizados.
Algumas caractersticas tornam a DEA um instrumento atraente: a eficincia medida realisticamente,
em termos de distncia aos melhores desempenhos efetivamente observados; para levar em conta que
cada unidade pode ter o seu prprio nicho de atuao, a agregao dos recursos e a agregao dos
produtos so efetuadas utilizando, para cada unidade avaliada, os pesos que lhe sejam mais favorveis;
algoritmos distintos podem ser empregados para analisar a situao em que as unidades de operao
atendem a encomendas cujo volume determinado fora do seu campo de deciso, de modo que seus
esforos para elevar a produtividade so orientados para a minimizao do volume de recursos
utilizados, e para analisar a situao oposta, em que os recursos disponveis esto fora do campo de
deciso da unidade produtiva e a produtividade dada pelo volume de produo extrada.
Em SantAnna (2002) desenvolve-se uma abordagem com estas mesmas caractersticas,
substituindo-se distncias absolutas por probabilidades de afastamento da fronteira e usando
composies probabilsticas em vez de minimax. Mais importante nesta abordagem que a precisa
atribuio de probabilidades a forma como estas probabilidades so combinadas para gerar as
medidas de eficincia. Neste sentido, ainda que a indisponibilidade de dados nos impea de modelar
estatisticamente as distribuies, podemos chegar a medidas de eficincia mais confiveis que as
extradas dos dados tratados como determinsticos.
A abordagem probabilstica, de um lado, eleva fortemente a medida de eficincia de qualquer
unidade de produo sempre que apresente desempenho extremo seja na minimizao do volume de
algum recurso seja na maximizao do volume de algum produto, mas, de outro lado, ameniza a
influncia desses pontos extremos, levando em conta o desempenho de mais variveis e de mais
unidades de observao. Enquanto a fronteira de excelncia tende a ser formada por desempenhos
raros, a comparao em todas as variveis, mesmo aquelas em que a unidade no apresente
desempenho extremo, e a comparao, no apenas com as unidades na fronteira, mas, tambm com
aquelas apresentando valores mais freqentes, torna o procedimento de avaliao mais resistente a
erros aleatrios.
Com o reconhecimento da presena de erros de medida aleatrios, os volumes de entradas e sadas
observados passam a ser tratados como estimativas de parmetros de posio de distribuies de
probabilidades. Pode-se derivar, tambm, do conjunto de valores observados, estimativas para outros
parmetros dessas distribuies.
difcil dispor de informao a priori sobre a forma da distribuio das perturbaes aleatrias e,
nas primeiras aplicaes, no comum dispor de um nmero de observaes, em cada unidade,
suficiente para, mesmo assumindo as habituais hipteses de normalidade e independncia, estimar,
com preciso satisfatria, seus parmetros de disperso. Neste trabalho se assume a hiptese clssica
de perturbaes independentes e de valores esperados nulos, com distribuio normal. Para modelar a
disperso, toma-se por base a amplitude observada. Estima-se o desvio padro das perturbaes
afetando cada varivel dividindo a amplitude do conjunto das medidas obtidas para essa varivel pela
razo, conhecida, entre o valor esperado da amplitude de uma amostra normal do tamanho observado e
o desvio padro da distribuio normal amostrada.
Diferentes medidas podem ser construdas a partir da composio das probabilidades de atingir as
fronteiras em cada varivel, conforme utilizemos os conectivos e ou ou e conforme tomemos a

348
 27 a 30/09/05, Gramado, RS
Pesquisa Operacional e o Desenvolvimento Sustentvel

fronteira inferior ou a fronteira superior como referncia. O uso de formas diferentes de exigir que se
atinja simultaneamente a maximizao de sadas e a minimizao de entradas permite avaliar os efeitos
de pequenas diferenas. Uma classificao de pontos de vista em dois eixos subjetivos facilita a
identificao dessas diferenas. Esses eixos so um eixo pessimista-otimista e um eixo conservador-
progressista. Uma composio otimista quando considera a probabilidade de atingir a fronteira de
excelncia (ou afastar-se da fronteira de pior desempenho) em pelo menos uma varivel. E pessimista
quando se baseia na exigncia de aproximao da fronteira conjuntamente, em todas as variveis. Por
outro lado, uma composio progressista quando toma como referncia a fronteira de excelncia e
conservadora quando toma como referncia a fronteira de pior desempenho.
Algebricamente, a abordagem acima desenvolvida pode ser formalizada considerando m unidades
de produo U1, ... , Um, nas quais medimos, com incerteza, volumes empregados de n entradas e
volumes produzidos de p sadas. Representemos por (ij1 , ... , ijn) e (oj1 , ... , ojp) os vetores de valores
observados para as n entradas e p sadas da unidade de produo Uj. Tratamos esses vetores como
observaes de vetores aleatrios (Ij1 , ... , Ijn) e (Oj1 , ... , Ojp). Atribumos s coordenadas desses
vetores distribuies independentes. Ao volume empregado Ij0i da i-sima entrada na unidade de
produo Uj0 atribumos uma distribuio normal de valor esperado ij0i e desvio padro RIi/d2(m) onde
RIi = mxjiji minjiji (1)
a amplitude observada para a i-sima varivel de entrada e d2(m) a razo tabelada entre o valor
esperado da amplitude da amostra normal de tamanho m e o desvio padro da distribuio amostrada.
Analogamente, ao volume produzido Ojs da s-sima sada em Uj0 atribumos uma distribuio normal
de valor esperado oj0s e desvio padro ROs/d2(m) onde
ROs = mxjojs minjojs (2)
a amplitude observada em tal varivel.
Para cada unidade de produo Uj0 e cada varivel de entrada i, sejam
Mj0j = P[Ij0i Iji, para todo j de 1 a m] (3)
a probabilidade de a referida unidade de produo maximizar a utilizao da referida varivel e
mj0i = P[Ij0i Iji, para todo j de 1 a m] (4)
a probabilidade de tal unidade de produo minimizar a utilizao da mesma varivel. Analogamente,
para as sadas.
Com esta notao, a avaliao probabilstica conservadora e pessimista da unidade Uj ser
proporcional ao produto s(1 mjs)*i(1 Mji), para s denotando produtrio com s variando ao
longo de todas as sadas e i produtrio com i variando ao longo de todas as entradas. Para facilitar a
comparao, o resultado desta operao padronizado, dividindo por uma constante de modo que
avaliao da unidade de avaliao mais alta seja sempre igual a 1.
Esta abordagem probabilstica constitui-se em um instrumento de composio de mltiplos critrios
que se aplica tanto ao caso de dois grupos de critrios, dados, no presente contexto, respectivamente,
pelos grupos das variveis de resultados produzidos e das variveis de recursos utilizados, quanto no
caso de mais de dois grupos ou no caso de todas as variveis em um mesmo grupo. Este ltimo caso
ser explorado neste trabalho, quando se concentre a avaliao nos resultados produzidos, deixando de
lado a relao com os volumes de recursos empregados.

3. NDICE DE MALMQUIST PROBABILSTICO

O ndice de produtividade de Malmquist foi criado por Caves et alii (1982), inspirado na proposta
de Malmquist (1953) de avaliar a evoluo da produtividade de cada unidade de produo
relativamente evoluo do conjunto de unidades em que se insere. O ndice de Malmquist, alm de
neutralizar o efeito da evoluo tecnolgica, no leva em conta o valor relativo dos produtos ou
recursos. Fre et alii (1995) propuseram um ndice com estas mesmas caractersticas baseado na
composio de escores de eficincia gerados pela Anlise Envoltria de Dados, chamado ndice de
Malmquist-DEA.
Para levar em conta a evoluo da fronteira de melhores desempenhos ao longo do tempo, o ndice
de Malmquist-DEA obtido atravs da mdia geomtrica de dois escores de evoluo da eficincia, o

349
 27 a 30/09/05, Gramado, RS
Pesquisa Operacional e o Desenvolvimento Sustentvel

primeiro calculado relativamente fronteira do instante inicial e o segundo relativo fronteira final. O
primeiro obtido dividindo pelo escore de eficincia do instante inicial da unidade avaliada a
eficincia de uma unidade de produo hipottica adicionada ao conjunto do instante inicial em
substituio unidade avaliada e com os valores de recursos e produtos dessa unidade no instante
seguinte. O segundo , analogamente, a razo entre o escore de eficincia do instante final da unidade
avaliada e o escore de eficincia de uma unidade includa no conjunto de dados desse ano em
substituio mesma e com os valores de seus produtos e recursos no instante inicial.
Aqui, a mesma idia aplicada substituindo-se os escores da DEA pelos da avaliao
probabilstica. Assim, denotando-se por P(j,t,u) a avaliao probabilstica da unidade j quando os
valores observados nessa unidade no instante t so introduzidos na anlise em conjunto com os
observados nas demais unidades no instante u, o ndice de evoluo de Malmquist probabilstico
dado pela raiz quadrada do produto das razes P(j,t+1,t)/P(j,t,t) e P(j,t+1,t+1)/P(j,t,t+1).

4. ANLISES COMPARATIVAS

A avaliao probabilstica exige, essencialmente, da etapa de modelagem, apenas a escolha das

variveis consideradas relevantes. No h necessidade de fixar padres de desempenho em cada
critrio e pesos para os critrios podem ser usados, caso sejam disponveis, mas no so necessrios. A
avaliao pode ser feita em termos relativos s fronteiras do conjunto de dados observado e a
combinao em termos de probabilidade de atingir a fronteira permite tratar todos os critrios, em
princpio, em p de igualdade. No caso, adotamos um modelo simples com apenas duas medidas de
resultado, inicialmente, uma de quantidade e outra de qualidade da produo.
As variveis consideradas so:
MESTRES: nmero total de mestres formados pelo curso no trinio;
AUTORES: nmero mximo de docentes do NRD6 do curso apresentando resultados de pesquisa
publicados na ntegra em anais de congressos em um mesmo ano;
NRD6: nmero mximo de docentes no NRD6 do curso no trinio; mais precisamente, o nmero aqui
considerado o mximo dentre os trs nmeros informados nos relatrios anuais do trinio de
avaliao.
Depois de o sistema de avaliao da CAPES vir funcionando h bastante tempo, com pouca
variao nos indicadores e com muitos indicadores relativos, verifica-se, dentro de cada rea
considervel homogeneidade. Isto conduziu, em estudos anteriores, constatao de grande
variabilidade nas posies dos cursos em anos consecutivos resultante de flutuaes acidentais,
sobretudo quando se utilizam modelos com, no apenas produtos, mas, tambm, contrapartidas de
recursos empregados. Para evitar oscilaes devidas a variaes logo corrigidas, so empregadas neste
estudo variveis trienais. Os trinios de referncia so os de 1998 a 2000 e de 2001 a 2003.
A Tabela 1 apresenta na forma de percentagem, para as variveis acima listadas, as probabilidades
de cada curso minimizar cada varivel de resultado e maximizar a varivel de recurso, supondo que os
valores observados representam valores esperados de distribuies normais com desvio-padro
estimado da maneira descrita na Seo 2. Os dados so dos quinze cursos de ps-graduao em
Engenharia de Produo com atividades durante os anos dos trinios referidos e foram extrados dos
resumos de informaes sobre os programas disponveis em CAPES (2005).
Mais til que a comparao em termos de produtividade atravs da incluso do volume de recurso
empregado a comparao dinmica em que cada curso tem a sua evoluo ao longo do tempo
avaliada, comparativamente evoluo do conjunto. Isto feito, nesta anlise atravs do ndice de
Malmquist probabilstico definido na Seo 3. A estabilidade do sistema de avaliao facilita a
realizao desta anlise.
A Tabela 2 apresenta os valores das medidas de eficincia relativa calculadas em termos de
otimizao simultnea, considerando-se apenas dois produtos, mestres formados e docentes autores.
Nas duas primeiras colunas esto os valores para os dois trinios das medidas derivadas da
probabilidade de no minimizar nenhuma dessas duas variveis. Nas duas colunas seguintes, as
medidas extradas das probabilidades de, alm de no minimizar essas duas variveis,

350
 27 a 30/09/05, Gramado, RS
Pesquisa Operacional e o Desenvolvimento Sustentvel

simultaneamente no maximizar o volume de recursos medido pelo NRD6. E as duas ltimas colunas
apresentam os ndices de Malmquist, primeiro para o caso de se considerarem apenas as duas variveis
de resultado e depois para o caso de se considerar, tambm, o volume de recursos docentes.
Uma concluso que se pode extrair do exame da Tabela 2 a estabilidade do ndice de Malmquist
probabilstico. A incluso do recurso altera pouco a classificao dos cursos quanto a sua evoluo de
um trinio para o outro segundo este ndice. O coeficiente de correlao de Spearman entre os vetores
de classificao incluindo o volume do recurso docente e sem a incluso do mesmo de 0,73.
J as avaliaes estticas mudam consideravelmente quando se inclui o recurso docente como
contrapartida dos resultados gerados, de tal sorte que podemos associar incluso do recurso como
varivel explicativa dos resultados um efeito de instabilidade dos ndices. O coeficiente de correlao
de Spearman entre os vetores de avaliao com e sem recurso de, apenas, 0,32 no primeiro trinio e
0,20 no segundo.
Do mesmo modo, a incluso do recurso resulta em reduo do coeficiente de correlao de
Spearman entre as classificaes dos dois trinios. A correlao entre os vetores dos dois trinios de
0,68 sem recurso e de apenas 0,16 com recurso.
Examinando os desempenhos curso a curso, constata-se que o maior progresso segundo o ndice
de Malmquist quando se inclui a varivel de recurso apresentado pela Ufsm. O ndice desta
instituio mais alto quando se inclui a varivel de recurso devido reduo de 32 para 27 docentes,
enquanto na rea como um todo, o total de docentes se manteve estvel (com um crescimento inferior
a 4%), mas alto tambm sem a incluso desta varivel. Isto facilmente explicvel pela elevao do
nmero de mestres formados por essa instituio, que mais que duplicou de um trinio para o outro,
enquanto o crescimento da rea como um todo foi de 43%. Outros valores altos do ndice podem ser
facilmente explicados pela reduo do NRD6, no caso da Ufrj, ou, no caso da Ufrn, pelo aparecimento
no segundo trinio da primeira turma de mestres titulados.
Para comparao, apresentada a seguir a avaliao dos cursos com base nas mesmas variveis
pela Anlise Envoltria de Dados (DEA). Na Tabela 3 esto os escores de eficincia DEA para o
modelo CCR (de Charnes, Cooper e Rhodes, 1978) para as mesmas opes consideradas na Tabela 2.
O modelo sem recurso, no caso DEA, gerado admitindo uma nica varivel de recurso, com valor
constante ao longo de todas as unidades. Os clculos foram usados empregando o software DEAP
(Coelli, 1986).
As medidas de preferncia probabilsticas, assim como as medidas de eficincia da DEA, so
baseadas na busca dos melhores desempenhos. Em um caso, se medem probabilidades de atingir as
fronteiras e, no outro, distncias s fronteiras. A diferena principal que a abordagem probabilstica
leva em considerao todos os atributos e todas as unidades comparadas enquanto a DEA permite
escolher a composio de atributos mais favorvel unidade avaliada e no afetada pelas distncias
s unidades de avaliao que no estejam na fronteira. Com isto, a avaliao probabilstica menos
suscetvel influncia de erro em medida de alguma unidade.
Isto pode ser constatado no caso presente. O coeficiente de correlao entre os ndices de
Malmquist-DEA dos modelos com e sem recurso varivel de 0,48, consideravelmente menor que o
dos ndices de Malmquist da abordagem probabilstica. Do mesmo modo, as correlaes de Spearman
entre os vetores de escores de eficincia da DEA para os modelos com e sem recurso varivel so de
0,00, no primeiro trinio, e de 0,28 no segundo trinio.
Finalmente, observa-se na DEA o mesmo efeito desestabilizador observado na abordagem
probabilstica com a incluso do recurso como varivel explicativa. A correlao entre os escores dos
dois trinios cai de 0,70 para 0,31.

6. CONCLUSO

A aplicao aqui realizada demonstra como a composio probabilstica pode ser empregada na
avaliao de cursos. A composio probabilstica permite, uma vez definidas as variveis de interesse
e determinado um ponto de vista em termos de fronteira desejada e forma de composio, classificar
objetivamente os cursos e avaliar a sua evoluo ao longo do tempo. O emprego de um instrumento de

351
 27 a 30/09/05, Gramado, RS
Pesquisa Operacional e o Desenvolvimento Sustentvel

composio desta natureza libera os especialistas para a crtica dos dados, ao mesmo tempo em que
facilita o emprego das informaes geradas na tomada de decises, seja de quem planeja ingressar em
um curso, seja dos gestores do sistema.
Foi adotada neste estudo uma tica pessimista, no sentido de avaliar em termos de satisfao
simultnea de todos os critrios, e conservadora, no sentido de atribuir maior importncia s variaes
mais prximas fronteira formada pelos valores menos satisfatrios. Outros pontos de vista
conduziriam a diferentes classificaes, sobretudo quando se cotejem resultados e recursos
empregados. Este fato, de as medidas envolvendo o volume de recurso docente empregado
apresentarem mais inverses de posies que as baseadas apenas nos resultados finais, reflete uma
maior proximidade entre os cursos entre si quanto produtividade dos docentes. Em cada instituio,
uns docentes mais produtivos compensam outros menos produtivos de tal modo que os cursos
satisfazem de forma semelhante os padres per capita da rea.
A variao das concluses da anlise com o ponto de vista adotado reflete a homogeneidade do
conjunto de cursos considerado, que pode ser considerada um efeito da estabilidade do sistema de
avaliao da CAPES, a que os cursos vem sendo submetidos h j um tempo considervel. O
confronto dos resultados da aplicao de diferentes pontos de vista pode, nestas circunstncias, ser
usado para detectar diferenas entre estratgias gerenciais imperceptveis de outra forma.
O instrumental aqui apresentado aplica-se igualmente se um nmero maior de variveis for
necessrio. Da mesma forma, pode-se aumentar o nmero de objetos de comparao, sem dificuldade.
Entretanto, para a mais clara interpretao das concluses recomendvel que o nmero de possveis
valores de cada critrio seja mantido pequeno. Isto pode ser feito, facilmente, discretizando as
avaliaes ou considerando idnticos valores prximos na reta numrica. Se o nmero de objetos de
avaliao elevado, a transformao das avaliaes iniciais em probabilidades de atingir a fronteira
pode, tambm, ser baseada no clculo das probabilidades em uma pequena amostra representativa do
universo de valores observados.
Um ltimo esclarecimento pode ser til. O emprego de modelo de poucas variveis e a busca de
resultados quantitativos no significa que se pretenda desconhecer a complexidade do problema da
avaliao dos cursos. Ao contrrio, o reconhecimento de que a complexidade do problema exige
instrumentos de anlise solidamente constitudos que suscita o desenvolvimento desta proposta de
aplicao ao mesmo de uma nova forma de composio de critrios capaz de extrair, de dados
incompletos, significados objetivos.

6. REFERNCIAS

CAPES (2005) Dados sobre Programas de Ps-graduao, disponvel em

http://www1.capes.gov.br/Scripts/Servicos/Indicadores/Dados/FiltraArquivos.idc, acesso em
4/2/2005.
Caves D.W., Christensen L. R., Diewert W. E. (1982) The Economic Theory of Index Numbers
and the Measurement of Inputs, Outputs and Productivity. Econometrica, 50, 1393-1414.
Charnes, A., Cooper, W. W. e Rhodes. E. (1978) Measuring the Efficiency of Decision Making
Units, European Journal of Operations Research, 2, 429-444.
Coelli, T. J. (1996). A guide to DEAP version 2.1: a Data Envelopment Analysis Computer
Program. CEPA Working Paper 96/07, D. Econometrics, U. of New England, Australia.
Fre, R., Grosskopf, S. Lindgren, B. and Roos. P. (1995) Productivity Developments in Swedish
Hospitals: a Malmquist Output Index Approach," in Charnes, A., Cooper, W. W., Lewin, A. Y. and
Seiford, L. M. (eds.), Data Envelopment Analysis: Theory, Methodology and Applications. Kluwer,
Boston.
Farrell, M. J. (1957) The Measurement of Productive Efficiency, Journal of the Royal Statistical
Society, 120, 449-460.
Malmquist S. (1953) Index Numbers and Indifference Surfaces. Trabajos de Estadstica, 4, 209-
242.

352
 27 a 30/09/05, Gramado, RS
Pesquisa Operacional e o Desenvolvimento Sustentvel

SantAnna, A. P. (2002) Clculo Probabilstico de Produtividades Globais, Anais do XXXIV SBPO,

Rio de Janeiro.
SantAnna, A. P. (2003) Clculo Probabilstico de Produtividades Globais no Ensino de Ps-
Graduao em Engenharia de Produo, Anais do IX Encontro de Educao em Engenharia,
Petrpolis.

TABELA 1. PROBABILIDADES DE ATINGIR O PIOR DESEMPENHO

NRD6 NRD6 MESTR MESTR AUTOR AUTOR
CURSO
98-00 01-03 E 98-00 E 01-03 98-00 01-03
Ufsm 42% 27% 4% 0% 5% 1%
Ufrj 24% 13% 0% 0% 0% 0%
Usp 16% 19% 5% 8% 0% 0%
Ufscar 8% 27% 4% 4% 0% 0%
Uff 3% 7% 5% 3% 3% 3%
Unimep 1% 1% 8% 9% 7% 5%
Ufpe 1% 1% 9% 8% 7% 6%
Ufrn 1% 1% 16% 13% 14% 6%
Pucrio 1% 0% 3% 8% 5% 10%
Uspsc 1% 2% 5% 4% 10% 5%
Ufpb 1% 0% 8% 7% 10% 15%
Ufmg 1% 0% 7% 9% 7% 18%
Unip 0% 1% 8% 6% 10% 10%
Ufrgs 0% 0% 7% 11% 10% 12%
Unifei 0% 0% 10% 10% 14% 10%

353
 27 a 30/09/05, Gramado, RS
Pesquisa Operacional e o Desenvolvimento Sustentvel

TABELA 2. AVALIAO PROBABILSTICA

98-00 01-03 98-00 01-03 Malmquist Malmquist
CURSO
s resultados s resultados com recurso com recurso s resultados com recurso
Ufsm 92% 99% 59% 80% 110% 133%
Ufrj 100% 100% 83% 97% 100% 117%
Usp 95% 92% 88% 83% 100% 100%
Ufscar 96% 96% 96% 78% 103% 87%
Uff 92% 95% 98% 98% 107% 103%
Unimep 85% 88% 93% 96% 110% 110%
Ufpe 84% 87% 91% 95% 111% 110%
Ufrn 72% 82% 78% 90% 123% 123%
Pucrio 92% 84% 100% 93% 96% 96%
Uspsc 85% 92% 93% 100% 113% 111%
Ufpb 83% 80% 90% 88% 102% 102%
Ufmg 86% 75% 94% 83% 93% 93%
Unip 83% 85% 90% 94% 110% 109%
Ufrgs 84% 79% 91% 87% 101% 101%
Unifei 78% 81% 84% 90% 113% 112%

TABELA 3. DEA
98-00 01-03 98-00 01-03 Malmquist Malmquist
CURSO
s resultados s resultados com recurso com recurso s resultados com recurso
Ufsm 53% 82% 34% 70% 176% 231%
Ufrj 100% 100% 100% 100% 104% 120%
Usp 100% 84% 76% 84% 111% 111%
Ufscar 100% 100% 91% 93% 132% 102%
Uff 58% 62% 69% 72% 130% 106%
Unimep 47% 50% 82% 92% 135% 113%
Ufpe 47% 47% 82% 92% 126% 112%
Ufrn 37% 44% 64% 100% 158% 157%
Pucrio 53% 40% 100% 93% 89% 97%
Uspsc 42% 53% 85% 83% 151% 101%
Ufpb 42% 33% 80% 95% 93% 129%
Ufmg 47% 28% 100% 92% 71% 99%
Unip 42% 41% 100% 86% 118% 88%
Ufrgs 42% 35% 100% 90% 101% 90%
Unifei 37% 38% 88% 100% 132% 115%

354