985

TEMAS LIVRES FREE THEMES

O uso da Anlise Envoltria de Dados (DEA) para avaliao de hospitais universitrios brasileiros The use of Data Envelopment Analysis (DEA) for Brazilian teaching hospitals evaluation

Marcos Estellita Lins 1 Maria Stella de Castro Lobo 2 Angela Cristina Moreira da Silva 1 Roberto Fiszman 2 Vagner Jos de Paula Ribeiro 3

Instituto Alberto Luiz Coimbra de Ps-Graduao e Pesquisa em Engenharia, COPPE, UFRJ. Cidade Universitria, Centro de Tecnologia, Bloco F, Sala 103, Ilha do Fundo. 21945970 Rio de Janeiro RJ. estellita@pep.ufrj.br 2 Servio de Epidemiologia e Avaliao, Hospital Universitrio Clementino Fraga Filho, UFRJ. 3 UFRJ.

Abstract In order to demonstrate how DEA modeling can be helpful for hospital performance assessments conducted in compliance with Brazils Teaching Hospital Policy, a case study is presented of 31 general hospitals linked to Federal Universities. It considers data on assistance, teaching and research and the use of the IDEAL (Interactive Data Envelopment Analysis Laboratory) software as a tool for assessing their efficiency. Developed in Brazil, this unique software provides a three-dimensional view of the productivity frontier, for easier exploratory analyses and selection of pertinent variables, with a better understanding of the outputs of the model (multiplier and envelope) for specialists and decision-makers. As an example, a University Hospital benchmark is presented through outputs that take structural and regional input differences into consideration. This modeling also indicates the changes required in the inefficient units (alterations to input and/or /output vectors), setting forth recommendations on public financing based on quality/efficiency. Key words Data Envelopment Analysis, Public performance indicators, Teaching hospital

Resumo De modo a demonstrar como a modelagem por Anlise Envoltria de Dados (DEA) permite aferir o desempenho dos hospitais e subsidiar a avaliao da implantao da Poltica de Reestruturao dos Hospitais de Ensino, desenvolve-se um estudo de caso com os 31 hospitais gerais pertencentes a universidades federais brasileiras. Consideram-se indicadores de assistncia, ensino e pesquisa e utiliza-se o programa IDEAL (Interactive Data Envelopment Analysis Laboratory) como ferramenta de avaliao de desempenho. O IDEAL, desenvolvido no pas, o nico no mundo capaz de prover a visualizao tridimensional da fronteira de produtividade, facilitando a anlise exploratria e escolha das variveis pertinentes, assim como a compreenso dos resultados do modelo (multiplicador e envelope) pelo especialista e decisor. A ttulo de exemplo, apresentado o benchmark dos hospitais universitrios por meio de indicadores de resultado (outputs), que consideram as diferenas estruturais e/ou as demandas regionais (inputs). A modelagem tambm permite indicar as mudanas necessrias para as unidades ineficientes (alteraes nos vetores de inputs e/ou outputs) e gerar recomendaes sobre a distribuio dos recursos pblicos baseada em qualidade/eficincia. Palavras-chave Anlise Envoltria de Dados, Indicadores pblicos de desempenho, Hospitais de ensino

986
Lins, M. E. et al.

Introduo
Em 2004, os Ministrios da Sade e da Educao iniciaram processo de certificao dos hospitais de ensino no Brasil de acordo com o cumprimento de pr-requisitos referentes assistncia, ensino, pesquisa e integrao ao SUS (Sistema nico de Sade), visando a garantir a qualidade dos servios prestados e a alterao do mecanismo de financiamento dessas unidades, agora baseado em oramentao fixa mediante o cumprimento de metas contratuais. Passados dois anos da implementao da Poltica de Reestruturao de Hospitais de Ensino (MEC/MS1), ainda se discutem quais os instrumentos para a avaliao do seu impacto e algumas tcnicas provenientes da pesquisa operacional tm sido propostas. Sob a perspectiva de anlise de eficincia, pretende-se apresentar e discutir as potencialidades e limites na utilizao Anlise Envoltria de Dados (DEA) para avaliao de desempenho de hospitais pblicos federais de ensino geridos pelo Ministrio da Educao - MEC/Brasil. Esses hospitais correspondem a apenas uma parcela dos hospitais de ensino do pas; porm, dado o fato de existir para eles um banco de dados que contm informaes sistemticas sobre assistncia, ensino e pesquisa (SIHUF/MEC), optou-se pela utilizao dos mesmos como estudo de caso para aplicao de modelagem DEA. Finalmente, foi utilizado o software IDEAL (Interactive Data Envelopment Analysis Laboratory), desenvolvido pela COPPE/UFRJ, visto que essa ferramenta possibilita a visualizao tridimensional da fronteira sob diferentes ngulos (nica no mundo com essa caracterstica), a observao da influncia proporcional das variveis eleitas para o modelo, a introduo da restrio aos pesos e a compreenso dos resultados pelos diversos atores envolvidos no processo avaliativo.

conjunto de DMUs deve ser homogneo e ter em comum a utilizao dos mesmos inputs e a produo dos mesmos outputs. A abordagem analtica aplicada medida da eficincia baseia-se na definio de Pareto-Koopmans, segundo a qual um vetor input-output tecnicamente eficiente se: a) nenhum dos outputs pode ser aumentado sem que algum outro output seja reduzido ou algum input seja aumentado ou b) nenhum dos inputs pode ser reduzido sem que algum outro input seja aumentado ou algum output seja reduzido. Para o uso de DEA, as tcnicas de programao linear e a teoria da dualidade permitem construir a fronteira de referncia para uma dada tecnologia a partir de um conjunto de observaes (superfcie multidimensional do modelo envelope, gerada por combinao linear convexa das DMUs eficientes) e calcular a distncia da fronteira para cada uma das observaes individuais (modelo dos multiplicadores). No modelo do envelope, a projeo espacial das unidades ineficientes na fronteira est delimitada por um conjunto de referncia de unidades eficientes (da, o termo tcnico benchmark). Entretanto, o poder analtico da tcnica pode ser ampliado pelo modelo dos multiplicadores no qual, para cada DMU a ser analisada, formula-se um problema de otimizao com o objetivo de determinar quais os valores que esta DMU atribui aos multiplicadores u e v (pesos) de modo a ter a maior eficincia possvel, conforme apresentado a seguir: ndice de eficincia:

uj Yjk j vi Xik i

uYk , onde u e vXk

v so pesos ou multiplicadores e, por conveno, uYk < 1 , o que gera ndice de eficincia entre 0 e 1. vXk Uma vez que produo um processo no qual os recursos (Xk) so utilizados para gerar produtos (Yk), a fronteira de produtividade pode ser definida como a mxima quantidade de outputs obtida a partir dos inputs utilizados. A eficincia de cada DMU a soma ponderada das sadas dividida pela soma ponderada das entradas, a distribuio dos pesos ocorrendo sem qualquer interferncia do decisor. A maior limitao da estrutura matemtica dos modelos clssicos que, na busca da soluo tima, podem ser gerados pesos nulos para variveis importantes e, portanto, modelos inverossmeis. No caso da varivel ser tratada como essencial, ou se existir a necessidade de uma rela-

Metodologia
Metodologia DEA: noes gerais2 Os modelos clssicos de Anlise Envoltria de Dados (DEA) foram introduzidos por Charnes et al. em 1978 (baseada em retornos constantes em escala - CRS) e estendidos por Banker et al. (com retornos variveis de escala - VRS), consistindo em metodologia no paramtrica para mensurao comparativa da eficincia de unidades tomadoras de deciso (Decision Making Units - DMUs), com base nas melhores prticas. O

987
Cincia & Sade Coletiva, 12(4):985-998, 2007

o numrica lgica entre as variveis, o modelo pode ser flexibilizado mediante a formulao de restrio aos pesos, mais uma vantagem do uso dos multiplicadores, j que as restries so impostas s equaes que geram os hiperplanos das fronteiras de produtividade. A introduo de julgamento de valor e de restrio aos pesos na modelagem DEA ocorreu somente na ltima dcada3. Entre as restries, a de maior uso e facilidade de compreenso chamada participao virtual (p-virtual), em que se observa e se delimita a participao proporcional de cada produto peso X varivel no resultado de eficincia observado. A anlise do p-virtual permite discriminar incongruncias da realidade modelada e propor correes. Mediante as restries aos pesos, a fronteira passa a ser redesenhada de acordo com a perspectiva do decisor, a qual varia de acordo com a posio do mesmo em relao ao sistema. Finalmente, importante colocar que a modelagem pode ser orientada a input ou a output, dependendo se o objetivo est na reduo de recursos ou no aumento da produo. Isso significa que as mudanas necessrias para que as unidades ineficientes (ndice < 1) atinjam a fronteira podem ser direcionadas reduo de recursos (orientao input) ou ao aumento de produtos (orientao output). Dados e fontes Os dados so provenientes do Sistema de Informao dos Hospitais Universitrios Federais (SIHUF), gerenciado pela Coordenao de Hospitais Universitrios do Ministrio da Educao (MEC), com informaes do segundo semestre de 2003, ano em que houve validao dos dados por comisses de verificao. De modo a garantir um grupo homogneo de hospitais para comparao, optou-se por excluir aqueles de especialidade e as maternidades. Os hospitais esto representados pelas siglas das respectivas universidades. No caso da UFRN, existem duas unidades, a UFRN-AB se constituindo em plo de extenso da universidade em municpio prximo capital. Seleo de variveis (Quadro 1) A escolha das variveis procurou traduzir as dimenses de assistncia, de ensino e de pesquisa e baseou-se na anlise da literatura em DEA aplicada sade4, na opinio de especialistas e na disponibilidade dos dados (Quadro 1). Na literatura DEA sobre hospitais de ensino,

predominam medidas de assistncia e os indicadores de outputs so ajustados por ndices de case-mix, que consideram as variaes de recursos utilizados para diferentes grupos diagnsticos (DRGs - Diagnostic Related Groups) 5. Com essa tica, a equipe usou como medida proxy um indicador de complexidade dos procedimentos realizados pelos hospitais (SIPAC), baseada no credenciamento de procedimentos de alta complexidade pelo Ministrio da Sade 6. A literatura DEA escassa para variveis na dimenso de ensino dos hospitais, valendo destacar o uso de indicadores como dedicao de ensino (residentes/mdicos) e de intensidade de ensino (residentes/leitos), citada por Grosskopf7. Para tratamento inicial dessas variveis, optouse por utilizar nmeros absolutos nas dimenses de ensino e pesquisa. Ainda para a seleo de variveis, algumas premissas conceituais foram consideradas, a saber: Em sendo a DEA uma metodologia multi-critrio de apoio deciso, todos os indicadores quantitativos utilizados podem ser tratados como inputs ou como outputs, a depender estritamente dos critrios que esto sendo utilizados durante a concepo da modelagem, e da coerncia entre os mesmos8. Em paralelo concepo de Donabedian9, para que se possa fazer inferncias sobre a qualidade do servio prestado, existe um pressuposto de que as abordagens de estrutura, processo e resultado devem guardar formas de relao entre si, e o mesmo deve ocorrer entre inputs e outputs. Ou seja, assim como a estrutura influencia os processos e os processos so condicionantes para os resultados, as variveis de estrutura so consideradas como inputs para outras variveis de estrutura, de processo ou de resultado, e as variveis de processo so inputs para novos processos e/ ou para resultados observados. De modo a contribuir para a avaliao da poltica em curso, buscou-se inserir as variveis que constam na Portaria 1.00010, que dispe sobre os requisitos obrigatrios para que o hospital seja certificado como de ensino. Para o ensino, por exemplo, o nmero de alunos e de residentes foi considerado como a principal medida avaliada na Portaria (output), desde que haja a estrutura pedaggica docente (input). Para a pesquisa, o nmero de ps-graduandos e o de programas foram os nicos requisitos quantitativos avaliados como medidas proxy para volume de produo cientfica (output).

988
Lins, M. E. et al.

Quadro 1: Variveis de input e de output selecionadas.

VARIVEL Nmero de funcionrios no mdicos (FNM) INPUTS Nmero de mdicos (MED) Receita mdia mensal proveniente do SUS (RSUS) Nmero total de docentes (DOC) Nmero de docentes com doutorado (DOCPhD) SIPAC (ndice de Alta Complexidade) OUTPUTS Relao internaes/leito (mensal) (INT/L) Relao cirurgias/sala (mensal) (CIR/S) Relao consultas ambulatoriais/sala (CAMB/S) Nmero de alunos de medicina (graduao) (GRAMED) Nmero de residentes mdicos (RESM) Nmero de mestrandos/doutorandos (MESDOUT) Nmero de programas de ps-graduao/medicina (PPG) DIMENSO Assistncia Assistncia Assistncia Ensino Pesquisa Assistncia Assistncia Assistncia Assistncia Ensino Ensino Pesquisa Pesquisa

Procedimentos de modelagem: nosso estudo de caso No estudo de caso, cada hospital universitrio representado como uma DMU (decision making unit) dotada de autonomia. proposta uma concepo de modelagem hierarquizada em trs nveis, configurando um passo a passo que permita melhor entendimento da metodologia. O primeiro nvel considera a anlise exploratria de dados e a utilizao de outputs sob a forma de razes que indicam o aproveitamento da estrutura em diferentes unidades, como a unidade de internao (admisses/leitos), o centro cirrgico (cirurgias/sala) e a unidade ambulatorial (consultas/sala). O clculo destas razes j equivalente ao resultado de um modelo DEA CRS (retornos constantes de escala), j que o numerador corresponde a um output para cada denominador/input. So utilizados grficos para mostrar as fronteiras tridimensionais como ferramenta de apoio seleo de variveis. Os grficos so gerados pelo software IDEAL e permitem visualizar a relao entre inputs e outputs, trs a trs, identificando aqueles conjuntos que geram fronteiras com maior nmero de faces Pareto-eficientes, de dimenso completa (trs vrtices). Os grficos tambm sero utilizados para explicar os resultados obtidos atravs dos modelos dos multiplicadores e do envelope, com maior nmero de variveis, facilitando a compreenso do decisor. No segundo nvel, so considerados os mo-

delos completos nas trs dimenses: assistncia, ensino e pesquisa e introduzidas as restries aos pesos. No terceiro nvel, as eficincias parciais so utilizadas como variveis de output e gerado o benchmark dos hospitais. Este procedimento hierrquico apresenta a vantagem de facilitar a incorporao da opinio do especialista quanto aos pesos a serem admitidos para cada varivel. Todos os modelos utilizados sero orientados a output, tendo-se como meta a expanso dos servios, uma vez que se espera a melhoria da produo para o mesmo conjunto de recursos por meio de melhorias organizacionais e de gesto. Na literatura, prevalecem os estudos orientados a input, que enfatizam a meta de reduo de custos para uma mesma produo.

Resultados
1 nvel: Anlise exploratria por visualizao 3-D na dimenso assistncia Um modelo completo ter tantas dimenses quantas variveis incorporar. No entanto, a utilizao de submodelos com trs variveis para visualizao de grficos 3D pode ser utilizada para escolha e interpretao das variveis que constaro do modelo final. A Figura 1 considera as variveis: Internaes/leito INT/L [O], Cirurgias/sala - CIR/S [O] (outputs) e Funcionrios no mdicos FNM [I] (input) e a fronteira Paretoeficiente (mais escura na figura) apresenta qua-

989
Cincia & Sade Coletiva, 12(4):985-998, 2007

tro faces e seis DMUs eficientes (vrtices de cada face). A Figura 2 mantm as variveis de output e substitui a varivel de input por Receita SUS mensal RSUS [I]. A nova fronteira apresenta cinco faces e as mesmas seis DMUs eficientes. Isso significa que essas seis unidades apresentar-se-o no modelo clssico com eficincia de 100%. As unidades ineficientes se projetaro nessas faces e os pesos sero gerados de forma a minimizar a distncia entre a DMU e a face mais prxima na fronteira. Os hospitais correspondentes aos vrtices de cada face sero considerados como as referncias ou benchmarks para a unidade projetada e, em termos analticos, todas as DMUS que compartilharem as mesmas referncias tero pesos idnticos no modelo.

Vale ressaltar que a substituio do nmero de funcionrios no mdicos pela receita SUS ambas variveis de input - provocou pouca alterao na fronteira, sem alterao das DMUs Pareto-eficientes. Podem ocorrer, outrossim, alteraes nos valores de eficincia das DMUs ineficientes de acordo com a varivel escolhida. A partir dessa tica, diferentes composies de inputs e outputs podem ser criadas para anlise exploratria das variveis e os formatos de fronteira que se apresentarem com maior capacidade de replicao (consistentes) e plausibilidade lgica podem ser usados como parmetros para escolha adequada das variveis a serem inseridas no modelo completo. Nas Figuras 1 e 2, importante notar que os

Figura 1. Fronteira de produtividade hospitalar de acordo com nmero de funcionrios.

Hospital

100
UNIFESP

UFU HCPA UFPR

UFSM

80
CIR/S [O]

60 40 20
UNB

UFES UFRJ UFMA UFJF UFF UFPE UFRN UFGO UFSC UFBA UNIRIO UFPB UFPEL FURG UFMT UFMG FUFMS FUFS UFCG

5 4 3 2 1 FNM [1] 8 6

UFRN AB

INT/L [O]

990
Lins, M. E. et al.

Figura 2. Fronteira de produtividade hospitalar de acordo com a receita do SUS. Hospital

100
UFU

80
CIR/S [O]

UFSM

UNIFESP

HCPA UFPR UFES UFJF UFMA UEPA UFMG UFF UFRN UFSC UFPL UFALUFGO FUAM UFBA UFRJ FMTM UFPB FURG UFMT FUFMS FUFS UFCG

60 40 20
UNB

0 10 8 6 4 2 0 RSUS [1]

UFRN AB

4 6

INT/L [O]

cinco hospitais de maior porte e complexidade (UNIFESP, UFRJ, HCPA, UFPR, UFMG) apareceram fora da fronteira e projetados em regies Pareto-ineficientes. Essa incongruncia pode estar relacionada ausncia de ajuste de gravidade ou case mix, motivo pelo qual se optou pela incluso da varivel SIPAC [O] no modelo. Como resultado da incluso, a fronteira DEA VRS, com as variveis: Funcionrios no mdicos FNM [I]; SIPAC [O] e Internaes/leito INT/L [O], revela as seguintes situaes referentes unidade de internao (Figura 3): Entre os hospitais eficientes com maior nmero de funcionrios, existe um trade-off entre SIPAC e nmero de Admisses/leito: a UNB caracteriza-se por um maior nmero de Internaes/leito e a UFRJ por um maior SIPAC. Esse achado compatvel com o fato de hospitais de maior complexidade exigirem maior nmero de

servidores e apresentarem maiores tempos mdios de permanncia hospitalar. Os hospitais eficientes com menor nmero de funcionrios, UFPEL e UFRN/AB, apresentam um baixo grau de complexidade (SIPAC), mas um nvel mediano de admisses/leito, superior ao da UFRJ e equivalente ao da UNIFESP. Nessas unidades, o volume de servios de obstetrcia provoca maior rotatividade dos leitos. Para anlise do aproveitamento do centro cirrgico, a Figura 4 apresenta o output Cirurgias/ sala CIR/S [O], junto ao SIPAC [O], tendo como input: Funcionrios no mdicos FNM [I]. Na figura, a fronteira mostra o aparecimento da UFSM e UFU como unidades eficientes por apresentarem o maior volume de cirurgias por sala. Esta fronteira apresenta um nmero elevado de unidades eficientes (11) e a anlise grfica sugere um grupo com menor SIPAC e nmero de funcio-

991
Cincia & Sade Coletiva, 12(4):985-998, 2007

Figura 3. Fronteira de produtividade da unidade de internao de acordo com nmero de funcionrios no-mdicos e complexidade hospitalar. Hospital

8 7 6
INT/L [O]
UNB

5 4 3 2 1
UNIFESP UFRN AB UFCG UFAL UFU UFMT FURG UFMG UFMA FMTM UFSM HCPA UFGO UFPE UFPA UFF UFSC UFRN UFPR UFPE UFES FUFMG UFJF FUFS UFRJ FUFMS UFBA UNIRIO UFCE UFPEL

4 2 60 0 FNM [1] 40

20

SIPAC [O]

nrios e outro com maior SIPAC, onde quase todas as unidades so eficientes. Essa nova conformao de variveis destaca-se por mostrar um modelo mais ajustado fronteira, embora com muitas unidades sobre a mesma. Vale relembrar que, mesmo que acrescentemos outras variveis ao modelo clssico DEA VRS, estas onze unidades continuaro eficientes, pois tero a liberdade de atribuir peso mximo a essas mesmas variveis em detrimento das demais. Nesse caso, torna-se necessria a introduo de restries aos pesos para aumentar o poder de discriminao na avaliao de desempenho das unidades. Em sntese, como resultado da anlise exploratria, a incluso da varivel SIPAC permitiu o aparecimento de novas faces Pareto-eficientes, possibilitando a projeo de unidades com diferentes nveis de complexidade. O aparecimento de mais faces na fronteira demonstra a impor-

tncia da estratificao dos benchmarks por complexidade e a capacidade do mtodo para indicar a presena de grupos mais homogneos de comparao (clusters). Tambm vale acrescentar que as DMUs com valores extremos como a UNIFESP (limites superiores de outputs) e a UFRN AB (limites inferiores de inputs) tendem a aparecer sempre como vrtices do polgono, portanto, eficientes. Para flexibilizar esse resultado, tornase necessrio manejo de novas ferramentas, como a criao de unidades artificiais ou supereficientes, alm da introduo de restries aos pesos. 2 nvel: Introduo das restries aos pesos nas diferentes dimenses A) Assistncia Uma vez realizada a anlise exploratria, o modelo final foi rodado com a totalidade das

992
Lins, M. E. et al.

Figura 4. Fronteira de produtividade do centro cirrgico, de acordo com nmero de funcionrios no-mdicos e complexidade hospitalar.

Hospital

120 100
CIR/S [O]

80 60 40 20 0 -20 5 4 3 2 1
UNIFESP

UEPA UFJF HCPA UFESUFRNUFPELUFMT UFMA UFPB UNB UFAL FURG UFPR UFF UFSC UFMS UFGO UFBA UNIRIO FUFS FMTM UFPE UFCG UFRJ UFCE FUFMS

UFU

UFSM

20 40 60 0

FNM [1]

SIPAC [O]

variveis de assistncia, sem restries, e mostrou dezessete unidades eficientes; catorze delas j evidenciadas na anlise exploratria 3-D (Tabela 1). Nos modelos clssicos (CRS ou VRS), o hospital aloca os pesos de modo a maximizar a eficincia aferida, sem considerar a importncia relativa de cada varivel. Dessa forma, necessria a incorporao da opinio do especialista e do decisor para definir a relevncia das variveis e garantir que o modelo final tenha resultados coerentes com a realidade sob modelagem. Com base na atribuio de relevncia, so introduzidas restries aos pesos ao modelo; porm, como existe o risco da insero de distores pela incluso de componentes subjetivos, fundamental que metodologias de consenso sejam estruturadas para que os atores envolvidos opinem sobre os critrios e a importncia relativa das vari-

veis (oficinas, painel de especialistas ou mtodo Delphi, por exemplo). Para demonstrar o papel da introduo dessas restries, so apresentados na Tabela 1 os ndices de eficincia e os pesos virtuais do modelo com as seguintes restries impostas: a) Para inputs, todos eles devem ter o peso de, no mnimo, 20%, sendo que a varivel Receita SUS teve um mximo estipulado em 50%. Isso garante que todas as variveis de input sejam consideradas no modelo e ainda evita que as unidades que tm baixssimo faturamento, associado baixa produo, no dediquem no modelo toda a participao livre (60%) a esta varivel, quando deficitria; b) Para outputs, o SIPAC teve seu peso mximo delimitado em 50%, j que uma varivel de ajuste e pretende-se avaliar a produo pro-

993
Cincia & Sade Coletiva, 12(4):985-998, 2007

Tabela 1. Resultado dos multiplicadores (p-virtual) COM e SEM restries Assistncia. Varivel hospital FMTM FUAM FUFMS FUFS FURG HCPA UFAL UFBA UFCE UFCG UFES UFF UFGO UFJF UFMA UFMG UFMT UFPA UFPB UFPE UFPEL UFPR UFRJ UFRN AB UFRN UFSC UFSM UFU UNB UNI-RIO UNIFESP Eficincia Sem Com 0,95 0,8 1 0,82 0,87 0,54 1 0,7 0,96 0,93 1 0,99 1 1 0,97 0,56 1 0,69 0,83 0,72 1 0,82 0,99 0,76 0,88 0,73 1 1 1 0,89 1 0,86 0,82 0,77 0,97 0,83 0,58 0,51 1 0,71 1 1 0,99 0,81 1 0,79 1 1 0,95 0,74 0,95 0,78 1 1 1 1 1 1 0,9 0,71 1 1 FNM 0,6 0,3 0,2 0,3 0,3 0,2 0,6 0,2 0,6 0,3 0,6 0,3 0,6 0,2 0,6 0,3 0,2 0,3 0,3 0,6 0,2 0,2 0,3 0,3 0,3 0,6 0,3 0,2 0,3 0,2 0,2

Input MED 0,2 0,2 0,38 0,2 0,2 0,6 0,2 0,3 0,2 0,2 0,2 0,2 0,2 0,57 0,2 0,2 0,3 0,2 0,2 0,2 0,6 0,3 0,2 0,2 0,2 0,2 0,2 0,6 0,2 0,3 0,6

Peso com restries Output RSUS SIPAC INT/L CIR/S 0,2 0,46 0,2 0,2 0,5 0,41 0,2 0,2 0,42 0,5 0,2 0,2 0,5 0 0,39 0,31 0,5 0,3 0,28 0,2 0,2 0,23 0,2 0,27 0,2 0,37 0,2 0,2 0,5 0,45 0,2 0,2 0,2 0,38 0,2 0,2 0,5 0 0,65 0,2 0,2 0,08 0,2 0,54 0,5 0,3 0,2 0,2 0,2 0,39 0,2 0,2 0,23 0 0,2 0,5 0,2 0,27 0,2 0,23 0,5 0,5 0,2 0,2 0,5 0 0,46 0,41 0,5 0 0,2 0,51 0,5 0 0,23 0,52 0,2 0,5 0,2 0,2 0,2 0 0,7 0,2 0,5 0,5 0,2 0,2 0,5 0,3 0,2 0,2 0,5 0 0,7 0,2 0,5 0,44 0,2 0,2 0,2 0,36 0,2 0,2 0,5 0 0,2 0,7 0,2 0,47 0,2 0,23 0,5 0,5 0,2 0,2 0,5 0,38 0,2 0,2 0,2 0,3 0,2 0,2

CAMB/S 0,14 0,19 0,1 0,3 0,22 0,3 0,23 0,15 0,22 0,15 0,18 0,3 0,21 0,3 0,3 0,1 0,13 0,29 0,26 0,1 0,1 0,1 0,3 0,1 0,16 0,24 0,1 0,1 0,1 0,22 0,3

priamente dita. As variveis de internao e de cirurgia tiveram o peso mnimo delimitado em 20%. Para o aproveitamento de ambulatrio, os limites foram fixados entre 10 e 30%. c) Para lidar com a diferena de escala relacionada varivel de complexidade - SIPAC, a fronteira do modelo foi dividida em: i) retornos crescentes de escala (modelo CRS) para as DMUs com valores menores de SIPAC e ii) retornos decrescentes de escala (modelo VRS) para os hospitais mais complexos. Essa equao do modelo procurou evitar que unidades de baixa complexidade atribussem alto peso para essa varivel. Realizados esses ajustes, o modelo final com a restrio de pesos mostra maior poder de discriminao, menor nmero de unidades eficientes (8) e ausncia de p-virtual alto para SIPAC

em hospitais de baixa complexidade. Ainda se observam hospitais com baixo faturamento atriburem participao de 50% ao indicador de receita SUS, o que poderia justificar uma maior reduo do valor de participao mximo dessa varivel. Na sada do modelo matemtico, a avaliao do envelope tambm permite discriminar quais os hospitais de referncia para cada unidade ineficiente e o clculo dos multiplicadores identifica as alteraes do vetor de output necessrias para que os hospitais se tornem eficientes. Vale colocar que a interpretao dos pesos virtuais , por si s, uma ferramenta complementar para a monitorizao do desempenho desses hospitais. Como a somatria dos inputs e tambm a dos outputs equivale a 100%, a anlise da distribuio dos pesos para atingir a mxima eficincia

994
Lins, M. E. et al.

nos permite acompanhar o comportamento da unidade. Dentro da lgica de Pareto-Koopmans, se um hospital atribui um peso muito alto a uma varivel de entrada, isso significa que ele, em comparao aos demais, consome menor volume de recursos, ou que suas outras variveis de input consomem proporcionalmente mais recursos. Da mesma forma, se o hospital atribui um peso muito elevado a uma varivel de sada, isso significa que ele, em comparao aos outros, tem alta produo, ou pior resultado nas suas demais variveis de output. Por exemplo, um hospital de maior complexidade tende a dar um peso alto ao indicador SIPAC; porm, se um hospital de baixa complexidade tambm o fizer, a explicao para o pvirtual estaria na muito baixa produo assistencial por parte do mesmo. Finalmente, a dinmica de valorao das variveis por esses hospitais pode ser compreendida pela magnitude da alterao do ndice aps a introduo das restries, ou

seja, aqueles hospitais com maior queda no ndice no tiveram uma segunda opo favorvel entre as demais variveis de input ou de output. Esse tipo de anlise permite combinar a descrio de mltiplas variveis para um mesmo hospital e a comparao de uma mesma varivel para diferentes DMUs, o que pode ser til para se decompor o score nico de eficincia e se apreender os motivos que desencadearam o ndice de eficincia observado. B) Ensino De acordo com a Figura 5, que representa o modelo clssico VRS, podem ser observadas sete unidades eficientes e uma maior densidade de atividades de ensino entre os hospitais de maior complexidade. De fato, a fronteira de ensino observada se assemelha quela de assistncia quando da introduo da varivel SIPAC. Entretanto, trs hospitais eficientes na dimenso de ensino

Figura 5. Representao 3-D da dimenso Ensino. Hospital

UNIFESP

600 500 400

RESM [O]
UFRJ UFMG HCPA

300 200 100 0 -100

UFPE UFPR UFF

UFU UFGO UFES FMTM UFMA UFBA UNIRIO UFSM FURG UFPEL UFMT FUFS UFRN AB UFSM UFCE UFPA

350 300 250 200 150 100 50 DOC [1] 1000 500

GRAMED [O]

995
Cincia & Sade Coletiva, 12(4):985-998, 2007

no tiveram o mesmo resultado em relao assistncia (FMTM, que atribuiu 77% do peso virtual ao nmero de residentes; UFPA, que atribuiu 92% do peso virtual ao nmero de estudantes; UFBA, com igual distribuio de pesos virtuais entre as duas variveis de output). Para aprofundamento no modelo, duas categorias de restrio foram incorporadas. A primeira estipulou uma proporo mnima de peso virtual para ambos os outputs (30%), tendo reduzido a eficincia da UNIFESP para 82%, dado que a sua eficincia era quase integralmente influenciada pelo nmero de residentes (os internos recebem treinamento em outra unidade conveniada). A segunda correspondeu ao limite do valor do intercepto da fronteira (representado matematicamente pelo u*) que, dado o baixssimo nmero de insumos da UFRN-AB, era extremamente deslocado no modelo sem restries (a unidade conta com apenas um docente).

C) Pesquisa A terceira dimenso (Figura 6) mostrou baixo volume de pesquisa informada para todas as unidades, exceto UNIFESP, e uma melhor discriminao entre as outras unidades poderia ser observada se o modelo desconsiderar o outlier. Vale colocar que a modelagem DEA considera a possibilidade de que os outliers no representem apenas desvios da mdia, mas possveis benchmarks a serem estudados. Por outro lado, esses dados tm problemas de acurcia, visto que as universidades pblicas tm o maior volume de pesquisas financiadas no pas (o vis ocorre dado que as informaes de produo cientfica e de ps-graduao esto atreladas aos departamentos acadmicos e no aos hospitais). Devido baixa validade, optou-se por no impor restries aos pesos nessa dimenso sob o risco de aumentar o vis.

Figura 6. Representao 3-D da dimenso Pesquisa. Hospital

UNIFESP

4000

3000
MESDOUT [O]

2000
UFRJ HCPA UFMG UFPE UFF UFPR UFBA UNIRIO UFRN UFPA UFRN AB

1000

0
UFCE

300 200 100

30

20 PPG [O]

10

DOCPhD [1]

996
Lins, M. E. et al.

3 nvel: Anlise conjunta das diferentes dimenses A Tabela 2, nas trs ltimas colunas, mostra os scores de eficincia dos hospitais em cada dimenso. O ndice de Correlao (Spearman) entre as dimenses foi de: 0,34 para assistncia e ensino; 0,30 para assistncia e pesquisa; 0,49 para ensino e pesquisa. Essas diferentes distribuies de valores de eficincia para assistncia, ensino e pesquisa denotam a necessidade de abordagem de todas as dimenses para que se tenha uma avaliao mais completa da eficincia do hospital. Nesse contexto, a Anlise Envoltria de Dados ferramenta til pela capacidade de ajustar diferentes dimenses de indicadores em um nico modelo.

Colocados os ndices de cada dimenso como varivel de output (modelagem sem input), com o mnimo de participao virtual definido em 20% (garantia de incorporao de todas as dimenses), obtm-se o modelo final, com o ndice de eficincia observado na Tabela 2, em ordem decrescente. De acordo com a distribuio proporcional do p-virtual, observa-se que os hospitais de ensino tendem a investir mais nas prticas de assistncia e que maior concentrao de atividades ensino e, principalmente, de pesquisa observada nas unidades de maior complexidade. Na mesma modelagem, possvel estudar os investimentos necessrios nas diferentes dimenses - para que os hospitais ineficientes possam atingir a fronteira (no tratado nesse artigo).

Tabela 2. Benchmark dos hospitais de ensino de acordo com as trs dimenses. Hospital Eficincia Assistncia HCPA UFPA UNIFESP UFMG UFCE UFRJ UFU UNB UFF UFPR UFPEL UFPE UFBA UFSC FMTM UFJF UFSM UFMT FUFS UFMA UFRN UFES FURG UFAL UFGO FUFMS UFPB UFRN AB FUAM UNIRIO UFCG 1 0,98 0,96 0,94 0,93 0,93 0,92 0,83 0,77 0,76 0,75 0,74 0,73 0,73 0,73 0,69 0,65 0,63 0,62 0,62 0,62 0,6 0,58 0,58 0,54 0,52 0,52 0,36 0,33 0,31 0,29 0,2 0,2 0,2 0,2 0,2 0,2 0,6 0,6 0,6 0,2 0,6 0,6 0,2 0,6 0,2 0,6 0,6 0,6 0,6 0,6 0,6 0,6 0,6 0,6 0,6 0,6 0,2 0,2 0,6 0,6 0,6 p-virtual Ensino 0,2 0,2 0,2 0,6 0,2 0,2 0,2 0,2 0,2 0,6 0,2 0,2 0,6 0,2 0,6 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,6 0,6 0,2 0,2 0,2 Pesquisa 0,6 0,6 0,6 0,2 0,6 0,6 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 0,2 Assistncia 0,99 0,83 1 0,86 0,69 0,79 1 1 0,76 0,81 1 0,71 0,56 0,78 0,8 1 1 0,77 0,7 0,89 0,74 0,82 0,93 1 0,73 0,54 0,51 1 0,82 0,71 0,72 Dimenso Ensino 1 1 0,82 1 0,91 0,78 0,72 0,76 0,54 0,99 0,52 0,69 1 0,53 0,9 0,86 0,7 0,41 0,44 0,51 0,43 0,48 0,38 0,51 0,7 0,55 0,61 0,81 0,68 0,45 0,31 Pesquisa 1 1 1 0,83 1 1 0,98 0 0,8 0,42 0,43 0,73 0,45 0,73 0,42 0,04 0,05 0,61 0,36 0,32 0,53 0,35 0,13 0,16 0,25 0,25 0,05 0 0 0 0

997
Cincia & Sade Coletiva, 12(4):985-998, 2007

Discusso e concluses
A literatura sobre DEA na rea da sade pode ser categorizada em trs grandes grupos11: a) estudos descritivos dos ndices de eficincia; b) estudos comparativos entre DEA e fronteiras estocsticas; c) estudos aplicados para tomada de deciso nas polticas pblicas. Nesse ltimo, vale destacar o trabalho de Ozcan12, que estimou o desperdcio econmico relacionado ineficincia da rede hospitalar americana (3% do PIB). Na literatura nacional, vale citar o trabalho de Marinho et al.13, que utilizou o modelo clssico descritivo para o SIHUF/MEC, mas no garantiu a homogeneidade das DMUs (todos os hospitais entraram no modelo, sem distino de especialidade). A Anlise Envoltria de Dados (DEA) ferramenta promissora para apoio ao monitoramento das polticas pblicas, j que permite abordar simultaneamente diferentes dimenses das unidades de sade. Alm disso, para cada dimenso, a anlise de resultados (outputs) considera a diferena de recursos estruturais e tambm a demanda epidemiolgica, j que indicadores de sade podem ser inseridos como variveis de input14. Uma vez construda a fronteira das melhores prticas para diferentes conjuntos de recursos, calculam-se as modificaes necessrias para que os vetores de inputs/outputs garantam a eficincia das unidades observadas. Sob a tica do rgo regulador, isso implica na contrao ou expanso dos recursos liberados, ou na contratualizao de metas para a produo de resultados a partir de um montante de recursos oramentados. Nesse trabalho, com a anlise exploratria 3D, foram traadas estratgias metodolgicas que talvez no fossem intudas a partir do modelo completo, entre elas: uso de razes como variveis de assistncia, anlise grfica do impacto da troca de variveis, incorporao de variveis de complexidade para ajuste, estudo de distribuio de pesos e introduo das restries. Ainda, para lidar com situaes mais complexas, os modelos clssicos so insuficientes, dado que uma etapa essencial e insubstituvel no processo de modelagem consiste na interao com os tomadores de deciso e na definio de critrios de consenso. Essa etapa viabilizada pelo desenvolvimento de submodelos intermedirios e inteligveis de modo a garantir a confiabilidade e a aplicao do benchmark final. Conforme reviso de Freeman15 sobre uso de indicadores de desempenho em sade, o su-

cesso da derivao, da implementao e do uso dos mesmos depende da clareza de objetivos, da participao dos atores e da incorporao de metodologias soft que facilitem a interpretao. No se pretende nesse trabalho divulgar, como modelo final do desempenho, o ndice que resultou para cada unidade estudada, at sob o risco de contradizer a colocao anterior de que o processo de escolha das variveis e de introduo das restries aos pesos deve ser construdo por meio de consenso com os atores, especialistas, analistas e gestores envolvidos no processo. Pode-se, outrossim, observar que os resultados parciais ora apresentados so compatveis com as premissas conceituais, com as novas tendncias de aplicao de DEA, alm de estruturados de forma a serem levados aos decisores, visando a garantir validade de contedo, de construto e a validade lgica, respectivamente. Aqui, no se esgotam as possibilidades de utilizao da metodologia proposta para apoio Poltica de Reestruturao de Hospitais de Ensino. Alm das medidas de desempenho baseadas nos dados de certificao desses hospitais, os contratos de metas, em fase de elaborao, com oramentos fixos (inputs) para um conjunto de metas pactuadas (outputs), podero gerar um algoritmo de apoio deciso oramentria, sem desconsiderar, mais uma vez, a necessidade de negociao entre as partes, j que a fronteira de produtividade, conforme descrito na metodologia, pode ser remodelada de acordo com a perspectiva do gestor em relao aos objetos sob negociao. Se o decisor pertence ao rgo regulador, a introduo das restries deve se dar de forma homognea para todas as DMUs. Por outro lado, para o gerente da unidade sob a avaliao, nem todas as pores da fronteira podem corresponder a solues viveis ou compatveis com a realidade local, e um novo leque de restries pode ser introduzido, servindo de base para futuras rodadas de negociao16. Finalmente, consenso na perspectiva de todos que a eficincia uma dimenso bsica a ser avaliada no estudo de desempenho hospitalar17, que tanto o rgo regulador como as unidades buscam a coerncia entre os mecanismos de controle externo e interno e, principalmente, que a transformao de aes punitivas em aes educativas e formativas condio bsica para melhoria da oferta de sade para a populao, pressupostos que a metodologia proposta busca considerar.

998
Lins, M. E. et al.

Colaboradores
ME Lins e AM da Silva trabalharam no desenvolvimento do software e modelagem. MS de Castro Lobo e R Fiszman, na elaborao do banco de dados, escolha de variveis e concepo analtica. VJ Ribeiro fez reviso da literatura. A metodologia de trabalho integrou as atividades em reunies semanais.

Agradecimentos
Os autores agradecem o suporte dado ao projeto pelo DECIT/MS, por intermdio do CNPq. Edital 037/2004 Sistemas e Polticas de Sade Qualidade e Humanizao no SUS.

Referncias
1. Ministrio da Educao e Ministrio da Sade. Portaria Interministerial 1.006, de 27 de maio de 2004. Dispe sobre a criao do Programa de Reestruturao dos Hospitais de Ensino do Ministrio da Educao no Sistema nico de Sade. Dirio Oficial da Unio 2004; 27 maio. 2. Lins MPE, Meza LA. Anlise Envoltria de Dados e Perspectivas de Integrao no Ambiente de Apoio Deciso. Rio de Janeiro: COPPE/UFRJ; 2000. 3. Allen R., Athanassopoulos A., Dyson RG, Thanassoulis E. Weights restrictions and value judgements in data envelopment analysis: evolution, development and future directions. Annals of Operations Research 1997; 73: 13-34. 4. Seiford LM. A Bibliography for Data Envelopment Analysis (1978-1996). Annals of Operations Research 1997; 73: 393-438. 5. Rosko MD, Chilingerian JA. Estimating hospital inefficiency: Does case mix matter? Journal of Medical Systems 1999; 23(1): 51-71. 6. Lobo M S C, Bloch KV, Fiszman R, Oliveira MR, Ribeiro VJP. Sistema de informaes dos hospitais universitrios (SIHUF/MEC): um banco de dados administrativo. Cadernos de Sade Coletiva 2006; 14 (1):149-162 7. Grosskopf S, Margaritis D, Valdmanis V. Competitive effects on teaching hospitals. European Journal of Operational Research 2004; 154 (11):515-525. 8. Roy B. Mthodology multicritre daide la decision. Paris: Economica; 1990. 9. Donabedian A. Explorations in quality assessment and monitoring. Vol. I. The Definition of Quality and Approaches to its Assessment. Michigan, Ann Harbor: Health Administration Press; 1980. 10. Ministrio da Educao e Ministrio da Sade. Portaria Interministerial 1.000, de 15 de abril de 2004. Dispe sobre os requisitos necessrios para a certificao dos hospitais de ensino. Dirio Oficial da Unio 2004; 15 abril. 11. Chen A, Hwang Y, Shao B. Measurement and sources of overall and input inefficiencies: Evidences and implications in hospital services. European Journal of Operational Research 2005;161: 447-468. 12. Ozcan Y. Efficiency of Hospital Service Production in Local Markets: the Balance Sheet of U.S. Medical Armament. Socio-Economic Planning Sciences 1995; 29(2):139-150. 13. Marinho A, Faanha LO. Hospitais universitrios: avaliao comparativa da eficincia tcnica. Revista de Economia Aplicada 2000; 4(2):315-349. 14. Gasparini CE, Ramos FS. Relative deficit of health services in Brazilian states and regions. Brazilian Review of Econometrics 2004; 24(1):75-107. 15. Freeman T. Using performance indicators to improve health care quality in the public sector: a review of the literature. Health Services Management Research 2002; 15(2):126-137. 16. Lins MPE, Sollero MKV, Calba GM, Moreira da Silva AC. Integrating the regulatory and utility firm perspectives, when measuring the efficiency of electricity distribution. European Journal of Operational Research. In press 2006. 17. Veillard J, Champagne F, Klazinga N, Kazadjian V, Arah O A, Guisset A-L. A performance assessment framework for hospitals: the WHO regional office for Europe PATH project. International Journal for Quality in Health Care 2005; 17(6): 487-496.

Artigo apresentado em 25/07/2006 Aprovado em 23/10/2006 Verso final apresentada em 24/11/2006