Monitoramento para avaliao do desempenho regulatrio do

Instituto Nacional de Metrologia, Qualidade e Tecnologia

Danielle Assafin Vieira Souza Silva

Instituto Nacional de Metrologia, Qualidade e Tecnologia (Inmetro)

Marcus Vincius de Araujo Fonseca

Universidade Federal do Rio de Janeiro (UFRJ)

O objetivo deste artigo apresentar a sistemtica de Monitoramento para Avaliao do Desempenho

Regulatrio do Instituto Nacional de Metrologia, Qualidade e Tecnologia (Inmetro), o Madri. Adotando
como teoria de sustentao o mapa causa-e-efeito desenvolvido pela Ocde para avaliao do impacto
regulatrio, a pesquisa estruturou-se nas etapas de conhecimento prvio, coleta e anlise das evidncias, utilizando as estratgias de pesquisa bibliogrfica, anlise documental, entrevistas e aplicao
de questionrio. Constitudo por perspectivas, condicionantes e parmetros, o Madri que pode ser
reproduzido, com devidas adequaes, a outras realidades regulatrias tem o potencial, primeiramente, de induzir a gesto orientada por resultados, gerando aperfeioamento das regulamentaes e
fomentando aprendizagem, e, depois, mais amplamente, de reduzir a deficincia em avaliao ex post
dos sistemas regulatrios nacionais.
P a l av r a s - c h av e : polticas pblicas; regulao; avaliao ex post; Inmetro.
Monitoreo para evaluacin del desempeo regulatorio del Instituto Nacional de Metrologa,
Calidad y Teconloga
El objetivo de este trabajo es presentar la sistemtica de Monitoreo para Evaluacin del Desempeo
Regulatorio del Instituto Nacional de Metrologa, Calidad y Tecnologa (Inmetro), el Madri. Adoptando
como la teora de apoyo el mapa de causa y efecto desarrollado por la Ocde para evaluar el impacto de
la regulacin, la investigacin se ha estructurado en los pasos de conocimiento previo, recopilacin y
anlisis de la evidencia, y ha utilizado las estrategias de revisin de la literatura, anlisis de documentos, entrevistas y aplicacin de cuestionario. Compuesto de perspectivas, restricciones y parmetros,
el Madri que puede ser reproducido, con debidos ajustes, a otras realidades regulatorias tiene
el potencial, ante todo, de inducir la gestin orientada por resultados, lo que genera la mejora de los

DOI: http://dx.doi.org/10.1590/0034-7612132083
Artigo recebido em 17 mar. 2014 e aceito em 22 set. 2014.

Rev. Adm. Pblica Rio de Janeiro 49(2):447-472, mar./abr. 2015

448

Danielle Assafin Vieira Souza Silva Marcus Vincius de Araujo Fonseca

reglamentos y el fomento del aprendizaje, y, despus, ms ampliamente, de reducir la deficiencia en

evaluacin ex post de los sistemas nacionales de reglamentacin.
Palabras

c l av e :

polticas pblicas; regulation; avaliation ex post; Inmetro.

Monitoring for the evaluation of regulatory performance of the Brazilian National Institute for
Metrology, Quality and Technology
The aim of this paper is to present the systematic Madri Monitoring for Inmetro (Brazilian National
Institute for Metrology, Quality, and Technology)s Regulatory Performance Evaluation. Having the
cause-and-effect map developed by Ocde as main theory to evaluate regulatory impact, the research
was based on the steps of previous knowledge, evidence search and evidence analysis, using the strategies of bibliographic research, documental analysis, interviews and survey. Composed of perspectives,
constraints and parameters, Madri which can be reproduced, with certain adaptation, to other regulatory realities has the potential, at first, to foster the management driven by results, generating
regulation improvement and enhancing learning, and, then, in a broader way, to reduce the national
regulatory systems deficiency in ex post evaluation.
K e y w o r d s : public policies; regulation; ex post evaluation; Inmetro.

1. Introduo
Embora a atividade regulatria do governo, como hoje conhecida, tenha nascido nos anos
de 1960 e 1970, em particular, nos Estados Unidos e na Inglaterra, os debates no mundo em
torno da regulao intensificaram-se na ltima dcada. Na virada do milnio, as novas discusses tratam da busca de mtodos no tradicionais de regulao, como a autorregulao (selfregulation) ou a metarregulao (meta-regulation); mudana de tratamento regulatrio, com
nfase ao cumprimento das regras (enforcement and compliance) e introduo de novas abordagens, como a regulao responsiva (responsive regulation) e inteligente (smart regulation);
introduo da reforma regulatria e da regulao de qualidade (high quality regulation), tambm chamada melhor regulao (better regulation) (Baldwin et al., 2013).
Nesses ltimos anos, no esforo da simplificao administrativa e do aprimoramento para a better regulation, em especial entre os pases da Organizao para Cooperao e
Desenvolvimento Econmico (Ocde), a prtica da avaliao regulatria ex post vem sendo
mais amplamente implementada. Afinal, ela permite investigar se efeitos indesejveis so
gerados e se as regras continuam o meio mais eficiente de se atingir os objetivos, ampliando
a convergncia da regulamentao para os alvos desenhados. A pesquisa da Ocde identificou
a progressiva consolidao, pelos pases-membros, da forma com que novas regras so desenvolvidas e revistas (Ocde, 2009b).
A maior utilizao da avaliao ex post, no entanto, no a aponta como matria encerrada, sendo indicada como rea com potencial de explorao para prximos estudos (Ocde,
2009b). Mesmo entre os membros da Ocde, nota-se o peso dado adoo da Anlise de
Impacto Regulatrio (AIR), notadamente ex ante, em detrimento das avaliaes ex post. Para
Rev. Adm. Pblica Rio de Janeiro 49(2):447-472, mar./abr. 2015

Monitoramento para avaliao do desempenho regulatrio

449

contornar esse quadro, so essenciais o desenvolvimento de indicadores para medir os resultados relevantes e o desenho de pesquisa para apoiar as inferncias do desempenho regulatrio (Ocde, 2012c).
Quando comparado com os indicadores obtidos entre os pases-membros da Ocde, o
retrato brasileiro revela lacuna na adoo da avaliao ex post pelos sistemas de gesto regulatria nacionais. So inexistentes, no Brasil, segundo pesquisa da Ocde, tcnicas padronizadas
para a atividade avaliativa e critrios para a reviso das regulaes (Ocde, 2011).
A crescente importncia dada avaliao ex post correlaciona-se gnese recente dos
movimentos para melhoria da atividade regulatria, o que explica a incipincia, no mundo,
ou inexistncia, no caso brasileiro, da adoo de sistemticas avaliativas das regulaes. A
crise financeira internacional, iniciada em 2007, acirrou as discusses entre os defensores da
regulao e os adeptos desregulao ou regulao mais branda (light touch regulation)
(Baldwin et al., 2013). Nesse contexto, surgiram os esforos dos diversos pases para a simplificao administrativa, para a reduo dos encargos impostos aos negcios e para o aprimoramento das regulaes.
Considerando, portanto, a relevncia da avaliao regulatria ex post e a necessidade de
aprofundar os estudos em torno do tema, foi formulada a seguinte questo de pesquisa: como
avaliar as polticas regulatrias aps sua implementao? O estudo delimitou-se realidade
nacional, tendo como objeto as regulaes para produtos, processos e servios do Instituto
Nacional de Metrologia, Qualidade e Tecnologia (Inmetro), que tenham a avaliao da conformidade como estratgia para evidenciar o atendimento s regras.
A investigao resultou na construo da sistemtica para Monitoramento para Avaliao do Desempenho Regulatrio do Inmetro (Madri), tendo como base o referencial terico
do mapa causa-e-efeito, desenvolvido pela Ocde. Seu potencial induzir a orientao por resultados, gerar aperfeioamento das regulamentaes e fomentar aprendizagem. A sistemtica foi verificada pela Diretoria de Avaliao da Conformidade (Dconf) do Inmetro, que indicou sua consistncia e utilidade.
O ineditismo do Madri ocorre, primeiramente, pela adaptao, sem similar encontrado
na literatura, de uma ferramenta, de roupagem genrica, desenvolvida por um organismo
internacional, o mapa causa-e-efeito da Ocde, para um caso concreto. Na direo de se obter
a melhor vantagem desse ferramental, foram gerados conceitos, relacionamentos lgicos e
ferramentais para a realidade brasileira, especificamente a do Inmetro. Depois, o prprio
Madri, em si, revela-se como indito, na medida em que no se identificou na literatura uma
sistemtica com caractersticas e aplicabilidade similares.
A seguir, na segunda seo, ser apresentado o referencial terico, desenvolvido pelo
mtodo de pesquisa bibliogrfica de Russo e colaboradores (2006), conforme figura 1. Selecionou-se o primeiro conjunto de artigos pelo Portal de Peridicos da Capes entre os peridicos com classificao Qualis A ou B, em pelo menos uma dessas reas do conhecimento:
administrao, economia, direito e cincias polticas , totalizando 14 trabalhos. Alm disso,
foram acessados os stios da Ocde, Banco Mundial e Ipea, utilizando-se das palavras-chave
avaliao, regulao, anlise de impacto regulatrio, avaliao de polticas pblicas e avaliao
de polticas regulatrias, bem como suas correspondentes no idioma ingls, o que possibilitou
Rev. Adm. Pblica Rio de Janeiro 49(2):447-472, mar./abr. 2015

450

Danielle Assafin Vieira Souza Silva Marcus Vincius de Araujo Fonseca

a seleo de 15 obras de interesse. Finalmente, a busca de documentos produzidos pelos

autores de referncia (William Kip Viscusi, Robert Baldwin e Cary Coglianese) ocorreu pela
digitao de seus nomes no site do Google e anlise dos resultados ento obtidos, sendo captadas mais nove obras de referncia.
Figura 1

Mtodo para pesquisa bibliogrfica

Fonte: Adaptada de Russo e colaboradores (2006).

A terceira seo dedica-se descrio do mtodo desta pesquisa. Em sequncia, na quarta parte do artigo, so apresentados os resultados alcanados. Primeiramente, faz-se a des
crio, obtida por meio da anlise documental, do objeto do estudo, a Implantao Assistida
de Regulamentao Tcnica (RT) e Programas de Avaliao da Conformidade (PAC) no Inmetro; depois, apresenta-se o Madri, para, em seguida, descreverem-se os resultados da verificao da sistemtica feita pela diretoria do Inmetro. A quinta seo traa as consideraes finais,
com concluses acerca das proposies de pesquisa e da universalizao dos seus resultados.

2. Referencial terico
2.1 Regulao: breve histrico
Apesar de remeterem o gnesis da regulao a muito antes do controle ps-privatizao do
sculo XX, pontuando-o poca do absolutismo ingls da dinastia Tudor e Stuart, nascida
Rev. Adm. Pblica Rio de Janeiro 49(2):447-472, mar./abr. 2015

Monitoramento para avaliao do desempenho regulatrio

451

no sculo XVI, Baldwin e colaboradores (2013) reconhecem que, a partir dos anos 1930, a
regulao se encontrava em um estvel processo de crescimento. Destacam o surgimento, em
1954, na Inglaterra, da primeira agncia reguladora no estilo norte-americano, a Independent
Television Authority (ITA). Nos Estados Unidos, essas agncias j existiam desde 1887, com o
estabelecimento do Interstate Commerce Comission, para limitar a precificao das estradas
de ferro. Na Inglaterra, a criao da ITA foi sucedida, entre 1960 e 1980, pela formao de
outras variadas agncias, para lidar com questes de monoplio, relaes industriais, aviao
civil, sade e segurana do trabalho, entre outros (Baldwin et al., 2013).
Viscusi e colaboradores (1998) ressaltam que, no incio do sculo XX, nos Estados Unidos, diversas agncias reguladoras foram criadas nos campos de transporte, comunicao
e seguro. Elas nasceram para fixar parmetros de desempenho das firmas, minimizando as
falhas de mercado de estrutura concentrada. Fazem, porm, uma distino entre o nascer
da regulao econmica e a emergncia da mais recente atividade regulatria com foco em
sade, segurana e meio ambiente, ocorrida somente na dcada de 1970. A motivao para
esse novo tipo de regulao est no tratamento dos riscos existentes no meio ambiente, no
ambiente de trabalho e nos produtos consumidos (Viscusi et al., 1998).
No Brasil, a criao das primeiras agncias reguladoras ocorreu somente ao final da
dcada de 1990, quando o governo iniciou a privatizao de suas empresas estatais. Muito
embora a atividade regulatria, em seu sentido mais abrangente, j fosse desenvolvida por
ministrios, autarquias (como o Inmetro) e pelo Legislativo, foi somente a partir da criao
das agncias que a discusso sobre regulao no Brasil comeou a acontecer de forma mais
sistemtica. Em 2007, com o Decreto-Lei no 6.062, de 16 de maro de 2007, foi estabelecido
no pas o Programa de Fortalecimento da Capacidade Institucional para Gesto em Regulao
(Pro-Reg), cujo objetivo o aprimoramento do processo regulatrio brasileiro. Para isso, esse
movimento segue as recomendaes da Ocde, que defende haver clara relao entre o desempenho econmico e social de um pas a longo prazo e a qualidade de seu marco regulatrio
(Alves e Peci, 2011:803).

2.2 Regulao: o que ?

As definies de regulao verificadas na reviso da literatura indicam abordagens complementares, que tratam o termo com base em suas diferentes facetas. De forma geral, a Ocde
(2012b) entende regulao como um termo abrangente, que cobre um variado nmero de
atividades de governana desenvolvidas no s pelo Estado, mas tambm por organizaes
internacionais, atores privados e organizaes da sociedade civil. Outras definies do nfase ao foco da regulamentao, sua natureza processual, s suas caractersticas ou aos seus
propsitos, conforme ser observado.
Viscusi e colaboradores (1998) diferenciam a regulao econmica daquela com foco
em sade, segurana e meio ambiente. Para os autores, a primeira inclui o uso do poder de
coero do Estado para restringir as decises das firmas sobre preos, quantidades, entradas e
Rev. Adm. Pblica Rio de Janeiro 49(2):447-472, mar./abr. 2015

452

Danielle Assafin Vieira Souza Silva Marcus Vincius de Araujo Fonseca

sadas. Geralmente, esto associadas aos setores de infraestrutura. A outra se detm, primordialmente, na reduo dos riscos ao meio ambiente, ao ambiente de trabalho e aos produtos
que so consumidos, no esforo de diminuir acidentes e ampliar o bem-estar fsico.
Para Brown e Stern (2006), regulao refere-se aos controles impostos pelo governo
s atividades de negcio. J Coglianese e Mendelson (2010) definem o termo com base nos
atributos das ferramentas regulatrias. Assim, para os autores, regulao um conjunto de
instrumentos com quatro caractersticas fundamentais: alvo (entidade impactada), regulador
(quem cria as regras), comando (o que fazer) e consequncias.
Outro trabalho desenvolvido pela Ocde (2012a) lembra a caracterstica processual da
regulao, que deve se iniciar com a identificao de um objetivo. Em seguida, passa pela
deciso de se usar regulao como instrumento e, se for o caso, com seu desenvolvimento e
adoo da poltica regulatria, por meio de um processo de tomada de deciso baseado em
evidncias. H trs aspectos aqui que merecem ser destacados. Primeiro, a necessidade de
explicitar um objetivo. Depois, a verificao se, de fato, a regulao o melhor instrumento
para o alcance desse fim presumindo-se, portanto, que nem sempre o . Finalmente, o imperativo de pautar as decises com base em dados e fatos.
Baldwin e colaboradores (2013) caracterizam as polticas regulatrias como atividades intervencionistas do Estado, que limitam o comportamento dos agentes, prevenindo a
ocorrncia de certas condutas econmicas consideradas indesejveis. Em seu sentido restrito,
regulao o conjunto de instrumentos normativos, tais como leis e decretos. De forma mais
ampla, regulao o conjunto de aes do Estado, deliberadamente, para influenciar o comportamento social ou econmico. Em uma abrangncia ainda maior, a regulao toda forma
de controle ou influncia social ou econmica, incluindo determinaes deliberadas ou no.
A Ocde (2012c), igualmente, compreende regulao como sinnimo de lei, acrescentando que, de modo geral, baseada em ameaa de penalidades para aqueles que no as
cumprirem. O propsito gerar impactos positivos na resoluo de problemas sociais e econmicos pela mudana do comportamento de indivduos ou organizaes. A poltica regulatria voltada ao setor produtivo, mas tambm s organizaes sem fins lucrativos, entidades
governamentais, ou mesmo indivduos. Finalmente, a regulao pode advir de parlamentares
e legisladores, ministrios e agncias ou de plebiscitos.

2.3 Avaliao regulatria

Considerada uma prtica para a melhor regulao, a avaliao regulatria ex post adotada
pela maioria dos pases da Ocde, porm h ausncia de padronizao, entre as naes, de
mtodos, tcnicas e ferramentas, em contraposio grande nfase dada s anlises ex ante.
No Brasil, no h registros de realizao da atividade avaliativa pelos reguladores do pas
(Ocde, 2011).
Dessa forma, a procura da conceituao de avaliao regulatria no trivial, j que a
literatura sobre essa temtica especfica no extensa. A definio do termo est comumente
Rev. Adm. Pblica Rio de Janeiro 49(2):447-472, mar./abr. 2015

Monitoramento para avaliao do desempenho regulatrio

453

associada ao uso instrumental dos resultados, ou seja, sua utilizao para o aperfeioamento
das regulaes existentes. tambm recorrente encontrar o termo mensurao ou medida,
indicando a inclinao da prtica para a quantificao dos resultados.
Brown e Stern (2006) fazem uma analogia da avaliao regulatria com o exame mdico peridico, afirmando que so cada vez mais evidentes os benefcios obtidos com a atividade
avaliativa. Para Blind (2008), a prtica permite avaliar a eficcia e eficincia dos instrumentos
regulatrios, por meio de medio e monitoramento de sua performance, permitindo proceder
com a reviso de regulaes existentes.
Black e Baldwin (2010) indicam a avaliao como um dos elementos centrais para a
regulao realmente responsiva e baseada em riscos. A avaliao volta-se no somente para
ajustar as estratgias e aprimorar os nveis de desempenho, como tambm para justificar a
performance obtida ao pblico interessado. Defendem que se deve desenvolver a sensibilidade
para medir o desempenho pela adoo de um programa avaliativo especfico.
J a Ocde (2012c) afirma que a avaliao que ir verificar como a regulao contribuiu para a mudana de comportamento, bem como os impactos positivos e negativos provocados nas condies do mundo. Em outro trabalho da Ocde (2012d), a avaliao ex post
defendida porque somente aps a implementao que os efeitos e implicaes de uma
legislao podem ser plenamente avaliados, possibilitando verificar se a lei criada continua
atualizada ante as mudanas ocorridas e se deve ser submetida reviso. A avaliao ex
post , por essa definio, a ltima etapa do ciclo de polticas regulatrias, conforme mostra
a figura 2.
O trabalho realizado pela Ocde (2012d), sobre avaliao de leis e regulaes, para o
caso da Cmara dos Deputados do Chile, indica que o mtodo para estudos avaliativos ex post
precisa ser desenhado adequadamente para ser possvel a coleta dos dados relevantes. Para
isso, preciso viabilizar sistemas, estruturas, equipes de apoio e tempo. As etapas da avaliao regulatria, ainda segundo a Ocde (2012d), incluem o planejamento (cronograma, partes
interessadas e atividades), partindo para o desenho (propsitos, escopo, critrios, fontes de
dados, equipes etc.), formulao das questes de avaliao, identificao de fontes e formas
de dados, coleta de dados, uso de dados quantitativos e qualitativos, anlise e validao, concluso e recomendaes e, finalmente, disseminao.
No que tange sistematizao da avaliao ex post pelos sistemas de regulao, nesse
processo de formao de conhecimento em torno do tema, foi possvel identificar, com destaque, os trabalhos do Banco Mundial (Brown e Stern, 2006) e da Ocde (2012c). O primeiro
prope um modelo de avaliao dos sistemas de regulao. No uma sistemtica voltada
para o estudo de uma determinada regulao, mas sim de todo um sistema, com foco no
setor de infraestrutura. Os autores sugerem avaliaes em trs nveis: a rpida, que pode
ser conduzida por pessoas com conhecimento geral do setor, a de nvel mdio, que envolve
a realizao extensiva de entrevistas com reguladores, servidores do governo, executivos do
setor e consumidores, e, finalmente, a aprofundada, que vai alm e busca coletar e analisar
um montante maior de dados.
Rev. Adm. Pblica Rio de Janeiro 49(2):447-472, mar./abr. 2015

454

Danielle Assafin Vieira Souza Silva Marcus Vincius de Araujo Fonseca

Figura 2

Estgios do ciclo de polticas regulatrias

Fonte: Ocde (2012d).

O segundo, por sua vez, prope uma sistemtica para avaliao regulatria ex post, com
base na gerao de indicadores de resultados e no mapa causa-e-efeito. O framework proposto pelo recm-publicado trabalho da Ocde (2012c) Measuring regulatory performance:
evaluating the impact of regulation and regulatory policy , produzido por Cary Coglianese,
fundamenta-se na seguinte cadeia lgica: a regulamentao implementada leva mudana
de comportamento dos atores-alvo ou afetados pela regulao, o que acarreta, finalmente,
mudanas nas condies do mundo.
Assim, o autor prope trs esferas avaliativas. A primeira diz respeito avaliao da
administrao regulatria, voltada para compreender o quo bem as regulaes esto sendo
gerenciadas, com base nos indicadores de processo. Depois, h a avaliao do comportamento, para verificar a adeso da populao-alvo regulamentao. Finalmente, a avaliao de
performance mensura os resultados intermedirios e finais alcanados, com base nos indicadores de resultados substantivos.
Essa relao de causa e efeito, os tipos de avaliao e de indicadores de resultados esto
representados na figura 3. J os principais elementos desse modelo esto brevemente descritos no quadro 1.

Rev. Adm. Pblica Rio de Janeiro 49(2):447-472, mar./abr. 2015

455

Monitoramento para avaliao do desempenho regulatrio

Figura 3

Mapa causa-e-efeito para avaliao do impacto regulatrio

Fonte: Adaptada de Ocde (2012c:36).

Quadro 1

Principais elementos do mapa causa-e-efeito

Elementos

Descrio

1. Instituies regulatrias

So as caractersticas referentes s estruturas para tomada de deciso e ao regulatria.

2. Poltica regulatria

So as regras, procedimentos e prticas de regulao, podendo incluir regras de transparncia

e de consulta, acesso do pblico a encontros-chave e abertura de informaes relevantes
sobre as decises tomadas.

3. Regulao

Tanto a regulao de interesse, como outras expedidas pelo mesmo regulador ou no

afetam o comportamento da populao-alvo e partes impactadas.

4. Implementao e aplicao

A aplicao da regulao no pode ser considerada, pelo regulador, automtica, devendo as

regras ser comunicadas, bem como promovida assistncia para seu cumprimento.

5. Mudana de comportamento

o primeiro efeito da regulao, que pode ser conforme o esperado ou ocorrer de forma
indesejada, sendo manifestado naqueles indivduos ou organizaes-alvo da regulao.

6. Resultados intermedirios

Resultados referem-se a condies do mundo. Os resultados intermedirios so alteraes

iniciais decorrentes, diretamente, da mudana de comportamento e precedem o alcance
do resultado final.
Continua

Rev. Adm. Pblica Rio de Janeiro 49(2):447-472, mar./abr. 2015

456

Danielle Assafin Vieira Souza Silva Marcus Vincius de Araujo Fonseca

Elementos

Descrio

7. Resultados finais

Referem-se soluo ou reduo do problema primrio que motivou o esforo regulatrio.

Podem incluir custos, impacto na inovao tecnolgica, equidade, entre outros.

Servem para lembrar que os resultados gerados podem ser afetados por inmeros fatores
8. Outras influncias e outros
no regulatrios. Eles levam a outros resultados intermedirios que, por sua vez, impactam
resultados intermedirios e
em outros resultados finais, como custo da regulao, inovao tecnolgica, equidade, entre
finais
outros.
Fonte: Elaborado com base em Ocde (2012c).

A pouca literatura encontrada especificamente sobre avaliao regulatria ex post induz

busca pelo conhecimento sobre o tpico, com base no arcabouo terico-prtico desenvolvido para a anlise de impacto regulatrio (AIR). A AIR, tida pela Ocde como elemento central
dos esforos de reforma regulatria e busca da melhor regulao (Ocde, 2009a), comumente definida como o estudo ex ante do problema a ser tratado e das alternativas regulatrias
existentes, para pautar a tomada de deciso dos reguladores com base em evidncias. Ainda
que esse seja o enfoque mais comum dado prtica, possvel tambm encontrar autores que
consideram a avaliao ex post como fase do AIR (Peci, 2011).
Coglianese (Ocde, 2012c), apesar de diferenciar os estudos ex ante da avaliao ex post,
considera que as ferramentas de anlise utilizadas na primeira podem ser aproveitadas pela
outra. sugerido, portanto, que, tal como na ex ante, a avaliao de impacto ps-implementao mensure indicadores do tipo net-benefits (benefcios gerados menos custos impostos),
custo-efetividade (custo para um dado nvel de benefcio) e impacto (mudanas no problema), prioritariamente nessa ordem.
As principais ferramentas analticas do AIR so econmicas e buscam, primordialmente,
a quantificao dos custos e benefcios das alternativas regulatrias para subsidiar a deciso
sobre qual adotar. Lima (2010) identifica a anlise custo-benefcio (ACB), a anlise custoefetividade (ACE) e anlises parciais como os principais mtodos utilizados pelo AIR. J Alves
e Peci (2011) destacam, alm da ACB e ACE, as seguintes anlises: do custo de cumprimento,
de impacto nos negcios, fiscal ou oramentria, de risco e, finalmente, risco-risco.
Peci (2011) ressalta que justamente para as anlises custo-benefcio que as crticas
contra o AIR so direcionadas. As restries para o uso da ACB baseiam-se na argumentao
de que a quantificao de valor de vidas humanas ou questes ambientais pode causar distores e mesmo ser imoral , devendo decises sobre sade, segurana ou meio ambiente
serem pautadas em valores democrticos e julgamentos morais. Alm disso, apesar de ser
valorizado pela sua abordagem quantitativa trazendo a sensao de imparcialidade e objetividade , seus resultados no so garantia de preciso. Uma anlise feita dos relatrios de
AIR produzidos na ltima dcada pelo Office of Managemnt and Budget (OMB), responsvel
pela gesto dos sistemas regulatrios nos Estados Unidos, revela certo ceticismo quanto
confiabilidade dos clculos dos benefcios regulatrios, geralmente sobrestimados (Dudley,
2012). Ainda assim, o mtodo ACB o mais disseminado para a prtica de AIR (Peci, 2011).
Rev. Adm. Pblica Rio de Janeiro 49(2):447-472, mar./abr. 2015

Monitoramento para avaliao do desempenho regulatrio

457

preciso notar, finalmente, a importncia de considerar as variveis poltico-organizacionais do ambiente de institucionalizao das prticas avaliativas, conforme demonstram os
trabalhos de Peci (2011), aplicado ao caso brasileiro, e Staronov (2010), relativo a alguns
pases da Europa Oriental. No caso nacional, apesar de identificarem-se slidas capacidades
organizacionais que influenciam, de forma positiva, a adoo da AIR, o contexto local de
adoo da prtica indica que preciso construir solues mais customizadas, que busquem
se adaptar s realidades percebidas e vivenciadas pelos principais atores do contexto regulatrio (Peci, 2011). Da mesma forma, foi verificado que, entre os pases da Repblica Checa,
Estnia, Hungria, Eslovquia e Eslovnia, os diferentes nveis de qualidade das anlises produzidas devem-se s variaes nas capacidades institucionais e administrativas dessas naes
(Staronov, 2010).
A avaliao regulatria considerada boa prtica (Sinmetro, [200-]; Anvisa, 2008) e
tida pela Ocde (2009, 2012a, 2012b) como fundamental para o aprimoramento dos sistemas
de gesto de regulao. Ela o meio mais eficiente de se atingir os objetivos desejados, pois
contribui para verificar se a regulamentao est convergindo para o caminho desejado, investigar se esto sendo gerados efeitos indesejveis e se as regras ainda esto adequadas ao
fim a que se propuseram (Ocde, 2011). Nesse contexto, o uso dos resultados da avaliao
regulatria est comumente associado ao aperfeioamento da regulao vigente, de forma a
garantir a consecuo dos objetivos e no criar encargos desnecessrios aos negcios (Blind,
2008; Black e Baldwin, 2010; Ocde, 2012d).
Para explorar mais profundamente as possveis utilidades da avaliao regulatria, recorreu-se literatura mais geral sobre avaliao das polticas pblicas. Nessa esfera, comum
associar o uso da avaliao ao apoio para o processo decisrio do gestor governamental em
continuar, aprimorar ou eliminar o programa pblico. Ala-Harja e Helgason (2000:5) consideram que a avaliao de programas leva gerao de grandes mudanas nas polticas,
melhoria dos programas (aprendizado organizacional), melhor alocao oramentria e ao
suporte no estabelecimento de responsabilidades.
Weiss (1998) identifica a aplicabilidade da avaliao para alm de seu papel instrumental aquele que presta suporte ao processo decisrio , apontando outros trs tipos de
uso. H o uso de compreenso, quando, principalmente, se realizada de forma participativa,
a avaliao traz um esclarecimento antes no desenvolvido; de persuaso, caso a avaliao se
preste mobilizao de recurso; e de esclarecimento, quando a avaliao, por meio do acmulo de conhecimento, influencia a organizao como um todo e, mesmo, outras instituies.
J a maior transparncia e responsabilizao trazidas com a prtica avaliativa so lembradas
por Ceneviva e Farah (2012). Por essa percepo, a avaliao e os sistemas de avaliao de
polticas pblicas reduzem a assimetria de informao entre polticos e cidados, bem como
polticos e burocratas. Para isso, no s a divulgao dos resultados do estudo condio necessria, mas tambm a participao social no processo avaliativo.
preciso reconhecer, porm, o contexto poltico que pode influenciar o uso da avaliao (Ala-Harja e Helgason, 2000:26). Nesse sentido, Faria (2005:102a,102b) chama de
Rev. Adm. Pblica Rio de Janeiro 49(2):447-472, mar./abr. 2015

458

Danielle Assafin Vieira Souza Silva Marcus Vincius de Araujo Fonseca

poltica da avaliao de polticas pblicas os fatores que condicionam os diversos usos da

avaliao e que dificultam sua aplicao para melhorar a qualidade das decises e garantir
a maximizao da consecuo dos objetivos definidos pelas polticas e programas. O conflito
de interesses entre as unidades do programa, a rigidez nas regras organizacionais e procedimentos dos padres de operao e as mudanas nas condies externas so apontados por
Weiss (1998) como obstculos para o amplo uso dos resultados da avaliao.
Para evitar desvios do efetivo uso da avaliao, as condies devem ser planejadas
(Finkler e DellAglio, 2013). O estudo avaliativo precisa tornar parte de um complexo entrelaamento de variveis informativas, tcnicas, pessoais, polticas e organizacionais (Fagundes
e Moura, 2009), garantindo uma relao entre os procedimentos administrativos e a tomada de deciso regulatria, de forma a no ocorrer a paralisao pela avaliao (Coglianese,
2008). A estabilidade do sistema de avaliao passa, portanto, a ser condio sine qua non
para a prtica e, por isso, fundamental entender a avaliao como um processo social de
interao entre aqueles que esto sendo avaliados, o pblico da avaliao e aqueles que a
desenvolvem (Bach, 2012).

3. Mtodo
Conforme tipologia de Vergara (2005), a pesquisa pode ser classificada como exploratria e
aplicada. Exploratria, porque sonda uma rea de pouco conhecimento sistematizado: a avaliao regulatria ex post e, em especial, dos PACs do Inmetro; aplicada, porque motivada
para solucionar um problema concreto: a ausncia de uma sistemtica para avaliao das
regulaes do Inmetro.
Tendo por base o mtodo de estudo de caso de Yin (2001), a pesquisa estruturou-se nas
etapas de (1) conhecimento prvio, (2) coleta das evidncias e (3) anlise das evidncias. A
figura 4, cuja elaborao foi inspirada em Costa (2014), demonstra o encadeamento dessas
etapas, seus objetivos e mtodos correspondentes.
Para buscar referenciais sobre avaliao regulatria, o conhecimento prvio pautouse na j descrita pesquisa bibliogrfica. Entre outros resultados, essa etapa possibilitou a
seleo do mapa causa-e-efeito da Ocde como principal teoria-base para o Madri. A coleta
de evidncias, por sua vez, buscou elementos que possibilitassem a adaptao do mapa
causa-e-efeito para a realidade do Inmetro. A anlise documental, nesse sentido, possibilitou a caracterizao da Implantao Assistida de RTs e PACs, a partir da qual so geradas as
regulaes do Inmetro. As referncias documentais utilizadas foram aquelas desenvolvidas
pelo prprio Inmetro, com potencial de contribuir pesquisa, entre manuais, normas internas e guias.

Rev. Adm. Pblica Rio de Janeiro 49(2):447-472, mar./abr. 2015

Monitoramento para avaliao do desempenho regulatrio

459

Figura 4

Estratgia de estudo de caso: etapas aplicadas pesquisa

Fonte: Elaborao prpria (2013).

J as entrevistas contriburam para a formao de conceitos e relacionamentos lgicos

para a customizao do mapa causa-e-efeito da Ocde, em direo formao do Madri. Elas
foram feitas com regulamentadores do Inmetro, nas instalaes do Instituto, no Rio de Janeiro, entre agosto de 2012 e maro de 2013. Tendo como requisito fundamental abordar os
chefes de todas as unidades operacionais da Dconf e ao menos um tcnico de cada uma delas,
realizaram-se entrevistas at se perceber a minimizao das informaes novas e relevantes.
Foram conduzidas 10 entrevistas, totalizando 12 horas. Os entrevistados so servidores federais do Inmetro, dedicam-se atividade de regulamentao e avaliao da conformidade
e possuem formaes diversas, 90% com mestrado e 50% com doutorado finalizado ou em
andamento. O tempo mdio de atuao no Inmetro so 11,3 anos e, no servio pblico, 14,8
anos. As entrevistas pautaram-se em um roteiro, foram gravadas e transcritas. Consecutivamente, foram elaborados mapas conceituais, com o software CmapTools, que auxiliaram a
elaborao de tabelas de consolidao e permitiram rastreabilidade de contedo.
A anlise das evidncias consistiu, primeiramente, na elaborao do prprio Madri, a
partir do cruzamento de concluses obtidas nas fases anteriores. Essa etapa tambm incluiu
a verificao da consistncia e utilidade da sistemtica. Cumpre dizer que o Madri foi de-

Rev. Adm. Pblica Rio de Janeiro 49(2):447-472, mar./abr. 2015

460

Danielle Assafin Vieira Souza Silva Marcus Vincius de Araujo Fonseca

senvolvido no mbito desta pesquisa, no tendo ainda sido implementado no Inmetro, at o

momento de elaborao deste artigo. A verificao de sua pertinncia realizou-se por meio
de aplicao de questionrio, em janeiro de 2014, ao diretor da Dconf, a seus assistentes da
Direo e chefes das divises (ou substitutos), totalizando 12 participantes. Acredita-se ser
pertinente tal estratgia porque o corpo diretor e gestor da Dconf compreende a complexidade envolvida no macroprocesso de avaliao da conformidade. Alm disso, esse grupo pode
dimensionar as limitaes operacionais da Diretoria, de forma a avaliar a utilidade da ferramenta proposta ante essas restries. O maior detalhamento dos critrios utilizado para essa
verificao encontra-se na seo 4.3 deste trabalho.

4. Apresentao dos resultados

4.1 Avaliao da conformidade no Inmetro
O Inmetro, autarquia federal vinculada ao Ministrio do Desenvolvimento, Indstria e Comrcio Exterior (MDIC), foi criado pela Lei no 5.966/1973, que instituiu o Sistema Nacional de
Metrologia, Normalizao e Qualidade Industrial (Sinmetro). Entre suas atribuies legais,
destacam-se aqui as relacionadas com a avaliao da conformidade, que o fazem gestor do
Sistema Brasileiro de Avaliao da Conformidade (Sbac), subsistema do Sinmetro.
Avaliao da conformidade , segundo a Norma Brasileira ABNT NBR ISO/IEC 17000,
a demonstrao de que um produto, processo, sistema, pessoa ou organismo atendem aos requisitos especificados (ABNT, 2005). O Inmetro complementa esse conceito, destacando que
o processo de avaliao da conformidade deve gerar o menor custo possvel sociedade. A
atuao em avaliao da conformidade , para o Instituto, parte de sua prpria misso institucional, como forma de prover a inovao, a competitividade e a harmonizao das relaes
de consumo na indstria brasileira (Inmetro, 2012c).
Internamente, o instituto instituiu o macroprocesso de avaliao da conformidade de
produtos, processos, servios ou profissionais, representado na figura 5, para gerenciar as diferentes atividades de desenvolvimento e implementao desses programas.
A avaliao da conformidade inicia-se com a identificao e priorizao de demandas,
que inclui a elaborao do Plano de Ao Quadrienal (PAQ), com a participao de diversos
segmentos da sociedade, a ser aprovado pelo Conmetro. Para um horizonte de quatro anos, o
PAQ define os objetos que sero tratados pelo Inmetro e que formaro a Agenda Regulatria
(Inmetro, 2007, 2013a).
A Anlise de Impacto Regulatrio (AIR), por sua vez, antecede o desenvolvimento dos
programas (Inmetro, 2013c). Essa anlise visa reflexo ex ante sobre a pertinncia de se
desenvolver um PAC, sugerindo para a gerncia e direo da Dconf o tratamento a ser dado
demanda. As concluses do estudo buscam balizar os gestores com informaes mais apuradas sobre os objetos da Agenda Regulatria, de forma a apoiar o processo decisrio quanto
a regulamentar ou no.
Rev. Adm. Pblica Rio de Janeiro 49(2):447-472, mar./abr. 2015

Monitoramento para avaliao do desempenho regulatrio

461

Figura 5

Macroprocesso de avaliao da conformidade

Fonte: Adaptada de Inmetro (2012a).

Assim, inicia-se o processo de Desenvolvimento ou Aperfeioamento e Implementao

(Inmetro, 2013d). O desenvolvimento passa pelas atividades de anlise da base normativa
existente; formao da Comisso Tcnica; definio dos requisitos essenciais para o objeto e
do passo a passo para a avaliao da conformidade; consulta pblica; consolidao da consulta pblica e publicao definitiva da regulamentao.
Com isso, inicia-se fase de implementao, que consiste no monitoramento das informaes relativas formao da infraestrutura da qualidade para o PAC (nmero de laboratrios e organismos acreditados para o escopo) e no acompanhamento da adeso do setor
produtivo ao programa. O objetivo que os organismos de avaliao da conformidade possuam capacidade para atender s demandas e que o setor adira ao PAC, evitando postergao
dos prazos de adequao estabelecidos. A implementao finalizada com o trmino desses
prazos (Inmetro, 2013d).
Durante essa etapa, tambm so conduzidos os esforos para a disseminao do PAC. O
pblico-alvo desse processo so os fornecedores (fabricantes e importadores), comerciantes e
varejistas, consumidores, instituies parceiras e o prprio pblico interno Dconf. Exemplos
de aes de orientao so capacitao, divulgao, coordenao de participao em eventos,

Rev. Adm. Pblica Rio de Janeiro 49(2):447-472, mar./abr. 2015

462

Danielle Assafin Vieira Souza Silva Marcus Vincius de Araujo Fonseca

elaborao de material informativo sobre os PACs, esclarecimento de dvidas tcnicas, entre

outras (Inmetro, 2011).
Para as regulamentaes de carter compulsrio, aplica-se o Acompanhamento no Mercado, que ocorre mediante fiscalizao realizada pelos rgos delegados nos estados e exige,
entre outras tarefas, a elaborao do procedimento de fiscalizao e o treinamento dos fiscais
(Inmetro, 2013e). O Programa de Verificao da Conformidade (PVC) outro esforo do
Acompanhamento de Mercado (Inmetro, 2013f). Consiste, em linhas gerais, na coleta no comrcio de amostra dos objetos (em especial, produtos) regulamentados e na submisso desses
itens a ensaios em laboratrios acreditados, para verificar se as amostras esto de acordo com
as regras estabelecidas (Inmetro, 2012).
Para conduzir a internalizao da poltica de implantao assistida por todas as fases do
macroprocesso de avaliao da conformidade, h a atuao de uma Coordenao de Implantao Assistida. Tal coordenadoria abriga um conjunto de aes, j previstas nos procedimentos dos processos ou, ento, elaboradas de forma customizada para um PAC especfico, que
so formuladas para estimular a adequao das partes interessadas do PAC aos regulamentos
estabelecidos. Especial ateno dada s partes impactadas, que tero que se adequar ante as
regras estabelecidas pelo Inmetro, em particular as micro, pequenas e mdias empresas e os
arranjos produtivos locais (Inmetro, 2012b).

4.2 Monitoramento para Avaliao do Desempenho Regulatrio do Inmetro

(Madri)
A presente seo descreve a sistemtica Madri, que se apoia na abordagem do mapa causa-eefeito, bem como nas caractersticas especficas da Implantao Assistida de RTs e PACs e nos
resultados das entrevistas exploratrias. O Madri estabelece dimenses e formula indicadores
para avaliar os resultados e impactos de uma regulao do Inmetro, especialmente aquela
associada a um Programa de Avaliao da Conformidade (PAC).
O Madri baseia-se no relacionamento das seguintes quatro perspectivas: processo regulatrio, mudana de comportamento, resultado e impacto. A primeira representa as atividades
desenvolvidas pelo regulamentador para provocar mudana de comportamento e eliminar a
causa do problema. A perspectiva resultado traduz a soluo do problema, enquanto a impacto
refere-se eliminao ou minimizao de suas consequncias.
A sistemtica foi construda partindo-se da premissa de que a aquisio pelo consumidor
de produtos no conformes a requisitos normativos causa acidentes, afetao da sade, degradao ambiental ou outros problemas relacionados com a segurana, sade, meio ambiente,
conformidade e sustentabilidade, comprometendo a competitividade da indstria nacional e a
harmonia das relaes de consumo. Essa cadeia de relacionamentos est sintetizada na figura
6, que tambm relaciona as perspectivas rvore de causas e consequncias dos problemas
que um PAC busca dirimir.
Rev. Adm. Pblica Rio de Janeiro 49(2):447-472, mar./abr. 2015

Monitoramento para avaliao do desempenho regulatrio

463

Figura 6

Relacionamento em cadeia entre as perspectivas do Madri

Fonte: Elaborao prpria (2013).

O modelo, portanto, pressupe que o sucesso de um PAC depende do processo regulatrio bem conduzido, aquele aderente s boas prticas de regulamentao, promotor de
adequada infraestrutura de avaliao da conformidade e com aes efetivas de enforcement e
compliance (cumprimento das regras). Dessa forma, so ampliadas as possibilidades de mudana de comportamento, com a disponibilizao no mercado de produtos conformes. Com
essa mudana, espera-se atingir o resultado desejado, ou objetivo da regulamentao, seja
pela eliminao ou minimizao dos problemas e riscos negativos ou, ainda, pela gerao de
benefcios. Finalmente, com o resultado alcanado, espera-se que a sociedade seja impactada
positivamente, com a harmonizao das relaes de consumo, facilitao do acesso ao mercado externo ou diferenciao do objeto no mercado. A figura 7 ilustra o Painel Madri, que
representa esse encadeamento lgico.
A sistemtica Madri sugere a utilizao de um formulrio-padro, que desdobra as dimenses anteriormente descritas em questes de avaliao, a serem respondidas luz dos
parmetros verdadeiro, parcialmente verdadeiro, falso ou no aplicvel (conforme orientao
do formulrio-padro). Para cada dimenso, atribuda pelo avaliador uma nota (100, 50 ou
0 ponto) ou conceito (++, + ou -).
Assim, o acompanhamento sistemtico proposto pelo Madri permite reunir, de forma
estruturada, o desempenho de certas variveis, tornando mais robusto o processo de Implantao Assistida de RTs e PACs, agora pautado por indicadores. Ao mesmo tempo, gerado um
instrumento til para os gestores, que passam a ter a oportunidade de visualizar, em um s
relance, o histrico e a performance do processo regulatrio.

Rev. Adm. Pblica Rio de Janeiro 49(2):447-472, mar./abr. 2015

464

Danielle Assafin Vieira Souza Silva Marcus Vincius de Araujo Fonseca

Figura 7

Painel Madri

Fonte: Elaborao prpria (2013).

Cada uma das perspectivas e condicionantes composta de dimenses, tambm apresentadas na figura 7 e a seguir descritas (quadro 2).
Quadro 2

Questes para avaliao de um PAC propostas pelo Madri

Perspectiva

1. Processo regulatrio

Dimenses

Descrio

1.1 Aderncia s boas

prticas

O PAC de sucesso depende da aderncia s boas prticas de regulao,

como planejamento da demanda, deciso pautada em evidncias,
envolvimento das partes interessadas e consulta pblica antes da
publicao definitiva da regulao.

1.2 Adequao da
infraestrutura

O PAC de sucesso depende da adequao da infraestrutura de avaliao da

conformidade, com organismos de certificao ou de inspeo acreditados,
bem como laboratrios, com capacidade operacional suficiente para
atendimento do setor e com procedimentos harmonizados.

O PAC de sucesso depende de iniciativas para o cumprimento das regras,

1.3 Desempenho
com fiscalizao no mercado, aes de disseminao e orientao das
Enforcement & Copliance regras, iniciativas para integrao das micro e pequenas empresas
(cumprimento das regras) regulamentao, atendimento s solicitaes de esclarecimento da
sociedade e apurao das denncias recebidas.
Continua

Rev. Adm. Pblica Rio de Janeiro 49(2):447-472, mar./abr. 2015

Monitoramento para avaliao do desempenho regulatrio

Perspectiva

Dimenses

Descrio

2. Mudana de
Comportamento

2.1 Adeso do setor

2.2 Regularidade no
mercado
2.3 Conformidade dos
produtos

O sucesso de um PAC ocorre quando o consumidor e a sociedade em

geral confiam que um determinado objeto venda atende a requisitos
mnimos. Assim, bom desempenho regulatrio est diretamente
relacionado com a adeso do setor produtivo ao programa, bem como se
os objetos disponibilizados no mercado ostentam o selo de conformidade
(conformidade) e, se sim, se esto seguindo as regras (regularidade).

3. Resultado

3.1 Alcance do objetivo

O PAC de sucesso garantido quando seu objetivo alcanado, seja

em termos de benefcios gerados, problemas solucionados ou riscos
mitigados.

465

O PAC de sucesso aquele que estabelece um patamar mnimo de

4.1 Harmonizao das
requisitos que pode ser atribudo promoo da concorrncia justa,
relaes de consumo
com a eliminao dos maus produtores.
4. Impacto

O PAC de sucesso aquele que se alinha a requisitos internacionais,

4.2 Acesso ao mercado
facilitando a comercializao do objeto com conformidade avaliada em
externo
mercados internacionais.
4 . 3 D i f e r e n c i a o d o O PAC de sucesso aquele que permite que os objetos conformes se
produto
diferenciem no mercado, destacando-se junto aos consumidores.
Um PAC de sucesso aquele que fornece os maiores benefcios a um
C.1 Relao entre custo e
menor custo, com um mnimo impacto negativo no mbito social,
benefcio
econmico ou ambiental.

Condicionantes (C)

O sucesso de um PAC ocorre quando os interesses de diferentes partes

C.2 Satisfao das partes
como governo, indstria, organismos de avaliao da conformidade,
interessadas
consumidores, sociedade etc. so conciliados e satisfeitos.
C.3 Sinergia com outras O PAC de sucesso aquele que apoia, complementa e est alinhado a
aes de governo
outras aes e a diretrizes mais amplas de governo.

Fonte: Elaborao prpria (2013).

A nota de cada uma das quatro perspectivas feita pela mdia aritmtica das notas de
suas dimenses respectivas e deve ser plotada em um grfico. Repare a exigncia de, alm
de monitorar o desempenho, fixar metas para cada uma das perspectivas. A comparao da
performance alcanada com o alvo estabelecido a base na gesto por resultados proposta
pelo Madri.
Quanto s condicionantes, o desempenho do tipo + abre um sinal de alerta, mesmo
que as notas das perspectivas tenham sido satisfatrias. O sinal revela o insucesso do PAC.
Em ambas as situaes, as causas para a lacuna de desempenho devem ser mapeadas e recomendaes devem ser sugeridas para alavancar a performance do PAC.
Conforme sinaliza a figura 7, necessrio perceber as influncias externas, que podem
gerar outras mudanas, resultados ou impactos e, com isso, afetar o desempenho do PAC, seja
nas perspectivas, seja nas condicionantes. Para avaliar efetivamente o desempenho de um
programa, o Madri requer tambm mapear mudanas, resultados e impactos no previstos e
no desejados, porm ocorridos, e, para isso, so indicadas outras questes de avaliao. As
perguntas sugeridas, porm no exaustivas, esto listadas no quadro 3.

Rev. Adm. Pblica Rio de Janeiro 49(2):447-472, mar./abr. 2015

466

Danielle Assafin Vieira Souza Silva Marcus Vincius de Araujo Fonseca

Quadro 3

Outras questes para avaliao de um PAC

Perspectiva

Possveis questes

Houve aumento da informalidade?

Houve alterao do portflio para escapar da regulamentao?
t Houve falncia dos bons produtores, em especial pequenos e mdios, artesos e
Outras mudanas de comportamento
APLs?
t Houve aumento do desemprego?
t Houve degradao ambiental por descarte inadequado de produto?
t
t

Outros resultados

O produto continua oferecendo outros riscos e problemas de segurana, sade, meio

ambiente, desempenho ou conformidade?

Houve aumento dos preos?

Houve inibio da inovao pela rigidez das regras?
t Houve concentrao de mercado e interferncia na concorrncia?
t Houve inibio da exportao pelo desalinhamento a requisitos internacionais?
t

Outros impactos

Fonte: Elaborao prpria (2013).

Para a utilizao do Madri, so sugeridas seis diferentes fontes de evidncia para pautar
as concluses do avaliador ou equipe avaliadora: anlise documental e de dados, entrevistas
com equipe Inmetro, pesquisa de satisfao, pesquisa junto aos organismos de avaliao da
conformidade, pesquisa com as partes interessadas e grupo focal. Ao planejar as aes de
avaliao, a equipe deve determinar as fontes de evidncia para cada questo a ser respondida. Com o Painel Madri completado, devem ser formuladas recomendaes e identificados
exemplos de boas prticas e lies aprendidas a serem destacadas e aproveitadas por outros
programas.

4.3 Verificao do Madri

A verificao da pertinncia do Madri, feita por aplicao de questionrio junto Dconf, ocorreu com base nos critrios Consistncia (C) e Utilidade (U), sendo eles tambm compostos,
cada um, de dois subcritrios, e suas avaliaes calculadas pela mdia aritmtica desses fatores. A figura 8 representa esses parmetros.
A pontuao obtida pde variar de 1 a 5. Se nota final fosse maior ou igual a 4, a sistemtica seria considerada vlida; se maior ou igual a 3 e menor que 4, vlida com ajustes;
se menor ou igual a 2, no vlida. A consolidao das respostas aos questionrios indicou as
notas 4,42 e 4,17 para os critrios de Consistncia e Utilidade, respectivamente. Com a nota
final de 4,27, o Madri foi considerado vlido para os fins a que se prope.
O referido questionrio disponibilizou um espao aberto escrita livre, especialmente
para indicar oportunidades de melhoria e justificativas para pontuaes menores ou iguais a
trs. Primeiramente, foi sinalizado que as perspectivas, condicionantes e suas dimenses no

Rev. Adm. Pblica Rio de Janeiro 49(2):447-472, mar./abr. 2015

Monitoramento para avaliao do desempenho regulatrio

467

podem ser percebidas como categorias estticas, devendo ser constantemente analisadas e
aprimoradas. Alm disso, foi lembrada a necessidade da integrao entre divises e trabalho
em equipe para a operacionalizao da ferramenta e que, por isso, o principal desafio para a
implementao do Madri no Inmetro a comunicao entre os setores. Apontou-se tambm
a necessidade de investir em recursos humanos e infraestrutura. Foi dito que o volume de
informaes a ser coletado para rodar o Madri bem alto, o que pode comprometer sua implementao, dada a indisponibilidade do atual quadro de pessoas, embora seus benefcios
tenham sido reconhecidos.
Figura 8

Critrios para validao do Madri

Fonte: Elaborao prpria (2013).

Rev. Adm. Pblica Rio de Janeiro 49(2):447-472, mar./abr. 2015

468

Danielle Assafin Vieira Souza Silva Marcus Vincius de Araujo Fonseca

5. Consideraes finais
A construo do Madri evidenciou ser possvel alcanar, por meio de uma sistemtica consistente e til, a padronizao de conceitos, mtodos e de critrios para avaliao do desempenho dos PACs do Inmetro, que seja aplicvel a todos os programas desenvolvidos e implementados. Para isso, precisou ser suficientemente abrangente em seus conceitos e critrios e
no prescreveu formas de operacionalizao das anlises devendo elas ser definidas, pela
equipe avaliadora, na etapa de planejamento da avaliao. Ademais, como est baseado em
indicadores mensurados pelo julgamento subjetivo dos avaliadores, trazida flexibilidade aos
parmetros utilizados. J a construo de perspectivas, condicionantes, dimenses e parmetros comuns s avaliaes de qualquer PAC possibilita a comparao entre os resultados de
diferentes PACs, alavancando a identificao de boas prticas e do aprendizado no processo
de regulamentao.
Portanto, introduzir o Madri na gesto regulatria do Inmetro significa sistematizar
a mensurao de resultados, de forma a auferir ganhos no s com o aperfeioamento de
programas, mas tambm com o aprendizado e conhecimento gerados com a identificao de
lies aprendidas e boas prticas. A utilizao do Madri facilita o gerenciamento das principais variveis que correm transversalmente ao macroprocesso de avaliao da conformidade,
contribuindo para o alinhamento dos tcnicos alocados nas diversas atividades que culminam
na entrega de um PAC sociedade.
Quanto universalizao dos resultados de pesquisa, o Madri foi desenhado para o caso
especfico do Inmetro, mas pode ser reproduzido, com devidas adequaes, a outras realidades regulatrias. Sua adaptao a regulaes de produtos, processos e servios, que se pautem
em programas de avaliao da conformidade, mais imediata. Sua utilizao para regulaes
nas reas de infraestrutura merece um esforo maior de adaptao, mas possvel. No sentido
de expandir o uso do Madri a outras realidades regulatrias, as seguintes assertivas podem ser
intuitivamente elaboradas:
1) pode ser mantida a organizao do Painel Madri em perspectivas, condicionantes, outras
influncias e grficos de desempenho, bem como o critrio de pontuao;
2) podem ser preservadas as perspectivas Processo Regulatrio, Mudana de Comportamento,
Resultado e Impacto;
3) devem ser rediscutidas as dimenses das perspectivas. No entanto, acredita-se na perenidade das seguintes dimenses: aderncia s boas prticas, desempenho enforcement & compliance (cumprimento das regras), adeso do setor (que poderia ser substituda para adeso
das partes impactadas) e alcance do objetivo;
4) as dimenses que compem a perspectiva Impacto devem ser reconstrudas com base na
misso organizacional. As dimenses harmonizao das relaes de consumo, acesso ao mercado externo e diferenciao do objeto do mercado tm sintonia direta com a misso do Inmetro em impactar positivamente a competitividade e inovao das indstrias;

Rev. Adm. Pblica Rio de Janeiro 49(2):447-472, mar./abr. 2015

Monitoramento para avaliao do desempenho regulatrio

469

5) as dimenses-condicionantes sejam elas a relao entre custo e benefcio, a satisfao das

partes interessadas e a sinergia com outras aes de governo podem ser aproveitadas na
totalidade para todos os contextos regulatrios.
Finalmente, o Madri deixa a mensagem de que preciso monitorar certas variveis do
contexto regulatrio para que a avaliao ex post da poltica seja feita da forma mais completa
possvel.

Referncias
ALA-HARJA, Marjukka; HELGASON, Sigurdur. Em direo s melhores prticas de avaliao. Revista
do Servio Pblico, Braslia, v. 51, n. 4, p. 5-60, out./dez. 2000.
ALVES, Flvia; PECI, Alketa. Anlise de impacto regulatrio: uma nova ferramenta para a melhoria
da regulao na Anvisa. Revista Sade Pblica, v. 45, n. 4, p. 802-805. 2011.
ANVISA. Boas prticas regulatrias. 2008.
ASSOCIAO BRASILEIRA DE NORMAS TCNICAS. NBR ISO/IEC 17000: Avaliao da conformidade: vocabulrio e princpios gerais. Rio de Janeiro, 2005.
BACH, Laurent. The frontiers of evaluation: some considerations on the European case. Revista
Brasileira de Inovao, Campinas, v. 11, n. esp., p. 67-84, jul. 2012.
BALDWIN, Robert et al. Understanding regulation: theory, strategy and practice. 2. ed. Nova York:
Oxford University Press, 2013.
BLACK, Julia; BALDWIN, Robert. Really responsive risk-based regulation. Law & Policy, v. 32,
n. 2, p. 181-213, abr. 2010.
BLIND, Knut. Regulatory foresight: methodologies and selected applications. Technological Forecasting & Social Change, v. 75, n. 4, p. 496-516, maio 2008.
BRASIL. Lei no 5.966, de 11 de setembro de 1973. Institui o Sistema Nacional de Metrologia, Normalizao e Qualidade Industrial, e d outras providncias.
BRASIL. Decreto-Lei no 6.062, de 16 de maro de 2007. Institui o Programa de Fortalecimento da
Capacidade Institucional para Gesto em Regulao PRO-REG, e d outras providncias.
BROWN, Ashley C.; STERN, Jon; TENENBAUM, Bernard. Handbook for evaluating infrastructure
regulatory systems. Washington: World Bank, 2006.
CENEVIVA, Ricardo; FARAH, Marta. Avaliao, informao e responsabilizao no setor pblico.
Rev. Adm. Pblica, Rio de Janeiro, v. 46, n. 4, p. 993-1016, jul./ago. 2012.
COGLIANESE, Cary. The rhetoric and reality of regulatory reform. Yale Journal of Regulation, New
Haven, v. 25, p. 85-95, 2008.

Rev. Adm. Pblica Rio de Janeiro 49(2):447-472, mar./abr. 2015

470

Danielle Assafin Vieira Souza Silva Marcus Vincius de Araujo Fonseca

COGLIANESE, Cary; MENDELSON, Evan. Meta-regulation and self-regulation. In: CAVE, Martin;
BALDWIN, Robert; LODGE, Martin (Org.). The Oxford handbook of regulation. Nova York: Oxford
University Press, 2010. p. 146-168.
CONMETRO. Resoluo no 01, de 22 de abril de 2010. Dispe sobre a Aprovao da Metodologia
de Reviso do Plano de Ao Quadrienal 2008-2011, do Programa Brasileiro de Avaliao da Conformidade.
COSTA, Loureno. Mtodo multicritrio para apoio anlise e seleo de investimentos sustentveis
em fundos de penso. Tese (doutorado) Programa de Ps-graduao em Engenharia de Produo,
Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2014.
DUDLEY, Susan E. Perpetuating puffery: an analysis of the composition of OMBs reported benefits
of regulation. Business Economics, v. 47, n. 3, p.165-176, jul. 2012.
FAGUNDES, Helenara; MOURA, Alessandra. Avaliao de programas e polticas pblicas. Revista
Textos & Contextos, Porto Alegre, v. 8, n. 1, p. 89-103, jan./jun. 2009.
FARIA, Carlos A. P. de. A poltica da avaliao de polticas pblicas. Revista Brasileira de Cincias
Sociais, So Paulo, v. 20, n. 59, p. 97-109, out. 2005.
FINKLER, Lirene; DELLAGLIO, Dbora. Reflexes sobre avaliao de programas e projetos sociais.
Barbari, Santa Cruz do Sul, n. 38, p. 126-144, jan./jun. 2013.
INMETRO. Fiscalizao e verificao. Disponvel em: <www.inmetro.gov.br/fiscalizacao/index.
asp>. Acesso em: 17 nov. 2012.
INMETRO. Manual da qualidade: MQ-Dqual-001. rev. 03. Manual da qualidade da Dqual. 2012a.
INMETRO. Norma interna de trabalho: NIT-Diape-001. rev. 03. Procedimento para identificao e
priorizao de demandas por programas de avaliao da conformidade. 2013a.
INMETRO. Norma interna de trabalho: NIT-Diape-005. rev. 02. Anlise crtica de programas de
avaliao da conformidade. 2013b.
INMETRO. Norma interna de trabalho: NIT-Dipac-014. Rev. 02. Estudo de impacto e viabilidade de
programas de avaliao da conformidade. 2013c.
INMETRO. Norma interna de trabalho: NIT-Dipac-016. Rev. 01. Desenvolvimento, aperfeioamento
e implementao de regulamentos tcnicos e programas de avaliao da conformidade. 2013d.
INMETRO. Norma Interna de Trabalho: NIT-Divec-004. rev. 04. Procedimento do processo de verificao da conformidade. 2013f.
INMETRO. Norma interna de trabalho: NIT-Divec-011. rev. 04. Norma do processo especfico Acompanhamento de Mercado. 2013e.
INMETRO. Norma interna de trabalho: NIT-Diviq-001. rev. 01. Coordenao da Implantao Assistida
de Programas de Avaliao da Conformidade CIA. 2012b.

Rev. Adm. Pblica Rio de Janeiro 49(2):447-472, mar./abr. 2015

Monitoramento para avaliao do desempenho regulatrio

471

INMETRO. Norma interna de trabalho: NIT-Diviq-003. rev. 00. Produo de material, orientao e
disseminao da cultura de avaliao da conformidade, qualidade e relaes de consumo. 2011.
INMETRO. O que o Inmetro. Disponvel em: <www.inmetro.gov.br/inmetro/oque.asp>. Acesso
em: 17 nov. 2012c.
INMETRO. Plano de Ao Quadrienal do PBAC. 5. ed. 2007.
LIMA, Valria A. F. A avaliao de impacto regulatrio e sua aplicao no Brasil. Dissertao (mestrado em polticas pblicas, estratgias e desenvolvimento) Instituto de Economia, Universidade
Federal do Rio de Janeiro, Rio de Janeiro, 2010.
OCDE. Evaluating laws and regulations: the case of the Chilean Chamber of Deputies. Paris: Ocde
Publishing, 2012d.
OCDE. Improving de quality of regulations. Ocde Policy Brief, 2009a.
OCDE. Indicators of regulatory management systems. Paris: Ocde Publishing, 2009b.
OCDE. Measuring regulatory performance: evaluating regulatory management tools and programs.
Paris: Ocde Publishing, 2012b.
OCDE. Measuring regulatory performance: evaluating the impact of regulation and regulatory policy.
Paris: Ocde Publishing, 2012c.
OCDE. Measuring regulatory performance: the economic impact of regulatory policy a literature
review of quantitative evidence. Paris: Ocde Publishing, 2012a.
OCDE. Regulatory management indicators: Brazil, 2011. Paris: Ocde Publishing, 2011.
PECI, Alketa. Avaliao do impacto regulatrio e sua difuso no contexto brasileiro. Revista de
Administrao de Empresas (RAE), So Paulo, v. 51, n. 4, p. 336-348, jul./ago. 2011.
RUSSO, G. M. et al. Importncia da hierarquizao das revistas cientficas: resultados de uma investigao emprica no Brasil e proposta de um mtodo de pesquisa bibliogrfica. In: ENCONTRO DA
ANPAD, 30. 2006, Salvador.
SINMETRO. Guia de boas prticas da regulamentao. [200-].
STARONOV, Katarna. Regulatory impact assessment: formal institucionalization and practice.
Journal of Public Policy, v. 30, n. 1, p. 117-136, 2010.
VERGARA, Sylvia. Mtodos de pesquisa em administrao. So Paulo: Atlas, 2005.
VISCUSI, W. Kip et al. Economics of regulation and antitrust. 2. ed. Londres: MIT Press, 1998.
WEISS, Carol. Have we learned anything new about the use of evaluation? American Journal of
Evaluation, v. 19, n. 1, p. 21-33, mar. 1998.
WEISS, Carol. The interface between evaluation and public policy. Evaluation, v. 5, n. 4, p. 468486, out. 1999.

Rev. Adm. Pblica Rio de Janeiro 49(2):447-472, mar./abr. 2015

472

Danielle Assafin Vieira Souza Silva Marcus Vincius de Araujo Fonseca

YIN, Robert K. Estudo de caso: planejamento e mtodos. Traduo de Daniel Grassi. 2. ed. Porto
Alegre: Bookman, 2001.

Danielle Assafin Vieira Souza Silva doutora em engenharia de produo e analista executivo em metrologia e qualidade do Inmetro. E-mail: davieira@inmetro.gov.br.
Marcus Vincius de Araujo Fonseca doutor em engenharia qumica e professor do Instituto Alberto
Luiz Coimbra de Ps-Graduao e Pesquisa de Engenharia (Coppe) da Universidade Federal do Rio de
Janeiro (UFRJ). E-mail: vfonseca@iq.ufrj.br.

Rev. Adm. Pblica Rio de Janeiro 49(2):447-472, mar./abr. 2015