TRIBUNAL DE CONTAS DA UNIO Secretria-Geral de Controle Externo Coordenadoria de Fiscalizao e Controle

MANUAL DE AUDITORIA OPERACIONAL

2009

Manual de Auditoria Operacional

Tribunal de Contas da Unio

Internet: http://www.tcu.gov.br SAFS Quadra 4 Lt. 01 CEP: 70042-900 Braslia-DF

Secretrio-Geral de Controle Externo Paulo Roberto Wiechers Martins Secretrio Adjunto de Planejamento e Procedimento Marcelo Luiz Souza da Eira Secretrio de Fiscalizao e Avaliao de Programas de Governo Carlos Alberto Sampaio de Freitas Equipe do Projeto PAS Dagomar Henriques Lima Fbio Mafra Glria Maria Merola da Costa Bastos (coordenadora) Maria Lcia de Oliveira Feliciano de Lima

657.63 B823t

Brasil. Tribunal de Contas da Unio. Manual de Auditoria Operacional Braslia: TCU, Coordenadoria de Fiscalizao e Controle, 2009. 60 p. 1. TCU Manual de Auditoria Operacional (2009) I. Ttulo

Ficha Catalogrfica elaborada pela Diviso de Documentao do TCU.

Lista de Quadros Quadro 1: Tcnicas mais utilizadas na etapa de planejamento ............................................................... 17 Quadro 2: Processo lgico de identificao de achados e produo de recomendaes e determinaes ............................................................................................................................................................... 25 Quadro 3: Modelo de matriz de achados ................................................................................................ 27 Quadro 4: Estrutura recomendada para a parte textual do relatrio de auditoria operacional .............. 33 Quadro 5: Exemplo de situao de implementao das deliberaes ..................................................... 39 Quadro 6- Modelo de matriz de planejamento ....................................................................................... 48 Quadro 7 - Principais abordagens em auditoria operacional ...................................................................49 Quadro 8 - Resumo das principais tcnicas de coleta de dados ............................................................... 52

Lista de Figuras Figura 1: Diagrama de insumo-produto ....................................................................................................6 Figura 2: Ciclo de ANOp ............................................................................................................................ 8 Figura 3: Atividades de planejamento .....................................................................................................14 Figura 4: Hierarquia de questes e subquestes ..................................................................................... 47

Sumrio
INTRODUO......................................................................................................................................................................... 6

SELEO ................................................................................................................................................................ 9
PROCESSO DE SELEO DOS OBJETOS DE AUDITORIA ........................................................................................................................ 9 INTEGRAO COM O PLANEJAMENTO ESTRATGICO ......................................................................................................................... 9 CRITRIOS DE SELEO ............................................................................................................................................................. 9 AGREGAO DE VALOR ........................................................................................................................................................... 10 MATERIALIDADE ................................................................................................................................................................... 10 RELEVNCIA ........................................................................................................................................................................ 10 RISCO ................................................................................................................................................................................ 10 LEVANTAMENTO ................................................................................................................................................................... 11 LEVANTAMENTO DE ESCOPO AMPLO .......................................................................................................................................... 11 LEVANTAMENTO DE ESCOPO RESTRITO ....................................................................................................................................... 12

PLANEJAMENTO .................................................................................................................................................. 13
ANLISE PRELIMINAR DO OBJETO AUDITADO ................................................................................................................................ 16 DEFINIO DO OBJETIVO E DO ESCOPO DA AUDITORIA .................................................................................................................... 18 TIPOS DE QUESTO DE AUDITORIA ............................................................................................................................................. 18 ESPECIFICAO DOS CRITRIOS DE AUDITORIA .............................................................................................................................. 19 ELABORAO DA MATRIZ DE PLANEJAMENTO ............................................................................................................................... 21 VALIDAO DA MATRIZ DE PLANEJAMENTO ................................................................................................................................. 21 ELABORAO DE INSTRUMENTOS DE COLETA DE DADOS E TESTE-PILOTO.............................................................................................. 22 ELABORAO DO PROJETO DE AUDITORIA.................................................................................................................................... 22

EXECUO........................................................................................................................................................... 23
ACHADO DE AUDITORIA .......................................................................................................................................................... 23 EVIDNCIAS ......................................................................................................................................................................... 24 DESENVOLVIMENTO DOS TRABALHOS DE CAMPO ........................................................................................................................... 26 ANLISE DOS DADOS COLETADOS .............................................................................................................................................. 26 MATRIZ DE ACHADOS ............................................................................................................................................................. 27 VALIDAO DA MATRIZ DE ACHADOS ......................................................................................................................................... 28

RELATRIO.......................................................................................................................................................... 29
ORIENTAES GERAIS PARA ELABORAO DO RELATRIO ................................................................................................................ 29 PADRES DE ELABORAO ...................................................................................................................................................... 30 APRESENTAO DE DADOS ...................................................................................................................................................... 32 CITAES E REFERNCIAS ........................................................................................................................................................ 32 COMPONENTES DO RELATRIO DE AUDITORIA .............................................................................................................................. 33 INTRODUO ....................................................................................................................................................................... 34 VISO GERAL ....................................................................................................................................................................... 34 CAPTULOS PRINCIPAIS ........................................................................................................................................................... 34 ANLISE DOS COMENTRIOS DOS GESTORES ................................................................................................................................ 35 CONCLUSO ........................................................................................................................................................................ 35 PROPOSTA DE ENCAMINHAMENTO ............................................................................................................................................ 36

MONITORAMENTO ............................................................................................................................................. 37
PLANO DE AO ................................................................................................................................................................... 37 SISTEMTICA DE MONITORAMENTO ........................................................................................................................................... 38 RELATRIO DE MONITORAMENTO ............................................................................................................................................. 38 SITUAO DAS DELIBERAES .................................................................................................................................................. 39

CONTROLE DE QUALIDADE.................................................................................................................................. 40
MODALIDADES DE CONTROLE DE QUALIDADE ............................................................................................................................... 40 OS PAPIS DOS PRINCIPAIS ATORES ENVOLVIDOS COM O CONTROLE DE QUALIDADE ................................................................................ 41 FERRAMENTAS DE CONTROLE DE QUALIDADE ............................................................................................................................... 42

APNDICE 1 ......................................................................................................................................................... 44
CRONOGRAMA DE ATIVIDADES DE PLANEJAMENTO DE AUDITORIA ..................................................................................................... 44

CRONOGRAMA DE PLANEJAMENTO AGOSTO/2006 .................................................................................................................... 44

APNDICE 2 PLANEJAMENTO E MTODO ......................................................................................................... 46

MATRIZ DE PLANEJAMENTO: COMO PREENCH-LA ....................................................................................................................... 46 INFORMAES REQUERIDAS .................................................................................................................................................... 48 FONTES DE INFORMAO ....................................................................................................................................................... 48 ESTRATGIAS METODOLGICAS................................................................................................................................................ 49 TCNICAS DE COLETA DE DADOS ............................................................................................................................................... 51 TCNICAS DE ANLISE DE DADOS .............................................................................................................................................. 53 LIMITAES ........................................................................................................................................................................ 54 O QUE A ANLISE VAI PERMITIR DIZER ...................................................................................................................................... 54

APNDICE 3 ......................................................................................................................................................... 56 REFERNCIAS ...................................................................................................................................................... 57 NOTAS EXPLICATIVAS.......................................................................................................................................... 59

INTRODUO 1. Auditoria operacional1 o exame independente e objetivo da economicidade, eficincia, eficcia e efetividade de organizaes, programas e atividades governamentais, com a finalidade de obter melhorias2. As auditorias operacionais podem examinar, em um mesmo trabalho, uma ou mais das principais dimenses de anlise. O diagrama de insumo-produto ilustra essas dimenses e suas inter-relaes: Figura 1: Diagrama de insumo-produto

2.

Fonte: Adaptado de ISSAI 3000/1.4, 2004.

3.

A economicidade a minimizao dos custos dos recursos utilizados na consecuo de uma atividade, sem comprometimento dos padres de qualidade (ISSAI 3000/1.5, 2004)3. Refere-se capacidade de uma instituio gerir adequadamente os recursos financeiros colocados sua disposio. O exame da economicidade poder abranger a verificao de prticas gerenciais, sistemas de gerenciamento, benchmarking de processos de compra e outros procedimentos afetos auditoria operacional, enquanto o exame estrito da legalidade de procedimentos de licitao, fidedignidade de documentos, eficincia dos controles internos e outros devero ser objeto de auditoria de conformidade. Na prtica poder haver alguma superposio entre auditoria de conformidade e auditoria operacional. Nesses casos a classificao de uma auditoria especfica depender do objetivo primordial da auditoria (ISSAI 100/41, 2001). A eficincia definida como a relao entre os produtos (bens e servios) 4 gerados por uma atividade e os custos dos insumos empregados para produzi-los em um determinado perodo de tempo, mantidos os padres de qualidade. Essa dimenso refere-se ao esforo do processo de transformao de insumos em produtos. Pode ser examinada sob duas perspectivas: minimizao do custo total ou dos meios necessrios para obter a mesma quantidade e qualidade de produto; ou otimizao da combinao de insumos para maximizar o produto quando o gasto total est previamente fixado (COHEN e FRANCO, 1993). Nesse caso, a anlise do tempo necessrio para execuo das tarefas uma varivel a ser considerada 5. A eficincia pode ser medida calculando-se e comparando-se o custo unitrio da produo de um bem ou servio. Portanto, podemos considerar que o conceito de eficincia est relacionado ao de economicidade. A eficcia definida como o grau de alcance das metas programadas (de bens e servios) em um determinado perodo de tempo, independentemente dos custos implicados (COHEN e FRANCO, 1993). O conceito de eficcia diz respeito capacidade da gesto de cumprir objetivos imediatos traduzidos em metas de produo ou de atendimento, ou seja, a capacidade de prover bens ou servios de acordo com o estabelecido no planejamento das aes. importante observar que a anlise de eficcia deve considerar os critrios adotados para fixao da meta a ser alcanada. Uma meta subestimada pode levar a concluses equivocadas a respeito da

4.

5.

6.

7.

eficcia do programa ou da atividade sob exame. Alm disso, fatores externos como restries oramentrias podem comprometer o alcance das metas planejadas e devem ser levados em conta durante a anlise da eficcia. 8. A efetividade diz respeito ao alcance dos resultados pretendidos, a mdio e longo prazo. Refere-se relao entre os resultados de uma interveno ou programa, em termos de efeitos sobre a populao-alvo (impactos observados), e os objetivos pretendidos (impactos esperados), traduzidos pelos objetivos finalsticos da interveno. Trata-se de verificar a ocorrncia de mudanas na populao-alvo que se poderia razoavelmente atribuir s aes do programa avaliado (COHEN e FRANCO, 1993). Portanto, ao examinar a efetividade de uma interveno governamental, pretende-se ir alm do cumprimento de objetivos imediatos ou especficos, em geral consubstanciados em metas de produo ou de atendimento (exame da eficcia da gesto). Trata-se de verificar se os resultados observados foram realmente causados pelas aes desenvolvidas e no por outros fatores (ISSAI 3000/1.5, 2004). A avaliao da efetividade pressupe que bens e/ou servios foram ofertados de acordo com o previsto. O exame da efetividade ou avaliao de impacto requer tratamento metodolgico especfico que busca estabelecer a relao de causalidade entre as variveis do programa e os efeitos observados, comparando-os com uma estimativa do que aconteceria caso o programa no existisse (ISSAI 3000/1.7, 2004). Alm das quatro dimenses de desempenho examinadas, outras, a elas relacionadas, podero ser explicitadas em razo de sua relevncia para a delimitao do escopo das auditorias operacionais. Aspectos como a qualidade dos servios, o grau de adequao dos resultados dos programas s necessidades das clientelas (gerao de valor pblico), eqidade na distribuio de bens e servios podem ser tratados em auditorias operacionais com o objetivo de subsidiar a accountability de desempenho da ao governamental. O exame da eqidade, que pode ser derivado da dimenso de efetividade da poltica pblica, baseiase no princpio que reconhece a diferena entre os indivduos e a necessidade de tratamento diferenciado. Segundo Rawls (apud COHEN e FRANCO, 1993, p. 25), "para proporcionar uma autntica igualdade de oportunidades a sociedade deve atender mais aos nascidos com menos dotes e aos nascidos em setores socialmente menos favorecidos". Ainda segundo Rawls (apud MEDEIROS, 1999), o tratamento desigual justo quando benfico ao indivduo mais carente desigualdade justa. Promover a eqidade garantir as condies para que todos tenham acesso ao exerccio de seus direitos civis (liberdade de expresso, de acesso informao, de associao, de voto, igualdade entre gneros), polticos e sociais (sade, educao, moradia, segurana) 6. Portanto, as polticas pblicas de proteo e de desenvolvimento social tm papel fundamental na construo da eqidade. O exame da eqidade poder envolver, por exemplo, a investigao dos critrios de alocao de recursos vis--vis distribuio espacial e o perfil socioeconmico da populao-alvo; as estratgias adotadas pelo gestor pblico para adequar a oferta de servios ou benefcios s diferentes necessidades do pblico-alvo; ou o exame do impacto diferenciado decorrente da implementao da poltica pblica7. As auditorias operacionais possuem caractersticas prprias que as distinguem das auditorias tradicionais. Ao contrrio das auditorias de conformidade, que adotam padres relativamente fixos, as auditorias operacionais, devido variedade e complexidade das questes tratadas, possuem maior flexibilidade na escolha de temas, objetos de auditoria, mtodos de trabalho e forma de comunicar as concluses de auditoria. Empregam ampla seleo de mtodos de avaliao e investigao de diferentes reas de conhecimento, em especial das cincias sociais (ISSAI 3000/1.2, 2.2, 2004 e ISSAI 400/4,21, 2001). Alm disso, essa modalidade de auditoria requer do auditor flexibilidade, imaginao e capacidade analtica (ISSAI 3000/1.8, 2004).

9.

10.

11.

12.

13.

14.

Nas auditorias de conformidade, as concluses assumem a forma de opinio concisa e de formato padronizado sobre demonstrativos financeiros e sobre a conformidade 8 das transaes com leis e regulamentos, ou sobre temas como a inadequao dos controles internos, atos ilegais ou fraude. Nas auditorias operacionais, o relatrio trata da economicidade e eficincia na aquisio e aplicao dos recursos e da efetividade dos objetivos alcanados. Tais relatrios podem variar consideravelmente em escopo e natureza, informando, por exemplo, sobre a adequada aplicao dos recursos, sobre o impacto de polticas e programas e recomendando mudanas destinadas a aperfeioar a gesto (ISSAI 400/2-3, 2001). Pela sua natureza, as auditorias operacionais so mais abertas a julgamentos e interpretaes e seus relatrios, conseqentemente, so mais analticos e argumentativos (ISSAI 3000/1.2, 2004). Enquanto nas auditorias de conformidade o exame da materialidade est diretamente relacionado ao montante de recursos envolvidos, nas auditorias operacionais essa uma questo mais subjetiva e pode basear-se em consideraes sobre a natureza ou o contexto do objeto auditado (ISSAI 400/29, 2001). Algumas reas de estudo, em funo de sua especificidade, necessitam de conhecimentos especializados e abordagem diferenciada, como o caso das avaliaes de programa, auditoria de tecnologia de informao e de meio ambiente (ISSAI 3000/1.7, apndices 5 e 6, 2004). O diagrama abaixo ilustra o ciclo da auditoria operacional: Figura 2: Ciclo de ANOp

15.

16.

17.

Fonte: Adaptado de NAO, 1996.

18.

Este manual tratar das etapas de seleo do tema de auditoria, planejamento, execuo, relatrio e monitoramento. Sinteticamente, o ciclo de auditoria operacional se inicia com o processo de seleo dos temas. Aps a definio de tema especfico, deve-se proceder ao planejamento com vistas elaborao do projeto de auditoria, que tem por finalidade detalhar os objetivos do trabalho, as questes a serem investigadas, os procedimentos a serem desenvolvidos e os resultados esperados com a realizao da auditoria. Na fase de execuo, realiza-se a coleta e anlise das informaes que subsidiaro o relatrio destinado a comunicar os achados e as concluses da auditoria. A etapa de monitoramento destina-se a acompanhar as providncias adotadas pelo auditado em resposta s recomendaes e determinaes exaradas pelo TCU, assim como aferir o benefcio decorrente de sua implementao (ISSAI 3000/3.1, 2004 e TCU, 2005).

SELEO Processo de seleo dos objetos de auditoria 19. O processo de seleo do objeto de auditoria o primeiro estgio do ciclo de auditoria. Sua importncia reside na definio de um objeto que oferea oportunidade para a realizao de auditoria que contribua para o aperfeioamento da administrao pblica e fornea sociedade opinio independente sobre o desempenho da atividade pblica. O processo de seleo necessrio porque o campo de atuao do controle externo muito amplo, se comparado aos seus recursos, que so limitados. Para decidir o que auditar, necessrio estabelecer critrios, visando orientar a aplicao de recursos e aumentar a probabilidade de selecionar objetos de auditoria que tragam oportunidade de realizar trabalhos significativos (ISSAI 200/1.21, 2001). Este captulo trata desses critrios e de instrumentos que podem apoiar o processo de seleo. Ao determinar a alocao de seus recursos, o Tribunal priorizar atividades que precisam, por lei, ser completadas em certo prazo (ISSAI 200/1.22, 2001), a exemplo do relatrio e pareceres prvios sobre as contas do Governo da Repblica. Este captulo no trata desses casos, mas dos cuidados que devem ser adotados para priorizar as auditorias de iniciativa prpria. Integrao com o planejamento estratgico 22. 23. O processo de seleo deve estar integrado simultaneamente ao planejamento estratgico e ao sistema de planejamento anual (ISSAI 3000/3.2, 2004; BRASIL, 2005, art. 2). A razo para a integrao da seleo com o planejamento estratgico reside no fato de que o processo de seleo orientado por escolhas fundamentais, que definem a alocao de recursos e diretrizes de atuao. A definio de prioridades, compatveis com a manuteno da qualidade das atividades de controle, inclui a tomada de decises estratgicas, luz das informaes disponveis (ISSAI 200/1.23, 2001). As escolhas estratgicas do rgo controlador abrangem diferentes perspectivas, desde decises sobre a alocao de recursos para cumprir suas obrigaes legais at decises sobre reas de governo que devem ser examinadas prioritariamente. Assim, as escolhas estratgicas afetam a alocao de recursos em geral, tais como a natureza do investimento em capacitao, os tipos de ferramentas de trabalho que devem ser desenvolvidas, o quantitativo de pessoal alocado por linha de atuao. Alm disso, a seleo de objetos especficos deve partir de perspectiva geral do rgo de controle sobre temas prioritrios de auditoria (ISSAI 300/3.2, 2001). Uma vez definidas as grandes reas de atuao, levando em considerao os objetivos do rgo de controle, o processo de seleo de objetos de auditoria pode ser mais bem focado, passando-se ao exame das informaes setoriais das aes de governo em confronto com critrios de seleo. Essa segunda etapa permitir passar do planejamento estratgico para a formulao de plano operacional. Critrios de seleo 27. 28. Realizadas as escolhas estratgicas, o prximo passo do processo de seleo de objetos de auditoria definir os critrios que sero usados para selecionar objetos especficos de auditoria. O principal critrio de seleo a capacidade de a auditoria agregar valor, por meio de sua contribuio para a avaliao e a melhoria da gesto pblica (ISSAI 3000/3.2, 2004). Alm desse critrio, possvel destacar outros trs: materialidade, relevncia, risco (ISSAI 3000/3.2, 2004; BRASIL, 2005). Esses critrios esto fortemente relacionados, mas so apresentados separadamente de forma a facilitar a compreenso de como operacionalizar o processo de seleo.

20.

21.

24.

25.

26.

29.

Os critrios podem ter maior ou menor peso no processo de escolha, conforme a conjuntura. As caractersticas do possvel objeto de auditoria devem ser examinadas em relao a cada um desses critrios para, em conjunto, permitir a elaborao de escala de prioridades. O processamento de diferentes informaes sobre agregao de valor, materialidade, relevncia e risco pode ser feito de diversos modos. O detalhamento de como processar as informaes pode ser objeto de roteiro com instrues especficas. importante deixar claro que qualquer das opes possveis implica escolhas do rgo de controle. Assim, a seleo dos objetos de auditoria reflete preferncias dos operadores do processo de seleo. No entanto, as escolhas realizadas devem ser justificadas mediante alguma fundamentao, mesmo sendo a opinio qualificada de grupo de profissionais. Agregao de valor Agregar valor refere-se a produzir novos conhecimentos e perspectivas sobre o objeto de auditoria (ISSAI 3000/3.2, 2004). As seguintes situaes podem indicar a possibilidade de a auditoria agregar valor significativo: a) a discusso sobre nova poltica pblica ou mudana significativa na implementao de programa ou organizao de ente governamental; b) o surgimento de novas ou urgentes atividades ou mudanas de condio; c) a escassez de auditorias anteriores ou trabalhos de outros rgos de pesquisa ou de controle sobre o objeto de auditoria; d) o pouco conhecimento sobre a relao causa e efeito entre a ao de governo e a soluo de problemas. Materialidade

30.

31.

32.

O critrio de materialidade indica que o processo de seleo deve levar em considerao os valores envolvidos no objeto de auditoria, pois a auditoria deve produzir benefcios significativos. Nem sempre benefcios das auditorias operacionais so financeiros, mas o aperfeioamento de processos em objetos de auditoria com alta materialidade tem grande possibilidade de gerar economia ou eliminar desperdcios. O volume de recursos disponveis no oramento indicador de materialidade. No entanto, em ambientes oramentrios nos quais existe grande diferena entre o orado, o contratado e o pago, o exame dos valores envolvidos em cada uma dessas fases da despesa pode ser necessrio. Alm disso, na fiscalizao da rea de regulao, a dimenso econmica do setor no qual se insere o objeto de auditoria deve ser levada em considerao. Relevncia O critrio de relevncia indica que as auditorias selecionadas devem procurar responder questes de interesse da sociedade, que esto em debate pblico e so valorizadas. Os seguintes meios podem ser usados para aferir a relevncia do possvel objeto de auditoria: a) opinio de parlamentares, de tcnicos das casas legislativas ou de institutos de pesquisa, de figuras proeminentes de diversos setores da sociedade; b) declaraes de prioridades nos planos e oramentos pblicos como o Plano Plurianual, a Lei de Diretrizes Oramentrias, a mensagem do Executivo, que encaminha o oramento ao Legislativo, planos setoriais, manifestao pblica de priorizao pelo governo; c) presena na mdia. Risco

33.

34. 35.

36.

Risco a combinao da probabilidade de ocorrer um evento e de suas conseqncias (ABNT, 2005). No contexto do processo de seleo, o risco a combinao da probabilidade de ocorrer evento adverso e suas conseqncias, que afetam negativamente a eficincia, eficcia ou efetividade do

objeto de auditoria. 37. possvel identificar uma srie de caractersticas dos objetos de auditoria que podem estar associadas ocorrncia de eventos adversos. Conforme a natureza do objeto de auditoria que esteja sendo selecionado, necessrio investigar reas especficas referentes operao de programas de governo, organizaes pblicas ou mesmo municpios a serem auditados. Nesse ltimo caso, podem ser examinadas caractersticas relacionadas ao desenvolvimento institucional local. Exemplos de caractersticas que podem estar associadas ocorrncia de eventos adversos Estruturas gerenciais complexas que envolvem diferentes organizaes governamentais, de uma mesma esfera ou esferas de governo diferentes, e organizaes no-governamentais. Falta de informaes confiveis ou atualizadas sobre o desempenho do objeto de auditoria, como alcance de metas, custos dos produtos, pblico atendido. Atividades desenvolvidas por rgos com problemas de estrutura, de planejamento, de controle. Falta de clareza sobre objetivos, metas, responsabilidades, processo de tomada de deciso. Relatos reiterados de desperdcios, erros, desobedincia a procedimentos. Problemas operacionais com sistemas informatizados.
Fonte: ISSAI 3000/3.2, 2004.

Levantamento 38. Para passar do planejamento estratgico para o plano operacional, so necessrias informaes atualizadas sobre estrutura, funes e operaes dos possveis objetos de auditoria, que permitam a identificao de reas com alta materialidade, que apresentem vulnerabilidades e que tenham potencial para que a auditoria contribua para gerar melhorias na administrao (ISSAI 200/1.23, 2001). A coleta dessas informaes pode ser realizada por meio de levantamento, que um tipo de instrumento de fiscalizao (BRASIL, 2002a, art. 238). O planejamento estratgico, ao qual se liga o processo de seleo, pode ser baseado em anlise ou identificao de riscos, ou, de forma menos terica, na anlise de indicadores de problemas existentes ou potenciais (ISSAI 3000/3.2, 2004). Sendo assim, a identificao ou anlise de riscos pode ter papel importante na definio do escopo do levantamento e na obteno de informaes que realimentaro o planejamento estratgico. O levantamento pode servir tanto como instrumento para selecionar futuros temas para auditorias quanto para decidir se vivel realizar auditorias especficas. Dependendo do objetivo e do conhecimento acumulado sobre a rea em exame, o levantamento poder ter escopo amplo ou restrito. Levantamento de escopo amplo 41. O levantamento de escopo amplo tem por objetivo conhecer a organizao e o funcionamento das reas que podero ser fiscalizadas, bem como identificar objetos e instrumentos de fiscalizao (BRASIL, 2002a, art. 238, I e II). O levantamento de escopo amplo explora as possibilidades de fiscalizaes mediante anlise do geral para o particular e em perspectiva plurianual. Tendo em vista sua amplitude, ele pode identificar oportunidades de realizar tanto auditorias operacionais quanto de conformidade. Em geral, so colhidas informaes sobre os planos setoriais, base legal dos programas e organizaes, previso oramentria e execuo financeira, sistemas de informao, estruturas de monitoramento e avaliao, metas, planos de programas e organizaes, bem como reviso dos trabalhos de rgos de pesquisa e de controle sobre os possveis objetos de auditoria. O levantamento oportunidade para se adquirir conhecimento sistmico sobre setores de atividade

39.

40.

42.

43.

44.

governamental. Procura-se entender como se articulam os programas de governo para alcanar os objetivos das polticas pblicas as quais se ligam, o papel das organizaes pblicas e privadas envolvidas, os principais desafios e dificuldades existentes. 45. Alm disso, o levantamento permite atualizar ativamente informaes sobre reas de governo, identificar novos desenvolvimentos e tendncias nas polticas pblicas, mudanas de prioridades, necessidade de uso de novas abordagens e tcnicas nas auditorias. Por meio do levantamento, o Tribunal adquire condies de focar melhor sua ao de fiscalizao e pode criar estratgia de atuao com perspectiva plurianual, que aborde de forma consistente os principais problemas identificados. O levantamento de amplo escopo, por sua natureza, tem custo maior do que o de escopo restrito, mas no precisa ser realizado com freqncia porque parte das informaes so estveis e parte pode ser atualizada mediante consulta a bases de dados ou por meio de outros mtodos disponveis. Levantamento de escopo restrito 47. Em alguns casos pode ser necessrio aprofundar o levantamento para estudar a viabilidade de realizao da fiscalizao, isto , examinar se o objeto de auditoria indicado auditvel, o que corresponde a um dos possveis objetivos do levantamento (BRASIL, 2002a, art. 238, inciso III). Um dos motivos que podem exigir a realizao do estudo de viabilidade a questo da oportunidade. Como o levantamento de escopo amplo visa identificar objetos de auditoria no curto, mdio e longo prazos, mudanas de condio podem exigir a atualizao de informaes e a reavaliao dos critrios de seleo. Outro motivo que as informaes levantadas, em abordagem sistmica, podem no ser suficientes para decidir sobre a realizao de fiscalizao especfica, para a qual seriam necessrias informaes mais detalhadas. Em geral, o estudo de viabilidade traz informaes sobre os principais processos operacionais e produtos, de forma a esclarecer a forma de execuo das aes. Alm disso, examina-se: a) a qualidade dos indicadores de desempenho j identificados, destacando oportunidades de melhoria; b) a disponibilidade de dados e sistemas de informaes, abordando sua confiabilidade e abrangncia; c) os relatrios gerenciais existentes e as avaliaes anteriormente efetuadas; d) as limitaes execuo da auditoria, e) a receptividade do gestor em participar da fiscalizao; f) a necessidade de empregar habilidades especializadas na auditoria; g) os possveis prejuzos aos objetivos do controle externo, caso a fiscalizao no seja realizada. 50. A concluso do estudo de viabilidade deve ser manifestao valorativa, substantiva e convincente sobre a convenincia e a oportunidade de se realizar a fiscalizao, abrangendo razes que recomendam a seleo do objeto de auditoria, o potencial do tema para chamar a ateno da mdia, da sociedade civil organizada e do Legislativo e gerar resultados que agreguem valor. Aps a seleo do objeto de auditoria, a prxima etapa do ciclo de auditoria o planejamento da fiscalizao especfica.

46.

48.

49.

51.

PLANEJAMENTO 52. As auditorias operacionais devem ser precedidas de planejamento detalhado que oferea claro senso de direo ao trabalho, proporcione estrutura lgica consistente e auxilie a controlar custos e cumprimento de prazos (NAO, 1997). Segundo a Intosai, o planejamento deve ser realizado de modo a assegurar que uma auditoria de alta qualidade seja conduzida de maneira econmica, eficiente, efetiva e com tempestividade (ISSAI 3000/3.3, 2004).

53.

Objetivo do planejamento de auditoria O planejamento de auditoria visa delimitar o objetivo e o escopo da auditoria, definir a estratgia metodolgica a ser adotada e estimar os recursos, os custos e o prazo necessrios a sua realizao.

54.

O planejamento consiste das seguintes atividades: a) b) c) d) e) f) g) h) Anlise preliminar do objeto de auditoria Definio do objetivo e escopo da auditoria Especificao dos critrios de auditoria Elaborao da matriz de planejamento Validao da matriz de planejamento Elaborao de instrumentos de coleta de dados Teste-piloto Elaborao do projeto de auditoria

Figura 3: Atividades de planejamento

55.

Considerando que as auditorias operacionais devem ser gerenciadas como projetos, na fase inicial do planejamento, a equipe deve elaborar cronograma contendo as tarefas a executar, os responsveis e o prazo final para execuo (Apndice 1). Esse instrumento permite que a equipe organize suas atividades, facilitando a alocao de seus membros de acordo com as tarefas necessrias e o tempo disponvel. O cronograma deve ser acordado entre os membros da equipe e submetido ao supervisor, que o utilizar no acompanhamento dos trabalhos. Para facilitar essa tarefa, tambm podem ser utilizados softwares especficos de acompanhamento de projetos. Compete ao coordenador da equipe assegurar que o trabalho seja planejado corretamente e que os demais membros da equipe e os gestores do objeto da auditoria estejam suficientemente informados acerca do propsito do planejamento. Para que a equipe forme entendimento comum sobre o trabalho, importante que todos os membros acompanhem o seu desenvolvimento e partilhem as informaes levantadas. Para isso recomenda-se a realizao de reunies curtas e peridicas, que mantenham todos informados sobre o andamento dos trabalhos e busquem solucionar impasses ou conflitos, quando necessrio. A equipe deve repassar ao supervisor, nos prazos acordados, informaes a respeito das atividades concludas e seu impacto sobre os rumos da auditoria, tendo em vista os dados obtidos at aquele ponto do planejamento. As limitaes ou entraves ao cumprimento dos prazos e tarefas acordados inicialmente tambm devem ser informados ao supervisor dos trabalhos. Durante o planejamento, importante que o coordenador da equipe avalie os prazos estimados inicialmente. Se houver necessidade de readequao, o coordenador da equipe deve submeter novo cronograma de atividades ao supervisor. Essa proposta deve ser feita logo que a necessidade for identificada, para que providncias sejam encaminhadas em tempo hbil. O estabelecimento de boas relaes com os gestores, desde o incio dos trabalhos, de suma importncia para o sucesso da auditoria. Especial ateno deve ser dada cuidadosa organizao dos contatos com os gestores, desde a fase de planejamento. O contato inicial deve ser por telefone, seguido de uma reunio em que a equipe de auditoria, acompanhada do supervisor, apresenta os objetivos do trabalho para o gestor e sua equipe. Deve-se solicitar a presena do representante do

56.

57.

58.

59.

60.

controle interno. 61. O objetivo desta reunio inicial, alm das apresentaes das equipes de auditoria e da instituio ou programa auditado, esclarecer sobre a modalidade de auditoria que ser realizada e sua finalidade, as principais dimenses de anlise (economicidade, eficincia, eficcia e efetividade), as etapas e os prazos previstos para a realizao do trabalho. fundamental destacar a importncia da colaborao do gestor e a garantia de sua participao em todas as fases do trabalho, ressaltando-se o envio de relatrio preliminar para sua anlise e comentrios. A atitude da equipe de auditoria deve favorecer a confiana mtua e a interao produtiva ao longo de todo o trabalho, sem, entretanto, descuidar da observncia de limites necessrios salvaguarda de sua independncia na conduo da auditoria (ISSAI 3000/4.4, 2004; ISSAI 200/2.25/2.29, 2001). Para evitar conflitos desnecessrios, os auditores devem procurar entender a natureza especfica do objeto de auditoria. Para isso, devero consider-lo a partir de diferentes perspectivas e adotar atitude aberta e objetiva diante de opinies divergentes, esforando-se para explicit-las de maneira a construir uma viso final to verdadeira e justa quanto possvel (ISSAI 3000/4.4, 2004). importante registrar, organizar, documentar e referenciar os dados e informaes obtidos durante todas as fases da auditoria, em forma de papis de trabalho (ISSAI 3000/4.2/Anexo 3, 2004; GAO, 2007). Papis de trabalho so os documentos relevantes coletados e gerados durante a auditoria. Devem ser suficientemente completos e detalhados para permitir que um auditor experiente, que no teve contato prvio com a auditoria, seja capaz de entender, a partir da documentao, a natureza e os resultados da auditoria realizada, os procedimentos adotados, as evidncias obtidas e as concluses alcanadas. A quantidade, tipo e contedo da documentao sero definidos pelo auditor. Entretanto, recomenda-se documentar: a) b) c) d) e) f) g) 66. objetivo, escopo, cronograma e metodologia do trabalho; matrizes de planejamento e achados; instrumentos de coleta de dados; resultados das tcnicas de diagnstico aplicadas; resultados de questionrios, entrevistas e grupos focais realizados; resultados de anlises estatsticas e de banco de dados; sugestes obtidas nos painis de referncia.

62.

63.

64.

65.

Manter os papis de trabalho organizados e documentados importante porque: a) auxilia no planejamento, execuo e superviso da auditoria; b) subsidia a elaborao do relatrio e a resposta a questionamentos do auditado ou de outros stakeholders; c) aumenta a efetividade e a eficincia da auditoria; d) auxilia na reviso da qualidade da auditoria; e) contribui para o desenvolvimento profissional do auditor; f) pode subsidiar a realizao de novos trabalhos.

67.

A documentao de auditoria deve ser armazenada durante o tempo necessrio para satisfazer a exigncias legais e administrativas. Deve-se garantir a segurana, integridade, acessibilidade e recuperabilidade das informaes, seja em papel, meio eletrnico ou outras mdias.

Anlise preliminar do objeto auditado 68. A anlise preliminar consiste no levantamento de informaes relevantes sobre o objeto auditado para adquirir-se o conhecimento necessrio formulao das questes que sero examinadas pela auditoria. A compreenso do objeto da auditoria permite identificar riscos e pontos crticos existentes e indispensvel definio do objetivo e do escopo da auditoria. importante assegurar que os aspectos centrais do objeto auditado tenham sido investigados, documentados e compreendidos. A extenso e o nvel de detalhamento dos dados que sero coletados devem levar em considerao a natureza do objeto investigado, o tempo e os recursos disponveis pela equipe. A equipe deve realizar investigao preliminar dos controles internos e dos sistemas de informao, assim como dos aspectos legais considerados significativos no contexto da auditoria. Nas auditorias operacionais, o exame da confiabilidade da base informativa e dos controles internos deve enfatizar os aspectos que possam comprometer a efetividade e/ou a eficincia das operaes. A avaliao dos controles internos deve ser considerada na estimativa do risco de auditoria, que consiste na possibilidade de o auditor chegar a concluses equivocadas ou incompletas. Sempre que relevante, o resultado dessa avaliao deve ser registrado no projeto de auditoria. O levantamento de informaes pode ser estruturado da seguinte forma (ISSAI 3000/3.3, 2004): O objeto e seu contexto: a) objetivos (gerais ou parciais, dependendo da extenso do trabalho); b) estratgia de atuao (aes desenvolvidas, metas fixadas, clientes atendidos, procedimentos e recursos empregados, bens e servios ofertados e benefcios proporcionados); c) estrutura organizacional (linhas de subordinao e de assessoramento e relao com as atividades desenvolvidas); d) fontes de financiamento e principais itens de custo e despesa (histrico da execuo oramentria); e) situao no contexto das prioridades governamentais; f) histrico (a partir da data de criao, as denominaes anteriores e mudanas na sua concepo lgica em relao a objetivos, pblico-alvo e formas de implementao); g) grupos de interesse e caractersticas do ambiente externo e interno; h) natureza da atuao de outros rgos ou programas governamentais que atuam na mesma rea (linhas de coordenao). Funcionamento do objeto auditado: a) b) c) d) processos gerenciais; bases de dados existentes; ambiente de controle; restries enfrentadas (imposies legais e limitaes impostas pela concorrncia, pela tecnologia, pela escassez de recursos ou pela necessidade de cooperar com outras entidades).

69.

70.

71.

72.

73. 74.

As informaes sobre o objeto auditado podem ser obtidas de diversas fontes, conforme exemplificado no Apndice 2. A equipe dever realizar levantamento de trabalhos relevantes sobre o objeto de auditoria, identificando aspectos avaliados e principais concluses de relatrios de auditoria do TCU e do controle interno, alm de estudos e pesquisas de iniciativa do rgo executor ou de instituio acadmica conceituada. Ainda na fase de anlise preliminar, podem ser utilizadas tcnicas com a finalidade de traar

75.

diagnstico a partir da interpretao sistemtica das informaes coletadas e da identificao dos principais problemas relativos ao desempenho do objeto selecionado. O Quadro 1 resume as tcnicas mais empregadas e os objetivos a que se propem. Quadro 1: Tcnicas mais utilizadas na etapa de planejamento Tcnica de diagnstico Objetivo

SWOT e Diagrama de Verificao de risco

Identificar as foras e fraquezas do ambiente interno do objeto da auditoria e as oportunidades e ameaas do ambiente externo. Identificar possveis reas a investigar. Identificar fatores de riscos e conhecer a capacidade organizacional para o seu gerenciamento. Identificar principais grupos de interesse (atores interessados). Identificar opinies e conflitos de interesses e informaes relevantes. Conhecer os principais objetivos de uma entidade ou programa. Representar as relaes de dependncia entre os produtos. Identificar os responsveis pelos produtos crticos. Desenvolver indicadores de desempenho. Conhecer o funcionamento de processos de trabalho. Identificar boas prticas. Identificar oportunidades para racionalizao e aperfeioamento de processos de trabalho.

Anlise stakeholder

Mapa de produtos e Indicadores de desempenho

Mapa de processos

Observao: Outras tcnicas, como anlise de Ishikawa, anlise RECI e marco lgico, tambm podem ser teis nessa etapa do trabalho de auditoria.

76.

Dados sobre desempenho so fundamentais para a avaliao dos aspectos da economicidade, eficincia, eficcia e efetividade do objeto da auditoria. O uso de indicadores de desempenho para aferir os resultados alcanados pelos gestores preconizado pelas doutrinas de gerenciamento voltado para resultados. O Ministrio do Planejamento estabelece que para cada programa finalstico obrigatrio haver ao menos um indicador. Para os programas de apoio s polticas pblicas e reas especiais 9 a presena de indicadores facultativa (BRASIL, 2008). Embora ocupe posio central no planejamento de auditoria, a produo de informaes sobre desempenho pelo gestor pode enfrentar os seguintes problemas: a) dificuldade de desenvolver indicadores de desempenho a partir de objetivos definidos de forma imprecisa; b) sistemas de informao inadequados ou pouco confiveis; c) efeito de fatores externos sobre o desempenho de programas, dificultando a identificao dos resultados diretamente atribuveis s aes e polticas especficas; d) dificuldade de mensurar produtos no homogneos; e) dificuldade de incorporar a dimenso qualitativa nos indicadores de desempenho; f) necessidade de mltiplos indicadores para se obter um quadro da eficincia e da efetividade de um programa.

77.

Em funo das dificuldades apontadas, ao examinar informaes sobre desempenho, a equipe deve considerar, entre outras questes: a) Os indicadores de desempenho so vlidos, confiveis e justificveis luz da relao custobenefcio? b) Os procedimentos de coleta de dados sobre desempenho so suficientes e adequados?

c) Os indicadores de desempenho so parte integrante do processo de tomada de decises? 78. Sempre que houver necessidade de ampliar o conhecimento sobre os aspectos operacionais do objeto de auditoria, recomenda-se a realizao de visitas exploratrias, isto , o deslocamento da equipe de auditoria para o local (ou locais) onde as atividades se desenvolvem com o objetivo de colher informaes preliminares. A ausncia de um claro arcabouo legal, insuficincia de informaes ou, ainda, a diversidade na forma de implementao das aes so exemplos de razes que justificam a visita exploratria na fase de planejamento. Os custos da sua realizao devem ser considerados no custo estimado da auditoria. A visita exploratria til para prevenir problemas no decorrer da execuo dos trabalhos, reduzir incertezas, auxiliar na definio dos critrios de auditoria, bem como permitir a obteno de informaes que subsidiaro a elaborao dos instrumentos de coleta de dados. Definio do objetivo e do escopo da auditoria 80. A partir do conhecimento construdo durante a anlise preliminar do objeto de auditoria, a equipe dever definir o objetivo da auditoria por meio da especificao do problema e das questes de auditoria que sero investigadas. O objetivo deve esclarecer tambm as razes que levaram a equipe a sugerir um determinado tema e enfoque, caso estes no tenham sido previamente definidos na deliberao que determinou a realizao da auditoria. Questo de auditoria A questo de auditoria o elemento central na determinao do direcionamento dos trabalhos de auditoria, das metodologias e tcnicas a adotar e dos resultados que se pretende atingir.

79.

81.

Ao formular as questes e, quando necessrio, as subquestes de auditoria, a equipe est, ao mesmo tempo, estabelecendo com clareza o foco de sua investigao, as dimenses e os limites que devero ser observados durante a execuo dos trabalhos. Nesse sentido, a adequada formulao das questes fundamental para o sucesso da auditoria, uma vez que ter implicaes nas decises quanto aos tipos de dados que sero coletados, forma de coleta que ser empregada, s anlises que sero efetuadas e s concluses que sero obtidas. Na elaborao das questes de auditoria deve-se levar em conta os seguintes aspectos: a) clareza e especificidade; b) uso de termos que possam ser definidos e mensurados; c) viabilidade investigativa (possibilidade de ser respondida); d) articulao e coerncia (o conjunto das questes elaboradas deve ser capaz de esclarecer o problema de auditoria previamente identificado). Tipos de questo de auditoria

82.

83.

84.

O tipo de questo formulada ter uma relao direta com a natureza da resposta e a metodologia a adotar. Podemos classificar questes de auditoria em quatro tipos (GAO,1991; NAO,1997): a) Questes descritivas: So formuladas de maneira a fornecer informaes detalhadas sobre, por exemplo, condies de implementao ou de operao de determinado programa ou atividade, mudanas ocorridas, problemas e reas com potencial de aperfeioamento. So questes que buscam aprofundar aspectos tratados de forma preliminar durante a etapa de planejamento.

Exemplos de questo descritiva: Como os executores locais esto operacionalizando os requisitos de acesso estabelecidos pelo programa? b) Questes normativas: So aquelas que tratam de comparaes entre a situao existente e aquela estabelecida em norma, padro ou meta, tanto de carter qualitativo quanto quantitativo. A abordagem metodolgica empregada nesses casos a comparao com critrios previamente identificados e o desempenho observado. Abordam o que deveria ser e usualmente so perguntas do tipo: O programa tem alcanado as metas previstas?; Os sistemas instalados atendem as especificaes do programa?. c) Questes avaliativas (ou de impacto, ou de causa-e-efeito): As questes avaliativas referem-se efetividade do objeto de auditoria vo alm das questes descritivas e normativas para enfocar o que teria ocorrido caso o programa ou a atividade no tivesse sido executada. Em outras palavras, uma questo avaliativa quer saber que diferena fez a interveno governamental para a soluo do problema identificado. O escopo da pergunta abrange tambm os efeitos no esperados, positivos ou negativos, provocados pelo programa. Exemplo de questo avaliativa: Em que medida os efeitos observados podem ser atribudos ao programa?. As questes avaliativas quase sempre requerem estratgias metodolgicas bastante complexas, envolvendo modelos experimentais com grupos de controle, anlises estatsticas sofisticadas e modelagem. Esse tipo de estudo pode trazer resultados reveladores, mas, em funo da complexidade envolvida, caro e de demorada implementao. d) Questes exploratrias: Destinadas a explicar eventos especficos, esclarecer os desvios em relao ao desempenho padro e as razes de ocorrncia de um determinado resultado. So perguntas do tipo: Quais os principais fatores que respondem pela crise do sistema de transporte areo?; Que fatores explicam o aumento expressivo nos gastos com pagamento dos benefcios de auxlio-doena ao longo da ltima dcada? 85. A formulao da questo de auditoria um processo interativo, o qual depende, fundamentalmente, das informaes obtidas na fase de planejamento e daquilo que se quer investigar. O Apndice 2 apresenta mtodo estruturado para a elaborao das questes de auditoria. Aps definir o problema e as questes de auditoria, a equipe dever especificar os critrios de auditoria e elaborar a matriz de planejamento. Especificao dos critrios de auditoria 87. Ainda na fase de planejamento, a equipe deve definir os critrios de auditoria, que so padres de desempenho utilizados para medir a economicidade, eficincia, eficcia e efetividade do objeto de auditoria. Representam o estado ideal ou desejvel daquilo que se examina e oferecem o contexto para se avaliar as evidncias e compreender os achados, concluses e recomendaes da auditoria. Da comparao entre o critrio e a situao existente (condio) so gerados os achados de auditoria. Portanto, critrio representa a expectativa razovel e fundamentada do que deveria ser, as melhores prticas e benchmarks contra os quais o desempenho comparado ou avaliado10 (ISSAI 3000/Apndice 2, 2004 e GAO, 2007). Critrios de auditoria desempenham papel fundamental no desenvolvimento de diversos aspectos do trabalho, servindo de base para (ISSAI 3000/Apndice 2, 2004): a) definio de arcabouo conceitual bsico que facilite a comunicao entre a equipe de auditoria, autoridades do TCU e os gestores; b) delimitao do escopo da auditoria, tornando explcitos os seus objetivos;

86.

88.

c) orientao da coleta de dados, indicando como obter evidncias significativas; d) fixao de parmetros balizadores das concluses e recomendaes da auditoria. 89. Nas auditorias operacionais a escolha do critrio de auditoria mais flexvel e frequentemente contm elementos de discricionariedade e de julgamento profissional. Dependendo do caso examinado, a fonte mais adequada para o critrio de auditoria ser ou a norma oficial, expressa em leis e regulamentos, ou a fundamentao cientfica, tendo como referncia literatura especializada, normas profissionais e boas prticas. Entre as fontes que podem ser empregadas para a definio de critrios de auditoria, esto (ISSAI 3000/3.3, 2004 e GAO, 2007): a) leis e regulamentos que regem o funcionamento da entidade auditada; b) decises tomadas pelo Poder Legislativo ou Executivo; c) referncias a comparaes histricas e comparaes com a melhor prtica; d) normas e valores profissionais; e) indicadores-chave de desempenho estabelecidos pela entidade auditada ou pela Administrao; f) opinio de especialista independente; g) critrios utilizados em auditorias similares, ou empregados por outras EFSs; h) organizaes que realizem atividades semelhantes ou tenham programas similares; i) bibliografia especializada. 90. Critrios podem ser mais facilmente definidos sempre que os objetivos estabelecidos pelo legislador ou pelo Poder Executivo sejam claros, precisos e relevantes. Quando estes forem vagos ou conflitantes a equipe de auditoria deve interpret-los ou reelabor-los, tornando-os mais operacionais e mensurveis. Nesse caso podem ser empregadas duas abordagens alternativas. A primeira consiste em consultar especialistas na rea sobre como deveriam ser interpretados e medidos objetivos e metas; quais deveriam ser os resultados esperados sob dadas condies ou, ainda, qual a mais reconhecida prtica comparvel. A segunda alternativa consiste em consultar gestores e stakeholders relevantes para definir e acordar critrios bem fundamentados e realistas 11. Ao definir critrios de auditoria, a equipe deve assegurar que eles sejam razoveis, exeqveis e relevantes para os objetivos da auditoria. A definio de critrios adequados deve atender, ainda, s seguintes caractersticas (ISSAI 3000/Apndice 2, 2004): a) Confiabilidade: deve resultar em concluses consistentes quando aplicado por outro auditor na mesma circunstncia; b) Objetividade: deve ser livre de qualquer tendenciosidade por parte do auditor ou da gerncia; c) Utilidade: deve resultar em achados e concluses que atendam s necessidades de informao dos interessados; d) Clareza: deve ser claramente enunciado e no estar sujeito a interpretaes significativamente diferentes; e) Comparabilidade: deve ser consistente com critrios utilizados para auditar programa ou atividade similar e com aqueles usados previamente para auditar o mesmo objeto de auditoria; f) Completude: deve incorporar as dimenses relevantes para avaliar o desempenho; g) Aceitabilidade: deve ter aceitao por parte de especialistas independentes, rgo ou entidade auditada, legislativo, mdia e pblico em geral.

91.

Elaborao da matriz de planejamento 92. Uma vez definidos o problema e as questes de auditoria, a equipe dever elaborar a matriz de planejamento. Trata-se de quadro resumo das informaes relevantes do planejamento de uma auditoria. O propsito da matriz de planejamento auxiliar a elaborao conceitual do trabalho e a orientao da equipe na fase de execuo. uma ferramenta de auditoria que torna o planejamento mais sistemtico e dirigido, facilitando a comunicao de decises sobre metodologia e auxiliando a conduo dos trabalhos de campo. A matriz tambm o principal instrumento de apoio elaborao do projeto de auditoria, pois contm as principais informaes que o definem. Da a importncia da discusso amadurecida da matriz antes de se iniciar a redao do projeto de auditoria. A matriz de planejamento um instrumento flexvel e o seu contedo pode ser atualizado ou modificado pela equipe medida que o trabalho de auditoria progride. O Apndice 2 detalha cada elemento que compe a matriz de planejamento. Validao da matriz de planejamento 95. O processo de validao da matriz de planejamento passa por duas etapas. Primeiramente, aps a reviso do supervisor, a matriz de planejamento deve ser submetida a um painel de referncia com o objetivo de colher crticas e sugestes para seu aprimoramento. Esse processo de validao tem por objetivos especficos: a) Conferir a lgica da auditoria e o rigor da metodologia utilizada, questionando as fontes de informao, a estratgia metodolgica e o mtodo de anlise a ser utilizado, em confronto com os objetivos da auditoria; b) Orientar e aconselhar a equipe de auditoria sobre a abordagem a ser adotada pela auditoria; c) Prover variado conjunto de opinies especializadas e independentes sobre o projeto de auditoria; d) Assegurar a qualidade do desenvolvimento/concepo; e trabalho e alertar a equipe sobre falhas no seu

93.

94.

e) Conferir a presena de benefcios potenciais significativos. 96. Portanto, a composio do painel, a ser organizado pela equipe de auditoria, deve favorecer o debate e refletir diferentes pontos de vista sobre o tema da auditoria. O painel poder contar com a participao de especialistas convidados de universidades, centros de pesquisa e consultorias tcnicas do Congresso com interesse no tema; representantes do controle interno e dos rgos de planejamento e oramento; representante do Ministro-Relator; auditores com reconhecida experincia no tema e representantes de organizaes do terceiro setor, quando for o caso. O gestor poder participar do painel de referncia sempre que a equipe e o supervisor entenderem que a sua presena no trar prejuzo aos objetivos propostos no painel. Outro papel no menos importante desempenhado pelo painel de referncia de fortalecimento do controle social ao possibilitar que atores relevantes participem da discusso do projeto de auditoria e possam ser esclarecidos sobre a natureza da fiscalizao exercida pelo TCU, gerando expectativa sobre os resultados do trabalho e fortalecendo a imagem institucional. A segunda etapa do processo de validao consiste na apresentao da matriz de planejamento aos gestores do rgo ou programa auditado, depois dos ajustes necessrios em funo do resultado das discusses do painel de referncia. A finalidade desse procedimento apresentar o resultado da etapa de planejamento, realizada com a participao do gestor, visando obter seu comprometimento com o objetivo e a conduo da auditoria.

97.

98.

Elaborao de instrumentos de coleta de dados e teste-piloto 99. Uma vez definida e validada a matriz de planejamento, passa-se elaborao dos instrumentos de coleta de dados que sero utilizados durante a execuo da auditoria. Cada tcnica de coleta de dados entrevista, questionrio, grupo focal e observao direta possui um instrumento prprio, a ser desenhado de forma a garantir a obteno de informaes relevantes e suficientes para responder s questes de auditoria. Toda a equipe deve envolver-se na elaborao dos instrumentos de coleta de dados, os quais devem ser testados para garantir a sua consistncia. A realizao do teste-piloto permite, ainda, conferir as premissas iniciais acerca do funcionamento do objeto auditado e a qualidade e confiabilidade dos dados. Para obter um quadro representativo, a equipe deve escolher para a realizao do teste-piloto um local ou aspecto do objeto da auditoria que apresente dificuldades potenciais conduo dos trabalhos, permitindo que a equipe antecipe os problemas que podero ser enfrentados. Alm disso, os dados coletados permitiro ajustar o tamanho da amostra e assegurar que a estratgia metodolgica selecionada oferecer resposta conclusiva questo de auditoria. Portanto, a realizao de teste-piloto altamente recomendvel no caso de auditorias de grande complexidade, em locais de difcil acesso e custos elevados, pois aumenta as chances de que o trabalho desenvolvido alcance o nvel de qualidade desejado com o menor custo possvel. Elaborao do projeto de auditoria 103. Ao final da etapa de planejamento, a equipe deve preparar o projeto de auditoria que resume a natureza do trabalho a realizar e os resultados que se pretende alcanar. O projeto deve explicitar a motivao para se investigar determinado problema de auditoria, segundo enfoque especfico e com a utilizao de certa metodologia. Portanto, o projeto conter descrio sucinta do objeto de auditoria, objetivos do trabalho, questes a ser investigadas, procedimentos a ser desenvolvidos e resultados esperados com a realizao da auditoria. Faro parte do apndice a matriz de planejamento, que resume as informaes centrais do projeto de auditoria, a composio da equipe de auditoria, o cronograma proposto para a conduo dos trabalhos e a estimativa de custos incidentes, inclusive de contratao de especialista, quando for o caso. fundamental destacar os resultados que se pretende alcanar com a realizao da auditoria, indicando as oportunidades de aperfeioamento e, sempre que possvel, de economia de recursos pblicos, a fim de permitir anlise de custo-benefcio da auditoria. Compete ao coordenador da equipe assegurar que o projeto de auditoria contenha todas as informaes necessrias correta e oportuna apreciao da proposta de trabalho.

100.

101.

102.

104.

105.

106.

EXECUO 107. 108. A etapa de execuo consiste na obteno de evidncias apropriadas e suficientes para respaldar os achados e concluses da auditoria. As principais atividades realizadas durante a execuo so: a) desenvolvimento dos trabalhos de campo; b) anlise dos dados coletados; c) elaborao da matriz de achados; d) validao da matriz de achados. Em geral, a coleta e a anlise de dados no so atividades estanques. Exceto nas pesquisas, os dados so coletados, interpretados e analisados simultaneamente. Dependendo da metodologia adotada no projeto de auditoria, pode haver variao significativa na organizao dos trabalhos de campo e na estratgia de anlise dos dados. Achado de auditoria 110. Achado a discrepncia entre a situao existente e o critrio. Achados so situaes verificadas pelo auditor durante o trabalho de campo e que sero usados para responder s questes de auditoria. O achado de auditoria contm os seguintes atributos: critrio (o que deveria ser), condio (o que ), causa (razo do desvio com relao ao critrio) e efeito (consequncia da situao encontrada). Quando o critrio comparado com a condio existente, surge o achado de auditoria. (ISSAI 3000/4.3, 2004). Critrio de auditoria o padro de desempenho usado para medir a economicidade, eficincia, eficcia e efetividade do objeto de auditoria. Serve para determinar se o objeto auditado atinge, excede ou est aqum do desempenho esperado. Pode ser definido de forma quantitativa ou qualitativa. Atingir ou exceder o critrio pode indicar a ocorrncia de boas prticas. No alcanar o critrio indica oportunidade de melhoria de desempenho. importante destacar que desempenho satisfatrio no desempenho perfeito, mas o esperado, considerando as circunstncias com as quais o auditado trabalha (ISSAI 3000/Apndice 2, 2004). Os pargrafos 87 a 91 contm mais informaes sobre critrio de auditoria. Condio a situao existente, identificada e documentada durante a auditoria. Causa a razo da diferena entre a condio e o critrio. A causa servir de base para as deliberaes propostas. Efeito a consequncia da diferena constatada pela auditoria entre condio e critrio. O efeito indica a gravidade da situao encontrada e determina a intensidade da ao corretiva. (GAO, 2007).

109.

111.

112.

Exemplo de achado de auditoria Achado Insuficincia de leitos psiquitricos na maior parte dos estados brasileiros. Critrio A quantidade de leitos psiquitricos estabelecida pela Organizao Mundial de Sade de 0,43 por mil habitantes. Condio O Brasil tem, em mdia, 0,37 leitos psiquitricos por mil habitantes. Causas Distribuio desigual de leitos entre os estados da federao (a regio sudeste dispe de 0,53 leitos por mil habitantes, enquanto na regio norte o ndice 0,04) Distribuio de leitos no atende a critrios populacionais Ausncia de planos municipais e estaduais de sade mental Controle social incipiente Efeitos Deficincia de atendimento em locais com baixo ndice de leitos

Migrao de pessoas com transtornos mentais entre municpios ou entre estados, dificultando o planejamento da ateno sade

113.

Nem sempre obrigatrio identificar todos os quatro atributos do achado. Em auditorias cujo objetivo investigar determinado problema e analisar suas causas, geralmente os critrios no so definidos a priori e, s vezes, nem sequer tem sentido faz-lo. (ISSAI 3000/4.3, 2004). o caso, por exemplo, das questes exploratrias, definidas no pargrafo 84d). Por vezes, no possvel identificar com segurana as causas da situao encontrada, pois essa identificao necessitaria de investigaes que requerem metodologia sofisticada, que foge ao escopo da auditoria. Uma vez identificado o achado de auditoria, ocorrem duas formas complementares de avaliao: a avaliao da relevncia do achado e das causas do desempenho insuficiente. No caso de desempenho acima da expectativa, as causas devem ser investigadas para identificao de boas prticas (ISSAI 3000/4.3, 2004). Os auditores tambm devem avaliar os efeitos do achado. Quando possvel, esses efeitos devem ser quantificados. Por exemplo, o custo de processos ineficientes ou de instalaes improdutivas pode ser estimado. Alm disso, processos ou gerenciamento ineficientes podem resultar em atrasos ou desperdcio de recursos. Efeitos qualitativos resultantes de decises gerenciais equivocadas ou de falta de controle de qualidade na prestao de servios pblicos podem ter impactos significativos sobre os beneficirios. Se o efeito j ocorreu, importante verificar se foram tomadas providncias para evitar que ele volte a ocorrer. Se os efeitos no forem facilmente identificados, o auditor dever tentar estim-los (ISSAI 3000/4.3, 2004). Evidncias Evidncias so informaes obtidas durante a auditoria e usadas para fundamentar os achados. O conjunto de achados ir respaldar as concluses do trabalho. A equipe deve esforar-se para obter evidncias de diferentes fontes e de diversas naturezas, porque isso fortalecer as concluses (ISSAI/Apndice 3, 2004). A equipe deve determinar a quantidade e o tipo de evidncias necessrias para atender aos objetivos e ao plano de auditoria, de forma adequada. Para isso, necessrio que as evidncias tenham alguns atributos. So eles (ISSAI/Apndice 3, 2004): a) validade - a evidncia deve ser legtima, ou seja, baseada em informaes precisas e confiveis; b) confiabilidade - garantia de que sero obtidos os mesmos resultados se a auditoria for repetida. Para obter evidncias confiveis, importante considerar que: conveniente usar diferentes fontes; interessante usar diferentes abordagens; fontes externas, em geral, so mais confiveis que internas; evidncias documentais so mais confiveis que orais; evidncias obtidas por observao direta ou anlise so mais confiveis que aquelas obtidas indiretamente; c) relevncia - a evidncia relevante se for relacionada, de forma clara e lgica, aos critrios e objetivos da auditoria; d) suficincia - a quantidade e qualidade das evidncias obtidas devem persuadir o leitor de que os achados, concluses, recomendaes e determinaes da auditoria esto bem fundamentados. importante lembrar que a quantidade de evidncias no substitui a falta dos outros atributos (validade, confiabilidade, relevncia). Quanto maior a materialidade do objeto auditado, o risco de auditoria e o grau de sensibilidade do auditado a determinado assunto, maior ser a necessidade de evidncias mais robustas. A existncia de auditorias anteriores tambm indica essa necessidade.

114.

115.

116.

117.

118.

119.

As evidncias podem ser classificadas em quatro tipos (ISSAI/Apndice 3, 2004):

a) fsica observao de pessoas, locais ou eventos. Pode ser obtida por meio de fotografias, vdeos, mapas. Evidncias fsicas costumam causar grande impacto. A fotografia de uma situao insalubre ou insegura, por exemplo, pode ser mais convincente que uma longa descrio; b) documental o tipo mais comum de evidncia. Pode estar disponvel em meio fsico ou eletrnico. obtida de informaes j existentes, tais como ofcios, memorandos, correspondncias, contratos, extratos, relatrios. necessrio avaliar a confiabilidade e relevncia dessas informaes com relao aos objetivos da auditoria; c) testemunhal obtida por meio de entrevistas, grupos focais, questionrios. Para que a informao testemunhal possa ser considerada evidncia, e no apenas contextualizao, preciso corrobor-la, por meio de confirmao por escrito do entrevistado ou existncia de mltiplas fontes que confirmem os fatos; d) analtica obtida por meio de anlises, comparaes e interpretaes de dados e informaes j existentes. Este trabalho pode envolver anlise de taxas, padres e tendncias, normalmente por meio de processamento computacional. o tipo de evidncia mais difcil de obter. 120. A equipe de auditoria deve avaliar se a falta de evidncias apropriadas e suficientes deve-se a falha na estratgia metodolgica ou a deficincias do objeto de auditoria, a exemplo de falhas dos controles internos ou problemas operacionais e estruturais. No primeiro caso, pode ser necessrio modificar a estratgia metodolgica ou revisar o objetivo da auditoria e seu escopo. No segundo caso, os problemas identificados so achados de auditoria. A equipe de auditoria deve considerar que algumas evidncias podem apresentar problemas ou fragilidades. Os principais referem-se a evidncias (ISSAI/Apndice 3, 2004): a) b) c) d) e) f) g) h) 122. baseadas em apenas uma fonte; testemunhais no corroboradas por documento ou observao; cujo custo de obteno no atende a critrios de custo-benefcio; provenientes apenas do gestor ou da equipe auditada; cuja nica fonte parcial com relao ao resultado do trabalho; obtidas de amostras no-representativas; relacionadas a ocorrncia isolada; conflitantes.

121.

Existem algumas tcnicas que podem contribuir para a obteno de evidncias mais robustas. Uma delas a circularizao, que consiste na confirmao, junto a terceiros, de fatos e informaes apresentados pelo auditado (BRASIL, 2004b). Outra a triangulao, que o uso de diferentes mtodos de pesquisa e de coleta de dados para estudar o mesmo assunto, com o objetivo de fortalecer as concluses (PATTON, 1987). Quadro 2: Processo lgico de identificao de achados e produo de recomendaes e determinaes Critrio de auditoria (o que deveria ser) Evidncia de auditoria (o que ) Achado de auditoria (o que comparado ao que deveria ser) Determinar causas e efeitos do achado Desenvolver concluses, recomendaes e determinaes Estimar, sempre que possvel, os provveis benefcios da recomendao ou determinao
Fonte: ISSAI 3000/4.3, 2004.

Desenvolvimento dos trabalhos de campo 123. O trabalho de campo consiste na coleta de dados e informaes definidos no planejamento de auditoria. O tipo de dados a coletar e as fontes desses dados dependero da estratgia metodolgica e dos critrios estabelecidos. Os dados coletados devem ser precisos, completos e comparveis. Frequentemente, essa coleta considerada uma tarefa mecnica e a parte menos interessante da auditoria. Porm, uma atividade importante e consome grande quantidade de tempo e esforo (HATRY, WINNIE e FISK, 1981). A qualidade na coleta, anlise e documentao dos dados fundamental para garantir bons resultados da auditoria (ISSAI 3000/4.2, 2004). Normalmente, a coleta de dados feita in loco e a equipe aplica os instrumentos desenvolvidos e testados na fase de planejamento. Os mtodos de coleta de dados mais usados so entrevista, questionrio, grupo focal e observao direta. Quando o objetivo da auditoria inclui a generalizao dos achados para o universo pesquisado, as solues mais comumente adotadas so tratamento estatstico e estudo de caso. Se o estudo de caso representativo, possvel generalizar os resultados, ou seja, os achados identificados em um caso podem ser aplicados a outros casos (NAO, 199-). importante que o auditor obtenha as melhores informaes possveis - tanto fatos quanto opinies, argumentos e reflexes - de diferentes fontes e busque o apoio de especialistas (ISSAI 3000/4.6, 2004). O auditor deve buscar as evidncias necessrias para responder s questes de auditoria e ter cuidado para no se desviar do foco do trabalho nem coletar grande quantidade de informaes que, muitas vezes, so desnecessrias e irrelevantes (POLLIT et all, 2002). Para o sucesso dos trabalhos de campo, necessria a realizao de diversas atividades operacionais. Antes da execuo da auditoria, a equipe deve: a) b) c) d) e) 128. agendar visitas de estudo, entrevistas e grupos focais; providenciar ofcios de apresentao; reservar passagens e hotis; informar telefones de contato ao supervisor; preparar material necessrio (cpias de questionrios, roteiros de entrevistas, grupo focal e observao direta).

124.

125.

126.

127.

O preenchimento da matriz de achados deve ser iniciado durante os trabalhos de campo, medida que os achados so constatados. Os esclarecimentos que se fizerem necessrios devem ser colhidos ainda em campo, para evitar mal-entendido e eventuais novas solicitaes de informaes, com o consequente desperdcio de esforos (BRASIL, 2004b). Anlise dos dados coletados Durante os trabalhos de campo, a equipe obtm grande quantidade de dados, que devem ser organizados, separados e analisados. Sero selecionados aqueles que evidenciam os achados da auditoria e, portanto, ajudam a responder s suas questes. As outras informaes devem ser descartadas, para no desviar a auditoria de seu foco e para no retardar a anlise dos dados relevantes (POLLITT et al, 2002). Para a anlise dos dados coletados, so usadas ferramentas e tcnicas adequadas. A definio do mtodo depender da estratgia metodolgica adotada. O apndice 2 apresenta as principais tcnicas de anlise e o documento Tcnicas de Apresentao de Dados (BRASIL, 2001) orienta sobre as formas mais adequadas de comunicar o resultado das anlises elaboradas. O estgio final da anlise de dados consiste em combinar os resultados obtidos de diferentes fontes. No h mtodo geral para fazer isto, mas fundamental que o auditor trabalhe de forma cuidadosa e sistemtica na interpretao dos dados e informaes coletados. Para essa atividade, necessrio analisar argumentos e afirmaes, consultar especialistas e fazer comparaes. Tambm vital que o auditor adote abordagem crtica e mantenha objetividade com relao s informaes disponveis.

129.

130.

131.

Ao mesmo tempo, ele deve ser receptivo a diferentes argumentos e pontos de vista (ISSAI 3000/4.2 e 4.5, 2004). Matriz de achados 132. 133. As constataes e informaes obtidas durante a execuo da auditoria, bem como as propostas de concluses, recomendaes e determinaes, so registradas na matriz de achados. A matriz de achados instrumento til para subsidiar e nortear a elaborao do relatrio de auditoria, porque permite reunir, de forma estruturada, os principais elementos que constituiro os captulos centrais do relatrio. A matriz propicia compreenso homognea dos achados e seus elementos constitutivos pelos integrantes da equipe de auditoria e demais interessados. Os itens que compem a matriz de achados so apresentados no quadro 3. Quadro 3: Modelo de matriz de achados Questo de auditoria (repetir a questo da matriz de planejamento).
Situao encontrada Constataes de maior relevncia, identificadas a partir de discrepncias entre a situao encontrada na fase de execuo e os critrios de desempenho previstos para o objeto de auditoria. Apresentam oportunidade de melhoria para o desempenho do objeto auditado. Critrio Padro usado para determinar se o objeto auditado atinge, excede ou est aqum do desempenho esperado. Evidncias e anlises Resultado da aplicao dos mtodos de anlise de dados e seu emprego na produo de evidncias. De forma sucinta, devem ser indicadas as tcnicas usadas para tratar as informaes coletadas durante a execuo e os resultados obtidos. Causas Podem ser relacionadas operacionalizao ou concepo do objeto da auditoria, ou estar fora do controle ou da influncia do gestor. A identificao de causas requer evidncias e anlises robustas. As deliberaes contero as medidas consideradas necessrias para sanear as causas do desempenho insuficiente. Efeitos Consequncias relacionadas s causas e aos correspondentes achados. Pode ser uma medida da relevncia do achado. Boas prticas Aes identificadas que comprovadamente levam a bom desempenho. Essas aes podero subsidiar a proposta de recomendaes e determinaes. Recomendaes e determinaes Devem ser elaboradas de forma a tratar a origem dos problemas diagnosticados. Sugere-se parcimnia na quantidade de deliberaes e priorizao para soluo dos principais problemas. Benefcios esperados Melhorias que se esperam alcanar com a implementao das recomendaes e determinaes. Os benefcios podem ser quantitativos e qualitativos. Sempre que possvel, quantific-los.

134.

Durante a execuo da auditoria, as evidncias coletadas so comparadas com os critrios, previamente selecionados e identificados pela equipe. As diferenas observadas so os achados de auditoria. Aps caracterizar o achado de auditoria, a equipe deve identificar as causas e efeitos do desempenho observado. Em geral, esses procedimentos so concludos ao final do trabalho de campo. Entretanto, em funo da complexidade do tema e de evidncias supervenientes, a anlise pode estender-se at a fase do relatrio. Sempre que possvel, deve-se mensurar o efeito associado ao achado de auditoria. Por exemplo, no

135.

136.

caso de processos antieconmicos, aquisies mal planejadas ou equipamentos improdutivos, os efeitos podem ser estimados em valores monetrios. J os efeitos decorrentes de procedimentos ineficientes, recursos ociosos ou gerenciamento deficiente podem ser dimensionados em termos de descumprimento de prazos e de desperdcio de recursos fsicos. Os efeitos qualitativos tambm devem ser mencionados, como deficincia de controle, decises inadequadas ou m qualidade do bem ou servio oferecido. As dificuldades de quantificar os benefcios potenciais variam segundo o tipo de benefcio. Entretanto, em muitos casos, os benefcios financeiros podem ser estimados com razovel segurana. 137. A causa do achado de auditoria a base para as deliberaes. Se houver mltiplas causas para um mesmo achado, a equipe deve identificar aquela que, se modificada, poder prevenir situaes similares. Deve-se considerar, ainda, a possibilidade de a causa identificada estar fora do controle do auditado, fazendo com que o foco das deliberaes transcenda o objeto da auditoria. As propostas que visem melhoria do desempenho administrativo ou operacional so um dos aspectos mais importante das auditorias operacionais. Conquanto os aperfeioamentos requeridos, e no os meios para alcan-los, constituam o objetivo das deliberaes, convm indicar os aspectos que devem ser examinados pelo gestor na busca de solues. Ao formular proposta de deliberao, a equipe deve considerar o custo da implementao e a economia de recursos decorrente, pois o custo no deve superar os benefcios esperados. Tambm importante destacar os aspectos mais importantes e evitar quantidade excessiva de deliberaes, que pode desviar o foco do gestor da implementao de providncias que sanem as principais deficincias do objeto auditado. Tambm poder dificultar o monitoramento das deliberaes e levar a custo-benefcio inadequado. Validao da matriz de achados 140. Aps a elaborao da matriz de achados, sua validao feita por meio da realizao do segundo painel de referncia. O objetivo principal deste painel verificar a coerncia da matriz apresentada. Nessa ocasio, os participantes so convidados a discutir com a equipe as principais concluses da auditoria, a suficincia das evidncias coletadas, a adequao das anlises realizadas e a pertinncia das propostas de encaminhamento. Aps o painel, a matriz de achados tambm dever ser validada pelos gestores.

138.

139.

RELATRIO 141. O relatrio o principal produto da auditoria. o instrumento formal e tcnico por intermdio do qual a equipe comunica o objetivo e as questes de auditoria, a metodologia usada, os achados, as concluses e a proposta de encaminhamento (BRASIL, 2004b). A Intosai apresenta os padres internacionais de elaborao de relatrios de auditoria governamental para as Entidades de Fiscalizao Superior. Padro de elaborao de relatrio da Intosai, aplicvel auditoria operacional Ao final de cada auditoria, o auditor deve preparar opinio escrita ou relatrio, registrando os achados de forma adequada; seu contedo deve ser fcil de entender e livre de idias vagas e ambguas, deve incluir somente informaes que sejam apoiadas por evidncias competentes e relevantes, ser independente, objetivo, justo e construtivo.
Fonte: ISSAI 400/7, 2001.

142.

O objetivo deste captulo estabelecer padres e apresentar diretrizes de elaborao de relatrios de auditoria operacional, que favoream a racionalizao do processo e a criao de identidade caracterstica. Trata-se tambm da estrutura das seguintes sees da parte textual do relatrio: introduo, captulos principais, anlise dos comentrios dos gestores, concluso e proposta de encaminhamento. Detalhes sobre a composio de cada elemento do relatrio esto no roteiro de elaborao de relatrio de auditoria operacional (BRASIL, 2004a). A comunicao dos resultados da auditoria deve reportar sociedade sobre o desempenho da administrao pblica, contribuindo para a responsabilizao dos agentes pblicos pelos resultados da ao de governo, mediante controle parlamentar e controle social (BRASIL, 2004a). A demonstrao da qualidade do trabalho depende da forma como as questes de auditoria so tratadas nos relatrios. Importa que as informaes sejam organizadas e dispostas com rigor tcnico, com apropriado grau de detalhamento e que os principais pontos sejam destacados. O desenvolvimento do texto deve guardar coerncia com a seqncia lgica dos argumentos, formando um todo coeso, convincente, claro e visualmente atrativo (BRASIL, 2004a). Portanto, ser capaz de escrever relatrios de qualidade competncia essencial dos profissionais que realizam auditorias operacionais. Para que o relatrio tenha qualidade, alm da experincia e da habilidade dos autores, importante que sua elaborao siga as orientaes e padres deste manual. Orientaes gerais para elaborao do relatrio O elaborao do relatrio de auditoria deve seguir as seguintes orientaes gerais: a) ser conduzida como processo contnuo; b) considerar o ponto de vista do leitor; c) basear-se na matriz de achados.

143.

144.

145.

146.

147.

A elaborao do relatrio deve ser vista como um processo contnuo de formulao, teste e reviso de idias sobre o objeto da auditoria. Questes como o benefcio potencial da auditoria, possveis recomendaes e determinaes, bem como a argumentao convincente sobre as concluses devem ser consideradas ao longo da auditoria. O estabelecimento de prazos para a entrega de trechos intermedirios pode aumentar a probabilidade de o relatrio ficar pronto tempestivamente (ISSAI 3000/3.1, 2004). Ao longo de todas as fases da auditoria, a nfase deve estar na produo do relatrio final (ISSAI 3000/3.1, 2004). Por um lado, de nada adianta realizar um excelente trabalho de planejamento ou

148.

de execuo das auditorias, se o relatrio no for capaz de comunicar sua mensagem de forma efetiva. Por outro, no possvel elaborar um relatrio de qualidade se o projeto de auditoria no for consistente ou se as evidncias coletadas no forem robustas. Concepo da Intosai sobre a elaborao do relatrio de auditoria como um processo contnuo medida que o trabalho progride, o relatrio preliminar de auditoria toma forma. Ao longo da auditoria, a anlise de dados e informaes envolve ponderar argumentos e afirmaes, consultar especialistas, fazer comparaes e anlises. Notas e observaes so organizadas de forma estruturada (na matriz de achados) e, medida que discusses internas e externas progridem, o texto rascunhado, avaliado e reescrito, detalhes so conferidos e concluses discutidas. Com base em textos intermedirios de discusso, os principais problemas e concluses podem ser debatidos, fatos confirmados com os auditados e as propostas desenvolvidas. Fonte: ISSAI 3000/4.5 e 5.1., 2004. 149. Para que os relatrios sejam teis e acessveis importante que levem em considerao o ponto de vista dos leitores (ISSAI 3000/5.3, 2004 e BRASIL, 2001). Inicialmente, os relatrios de auditoria operacional tero tramitao interna, direcionados, principalmente, ao Relator da matria. Alm disso, visam comunicar informaes sobre desempenho a formuladores de polticas, gestores dos trs nveis de governo, outros rgos de controle e de avaliao. Documentos complementares ao relatrio, como sumrios executivos, notas para a imprensa, apresentao de slides tm pblico mais amplo e obedecem a orientaes especficas. O instrumento usado pelo TCU para organizao dos principais elementos do relatrio a matriz de achados. A matriz base para discusso sobre a estrutura do texto entre a equipe de auditoria, bem como para discusso com o supervisor do trabalho e para apresentao em painel de referncia (BRASIL, 2002c). O fato de que a redao do relatrio normalmente compartilhada pelos integrantes da equipe de auditoria refora a necessidade de se dispor de instrumento que apie a elaborao do relatrio. natural que cada colaborador tenha um estilo prprio de redigir. Por isso, torna-se necessrio que todos os membros da equipe discutam previamente a estrutura e a forma de apresentao das informaes. A conformidade s orientaes e padres de elaborao, bem como a construo de entendimentos comuns por meio de discusses durante a auditoria, diminui a possibilidade de os textos produzidos ficarem muito dspares. desejvel que a equipe mantenha-se mobilizada at que tenha sido finalizada a redao do relatrio, realizando nesse perodo a reviso cruzada dos textos elaborados. Esses cuidados tornaro mais eficiente o trabalho final do coordenador da equipe, a quem cabe conferir ao trabalho unidade de forma e estilo. Padres de elaborao 153. Os padres internacionais para elaborao de relatrios, aplicveis s auditorias operacionais, resumem as principais caractersticas de um bom relatrio (ISSAI 400, 2001). No TCU, devem-se observar os requisitos de clareza, conciso, convico, exatido, relevncia, tempestividade e objetividade (BRASIL, 2004b, p. 7), bem como os de completude e convencimento (ISSAI 3000/5.2, 2004). A formulao dessas caractersticas pelo TCU desenvolvida em seguida. Clareza produzir texto de fcil compreenso para o leitor informado. Para aumentar a clareza e a compreenso do relatrio: a) defina termos tcnicos; b) defina o significado das siglas na lista correspondente e use o nome por extenso na primeira vez

150.

151.

152.

154.

c) d) e) f) g) h) i) j) k) 155. 156.

em que aparecerem no texto; apresente fatos de forma precisa; apresente evidncias e articule argumentos de forma lgica; use frases curtas, evitando perodos longos que se estendem por diversas linhas; crie coeso textual por meio do seqenciamento lgico das idias e do uso de conectivos adequados; prefira usar a ordem direta (sujeito, verbo, objeto e complementos), evitando oraes intercaladas, parntesis e travesses (BRASIL, 2004a); complemente o texto com figuras, fotografias, grficos, diagramas, mapas, caixas de texto e tabelas; evite o uso de sinnimos para designar as mesmas coisas. Diferentemente de um texto literrio, no relatrio devem-se usar os mesmos termos do incio ao fim; evite abreviaturas; evite termos eruditos e expresses em outros idiomas.

Convico expor os achados e as concluses com firmeza. Evite expresses que transmitam insegurana e dvida para o leitor, como "salve melhor juzo" ou "parece que" (BRASIL, 2004b). Conciso produzir texto que no seja mais extenso do que o necessrio para transmitir a mensagem e fundamentar as concluses (ISSAI 3000/5.2, 2004). Por conciso, deve-se dar preferncia a citaes indiretas no lugar de longas transcries de textos originais, resumindo-se as informaes que se deseja transmitir. Como padro indicativo, a parte textual dos relatrios de auditoria operacional, exceto proposta de encaminhamento, no deve exceder 50 pginas. A anlise de temas muito complexos pode requerer relatrios mais longos, mas relatrios completos e tambm concisos so mais teis ao leitor e tm maior probabilidade de serem lidos por pblico maior (ISSAI 3000/5.2, 2004). Exatido garantir que todas as informaes apresentadas sejam precisas e corretamente registradas. Exatido indispensvel para assegurar ao leitor que o relatrio crvel e confivel. Uma impreciso no relatrio pode lanar dvida sobre a validade de todo o trabalho e desviar a ateno de pontos importantes (ISSAI 3000/5.2, 2004). Exatido tambm significa que sejam descritos corretamente o escopo e a metodologia, bem como apresentados os achados e concluses de forma consistente com o escopo da auditoria (ISSAI 3000/5.2, 2004). Alm disso, o relatrio deve informar sobre a qualidade dos dados e o grau de preciso de estimativas. Imprecises podem prejudicar a imagem do rgo de controle. Relevncia expor apenas o que tem importncia, considerando os objetivos da auditoria. Evite longos trechos descritivos que no acrescentam informao necessria fundamentao dos argumentos. Os relatos no precisam incluir todas as situaes encontradas, cujo registro fica preservado nos papis de trabalho (BRASIL, 2004a). Tempestividade cumprir o prazo previsto para elaborao do relatrio, sem comprometer a qualidade (BRASIL, 2004b). O relatrio deve conter informao atualizada para que possa subsidiar rgos auditados, bem como formuladores de polticas e demais atores interessados, no aperfeioamento de suas atividades. O teor da informao dever, portanto, agregar valor. (ISSAI 3000/5.3, 2004 e ISSAI 400/8.i, 2001). O descumprimento de prazos prejudica a superviso da auditoria, a participao dos auditados e o encaminhamento processual. Objetividade produzir texto imparcial, equilibrado e neutro (ISSAI 3000/5.3, 2004). Alguns dos aspectos da objetividade na conduo da auditoria, que refletiro no relatrio so os seguintes (BRASIL, 2004a): a) a estratgia metodolgica definida para a auditoria deve assegurar que a seleo dos fatos investigados e apresentados no relatrio no seja viesada (ISSAI 3000/5.3, 2004); b) os achados e o relatrio devem estar baseados nas evidncias obtidas;

157.

158.

159.

160.

c) os fatos devem ser registrados de acordo com a sua relevncia para o escopo da auditoria. Fatos relevantes no devem ser excludos, nem pequenas falhas devem ser exageradas (ISSAI 3000/5.3, 2004); d) as explicaes gerenciais sempre devero ser solicitadas e criticamente avaliadas (ISSAI 3000/5.3, 2004); e) as fatos devem ser apresentados separadamente das opinies (ISSAI 3000/5.3, 2004); f) a linguagem utilizada deve ser isenta de qualquer conotao tendenciosa ou ambgua, de forma a evitar atitude defensiva e oposio (ISSAI 3000/5.3, 2004); g) o relatrio de auditoria deve apontar tanto achados negativos quanto fatos positivos. Apesar de o relatrio ser focado em falhas e desempenho insuficiente, a apresentao de evidncias de forma no viesada contribui para aumentar sua credibilidade (ISSAI 3000/5.3, 2004); h) a apresentao de fragilidades e achados crticos deve ocorrer de modo que induza a correo, bem como aperfeioe sistemas e diretrizes internas (ISSAI 400/24, 2001); i) o relatrio dever ser redigido de forma a denotar impessoalidade (BRASIL, 2004a). 161. Completude apresentar toda a informao e argumentos necessrios para satisfazer os objetivos da auditoria, permitir a correta compreenso dos temas e situaes relatadas e registrar todos os elementos necessrios composio do relatrio (ISSAI 3000/5.2, 2004). As relaes entre objetivos, critrios, achados e concluses precisam ser verificveis, bem como expressas de forma clara e completa. (ISSAI 3000/5.2, 2004). Convencimento apresentar achados de forma persuasiva, articulando as concluses e propostas de forma que elas decorram logicamente ou analiticamente dos fatos e argumentos apresentados. A informao apresentada deve ser suficiente para convencer os leitores sobre a validade dos achados, a razoabilidade das concluses e os benefcios decorrentes da implementao das propostas (ISSAI 3000/5.2, 2004). O relatrio deve ser convincente de modo que as deliberaes do Tribunal ganhem apoio dos atores capazes de influenciar na gesto do objeto auditado, sejam implementadas e gerem melhorias de desempenho em benefcio da sociedade. Apresentao de dados 163. Um elemento chave para a qualidade do relatrio de auditoria a anlise abrangente dos dados e como ela apresentada. importante que as informaes sejam bem apresentadas para que os relatrios comuniquem claramente as concluses, as propostas de deliberao e as anlises nas quais se baseiam (NAO, 1996).
Diretriz da Intosai sobre divulgao de relatrios de auditoria Relatrios abrangentes e a distribuio ampla de todos os relatrios so chave para a credibilidade da funo de auditoria. Se possvel, cada auditoria operacional deve ser publicada em um relatrio separado. Fonte: ISSAI 3000/5.4, 2004.

162.

164.

Ao se planejar a estrutura do texto, deve-se prever a seqncia das ilustraes, de forma que possam demonstrar as principais evidncias e concluses que a equipe de auditoria deseja apontar. H diversos meios de se apresentar dados, incluindo grficos, diagramas, mapas, fotografias, caixas de texto. Orientaes sobre apresentao de dados so encontradas em roteiro especfico do TCU (BRASIL, 2001). Citaes e referncias A legislao brasileira permite a utilizao no autorizada de obras para fins de estudo, crtica ou polmica, bem como para produzir prova administrativa, sem finalidades lucrativas, desde que seja observado o direito de citao (Lei n 9.610/1998, art. 46). A Associao Brasileira de Normas Tcnicas (ABNT) determina como uma informao colhida de outra fonte deve ser citada e como devem ser elaboradas as referncias (ABNT, 2000, 2002; BRASIL, 2004a).

165.

Componentes do relatrio de auditoria 166. O relatrio, em sua essncia, a comunicao sobre os achados de auditoria, a emisso de uma opinio qualificada sobre desempenho e a articulao de argumentos a favor da adoo de certas medidas visando melhorar o desempenho. Esses achados e argumentos sero desenvolvidos nos captulos principais do relatrio. O principal instrumento de apoio elaborao do relatrio de auditoria a matriz de achados (BRASIL, 2002c). A matriz a representao sinttica dos resultados da auditoria, que sero desenvolvidos no relatrio. Da a importncia da discusso da matriz entre a equipe, com os gestores e demais atores relevantes, antes de se iniciar a redao do texto. O relatrio de auditoria divide-se em elementos pr-textuais, texto e elementos ps-textuais. Os elementos pr-textuais so: folha de rosto, resumo, lista de siglas, lista de figuras, lista de tabelas e sumrio. O texto compe-se de: introduo; viso geral; captulos principais; anlise dos comentrios do gestor; concluso e proposta de encaminhamento. Os elementos ps-textuais so: apndices; anexos; referncias e glossrio. O texto deve ser dividido em captulos, e estes, em subttulos. Seo o nome genrico de qualquer uma das partes em que se divide o texto de um documento (ABNT, 2003). Os pargrafos do texto devem ser numerados seqencialmente, a partir da introduo, sem desdobramento por nmero de captulo. A numerao dos subttulos constituda pelo nmero do captulo a que pertence, seguido de ponto e do nmero que lhe foi atribudo na seqncia do assunto (ABNT, 2003). Quadro 4: Estrutura recomendada para a parte textual do relatrio de auditoria operacional 1. Introduo Identificao simplificada do objeto de auditoria Antecedentes Objetivos e escopo da auditoria Critrios Metodologia Forma de organizao do relatrio 2. Viso geral 3. Primeiro captulo principal Objetivo do captulo Contextualizao especfica para o captulo Descrio do contedo do captulo 3.1 Subttulo Pargrafo inicial de impacto, com descrio concisa do achado Critrio Anlise das evidncias Causas Efeitos e riscos decorrentes da manuteno da situao encontrada Boas prticas Concluso Propostas Benefcios esperados 4. Anlise dos comentrios dos gestores 5. Concluso 6. Proposta de encaminhamento

167.

168.

169.

Introduo 170. A introduo a parte inicial do texto e deve conter os elementos necessrios para situar o tema da auditoria. Compe-se dos seguintes elementos: a) identificao simplificada do objeto de auditoria. Detalhes so apresentados na viso geral; b) antecedentes, que contemplam as razes que originaram a auditoria, a deciso que a autorizou e a existncia de fiscalizaes anteriores no mesmo objeto; c) objetivos e escopo da auditoria, onde devem ser claramente enunciados os objetivos gerais e especficos e os limites do trabalho, especificando os sistemas ou aspectos que foram auditados, bem como a justificativa de se ter adotado a abordagem descrita; d) critrios, que deve conter padres gerais utilizados para emitir opinio sobre o desempenho do objeto de auditoria. Pode incluir o arcabouo conceitual bsico, em auditorias mais complexas, bem como a fonte dos padres de desempenho utilizados. Critrios especficos aplicveis s questes de auditoria devem ser descritos no captulo correspondente; e) metodologia, que compreende os mtodos empregados na coleta e na anlise dos dados. A metodologia deve ser exposta resumidamente, registrando-se detalhes em apndice. Devem ser mencionadas as limitaes impostas ao trabalho de auditoria associadas metodologia usada para investigar as questes de auditoria; confiabilidade ou dificuldade na obteno de dados, assim como as limitaes relacionadas ao prprio escopo do trabalho, ou seja, as reas e os aspectos no analisados; e f) forma de organizao do relatrio, composta de descrio breve dos temas tratados, ressaltando a ligao lgica entre eles. Viso geral 171. Na viso geral descrevem-se as caractersticas do objeto de auditoria que so necessrias para a compreenso do relatrio, fazendo-se as correlaes com os objetivos da auditoria, quando for o caso. Os textos analticos resultantes da aplicao das tcnicas de diagnstico so importantes para subsidiar a redao desse captulo. Alguns dos elementos da viso geral podem ser: objetivos, responsveis, histrico, beneficirios, principais produtos, relevncia, indicadores de desempenho, metas, aspectos oramentrios, processo de tomada de deciso, sistemas de controle. As informaes que comporo a viso geral dependem dos objetivos da auditoria. Alm disso, por conciso, possvel apresentar informaes especficas nos captulos principais, sem repeti-los na viso geral. Da mesma forma, possvel registrar em apndice dados histricos ou outras informaes de contextualizao no diretamente relacionadas com o objetivo da auditoria. Captulos principais 173. Os captulos principais compem-se do relato articulado e argumentado sobre os achados de auditoria. Os captulos devem ser apresentados em ordem decrescente de relevncia, isto , iniciase pelo tema que se revelou mais importante. O mesmo se aplica apresentao dos achados dentro de cada captulo, em subttulos apresentados em ordem decrescente de relevncia. Portanto, nem sempre ser mantida a ordem proposta no projeto de auditoria. Outra forma de organizar o texto partir dos temas mais gerais para os mais especficos. Essa pode ser a melhor maneira de apresentar assuntos complexos e interligados cuja compreenso seja facilitada a partir da leitura de achados que introduzam o contexto no qual os demais de inserem. A estrutura recomendada pretende abranger casos gerais e mais freqentes. O quadro 4 apresenta a seqncia tpica de apresentao das informaes. No significa que cada elemento do relato tenha que ser apresentado em apenas um pargrafo ou que todos os elementos tenham que estar presentes. Como j foi anteriormente esclarecido neste manual, dependendo do tipo de questo de auditoria, nem sempre possvel identificar causas ou formular propostas, por exemplo. Alm disso, a discusso das evidncias pode ser extensa, incluindo a apresentao de grficos, tabelas e outras

172.

174.

ilustraes. 175. Ponto crucial do relatrio a anlise de evidncias. As evidncias devem ser apresentadas de forma lgica, articulada e com ilustraes que facilitem a compreenso da situao encontrada. Os argumentos que fundamentam a posio da equipe devem ser confrontados com os melhores argumentos contrrios (ISSAI 3000/4.5, 2004). Os subttulos devem conter as concluses referentes ao ponto tratado. As concluses so afirmativas relacionadas com o objetivo da investigao, deduzidas da anlise das evidncias, em contraste com os critrios. Em seguida, se for o caso, a equipe deve formular resumidamente a proposta que constar do captulo "proposta de encaminhamento", sem, no entanto, enunci-la de forma idntica. A proposta pode basear-se em concluses de mais de um subttulo. Para evitar sua repetio em vrios trechos, a proposta pode ser formulada junto com a concluso do captulo. Por fim, a equipe deve quantificar ou, se no for possvel, estimar os benefcios que podero ser obtidos, caso as propostas sejam implementadas. Tambm por conciso e caso seja conveniente, a equipe poder estimar os benefcios esperados ao final do captulo ou na concluso do relatrio, agrupando propostas que contribuam para a obteno do mesmo benefcio (BRASIL, 2004b) e detalhar a memria de clculo em apndice. Anlise dos comentrios dos gestores 179. O auditado sempre deve ter oportunidade de examinar o relatrio preliminar de auditoria antes que ele seja tornado pblico (ISSAI 3000/4.5, 2004). Dessa forma, a unidade tcnica deve diligenciar para que os auditados apresentem seus comentrios escritos sobre o relatrio preliminar, fixando prazo compatvel. O relatrio preliminar tem todos os elementos do relatrio final, exceto o captulo de anlise dos comentrios dos gestores. Representa a oportunidade do gestor de tomar conhecimento dos achados, concluses e propostas em seu contexto completo e por escrito (ISSAI 3000/4.5, 2004). A unidade tcnica poder deixar de incluir a proposta de encaminhamento no relatrio preliminar, caso seu conhecimento pelos gestores coloque em risco o alcance dos objetivos da auditoria. Os gestores devem ser informados sobre o carter sigiloso do relatrio preliminar. A cpia impressa do relatrio a ser encaminhada deve conter marca d'gua na diagonal de todas suas pginas com a expresso SIGILOSO (BRASIL, 2004a). Os comentrios oferecidos devem ser analisados em instruo na qual a equipe de auditoria avaliar a necessidade de rever pontos do relatrio ou apresentar argumentos para manter posies discordantes dos gestores. Quando os auditados fornecerem novas informaes ao apresentarem seus comentrios, a equipe dever avali-las, segundo os padres aplicveis s evidncias, antes de incorpor-las ao relatrio (ISSAI 3000/4.5, 2004). Caso as novas informaes e argumentos dos auditados sejam importantes para esclarecer pontos do relatrio ou sejam suficientes para alterar o entendimento da equipe, as modificaes sero feitas nos captulos principais do relatrio, sem necessidade de mencion-las no captulo de anlise dos comentrios dos gestores. Nesse caso, deve constar da anlise a informao de que foram feitas alteraes no relatrio em razo dos comentrios dos gestores. As informaes e argumentos que no forem suficientes para alterar o entendimento da equipe devem ser analisadas no captulo "anlise dos comentrios dos gestores" (ISSAI 3000/4.5, 2004), conforme registrado na instruo. Concluso 184. Esse captulo deve trazer as respostas s questes de auditoria. As concluses devem responder aos objetivos da auditoria, basear-se na racionalidade e em critrios especficos da auditoria (ISSAI 3000/4.5, 2004). As concluses do relatrio so afirmaes da equipe, deduzidas dos achados.

176.

177.

178.

180.

181.

182.

183.

Devem destacar os pontos mais importantes da auditoria e as principais propostas de deliberaes (ISSAI 3000/4.3, 2004). 185. 186. Concluses so afirmaes sintticas e, como tal, inevitavelmente omitem ou simplificam algumas das informaes registradas no corpo do relatrio (NAO, 200-). A concluso deve destacar de forma equilibrada os pontos fortes do objeto de auditoria, as principais oportunidades de melhoria de desempenho e os possveis benefcios esperados quantificando-os, sempre que possvel, em termos de economia de recursos ou de outra natureza de melhoria. Devem ser relatadas as dificuldades enfrentadas pelos gestores e destacadas as iniciativas positivas por eles empreendidas no sentido de superar as dificuldades (BRASIL, 2004a). Proposta de encaminhamento 187. Caso sejam propostas deliberaes, elas devem ter correspondncia clara com os achados e devem ser baseadas nas causas desses achados (ISSAI 3000/5.2, 2004). As propostas de encaminhamento so recomendaes e determinaes que a equipe de auditoria demonstra serem necessrias e que contribuiro para sanar alguma deficincia identificada pela auditoria. A causa do problema pode estar fora do controle do auditado. Nesse caso, a proposta pode ser direcionada para outro rgo/entidade, hiptese na qual se recomenda que ela seja discutida com os interessados. Propostas devem ser formuladas focando "o qu" deve ser aperfeioado ou corrigido e no o "como", embora circunstncias possam surgir que demandem a formulao de propostas especficas, como aperfeioamento ou correo de regulamentos (ISSAI 400/25, 2001). Essa orientao se deve ao fato de que a equipe de auditoria no pode alegar ter descoberto a nica soluo para sanar o problema identificado (ISSAI 3000/2.1, 2004). Nos captulos principais, a equipe pode mencionar possveis medidas que podem ser adotas pelos gestores, com base, por exemplo, em boas prticas. Na elaborao da proposta de encaminhamento a equipe dever destacar, mediante ordenao adequada, as propostas mais importantes. Alm disso, dever agrupar as propostas por destinatrio e por tema. Dessa forma, propostas que tiverem relao entre si, mesmo que tenham sido mencionadas em subttulos diferentes, ficaro agrupadas, em razo da conexo comum com um mesmo tema. As propostas devero indicar entre parnteses os nmeros dos pargrafos nos quais os temas a que se referem so tratados no relatrio. Independentemente de meno no relatrio, deve ser proposta determinao no sentido de que o auditado elabore e encaminhe ao Tribunal plano de ao contendo cronograma de implementao das medidas que adotar visando atender as deliberaes propostas no sentido de corrigir os problemas identificados (BRASIL, 2002b). A incluso de propostas dirigidas a outras unidades tcnicas deve ser precedida de negociao entre os titulares (BRASIL, 2004b), com a coordenao da Segecex. importante garantir que as propostas sejam exeqveis, agreguem valor e tenham relao com os objetivos da auditoria (ISSAI 3000/4.5, 2004). As propostas subsidiaro a elaborao de plano de ao por parte dos gestores, o monitoramento da implementao das deliberaes e a quantificao de seus efeitos (BRASIL, 2004a). Por essas razes, a equipe deve formular o nmero estritamente necessrio de propostas que contemple a correo das principais deficincias identificadas.

188.

189.

190.

191.

MONITORAMENTO 192. Monitoramento o instrumento de fiscalizao usado pelo Tribunal para verificar o cumprimento de suas deliberaes e os resultados delas advindos, observar as providncias adotadas e auferir seus efeitos (TCU, 2002b). O principal objetivo do monitoramento aumentar a probabilidade de resoluo dos problemas identificados durante a auditoria, seja pela implementao das deliberaes ou pela adoo de outras medidas de iniciativa do gestor. A expectativa de controle criada pela realizao sistemtica de monitoramentos contribui para aumentar a efetividade da auditoria. O monitoramento permite aos gestores e demais partes envolvidas acompanhar o desempenho do objeto auditado, pois atualiza o diagnstico e oferece informaes necessrias para verificar se as aes adotadas tm contribudo para o alcance dos resultados desejados. Alm disso, o monitoramento ajuda a identificar as barreiras e dificuldades enfrentadas pelo gestor para solucionar os problemas apontados. Por meio dos monitoramentos, possvel avaliar a qualidade das auditorias e identificar oportunidades de aperfeioamento, de aprendizado e de quantificao de benefcios. Alm de subsidiar o processo de seleo de novos objetos de auditoria, as informaes apuradas nos monitoramentos so usadas para calcular o percentual de implementao de deliberaes e a relao custo/benefcio das auditorias, indicadores de efetividade da atuao das entidades de fiscalizao superior. Plano de ao 196. Considerando que o gestor tem a responsabilidade de solucionar as ocorrncias apontadas durante a auditoria, cabe a ele apresentar proposta das medidas a adotar e o respectivo cronograma. Isso feito por meio do plano de ao. O plano de ao um documento apresentado pelo gestor ao TCU que formaliza as aes que sero tomadas para atender as deliberaes propostas no sentido de corrigir os problemas identificados durante a auditoria. Envolve, basicamente, um cronograma em que so definidos responsveis, atividades e prazos para a implementao das deliberaes. Esse instrumento norteia o processo de monitoramento e tende a aumentar a sua efetividade. A elaborao do plano de ao dever ser realizada pelos gestores e apresentada ao TCU no prazo estipulado pelo Acrdo. interessante que representantes da equipe de auditoria possam orientar o processo de construo do plano, para que o documento apresentado atenda s necessidades de monitoramento e abranja medidas satisfatrias para solucionar os problemas identificados. Essa interao pode ser viabilizada por meio de reunies com os gestores. O resultado esperado desse esforo que o plano de ao seja exeqvel. O Apndice 3 contm modelo simplificado do Plano de Ao, que pode variar, conforme a situao e a complexidade das medidas necessrias. Recomenda-se que o plano de ao inclua campo para registro dos benefcios previstos aps a implementao das deliberaes. So estes que, em ltima anlise, justificam a realizao das auditorias operacionais. Os benefcios devem ser estimados junto aos gestores, ainda durante a auditoria. Podem implicar reduo de despesas, aumento de receitas, eliminao de desperdcios, melhoria de desempenho. Tambm possvel obter benefcios no financeiros, tais como: melhorias organizacionais, aperfeioamento de controles internos, benefcios sociais e econmicos, reduo do sentimento de impunidade, aumento do sentimento de cidadania (BRASIL, 2002b). Cabe ressaltar que os benefcios quantificados poca da auditoria e listados no plano de ao foram estimados. Entretanto, o relatrio do ltimo monitoramento deve conter os resultados efetivamente atingidos, os benefcios causados pela implementao das deliberaes e a forma de mensurao deles. Por exemplo: "a implementao dessa recomendao economizou R$ 2 milhes em custos operacionais". Sempre que possvel, os valores apurados, a forma de mensurao e os

193.

194.

195.

197.

198.

199.

200.

resultados decorrentes da implementao da deliberao devem ser validados pelo gestor. Possveis divergncias devem ser registradas no relatrio (BRASIL, 2002b). 201. Dependendo da complexidade das medidas propostas, da dificuldade de articulao entre os rgos e entidades envolvidos na implementao dessas medidas, dos recursos necessrios para realizar o monitoramento, o TCU pode elaborar um plano de monitoramento para verificar a adoo das providncias e a evoluo do desempenho do objeto auditado. Sistemtica de monitoramento 202. Logo aps a apreciao da auditoria pelo Tribunal, recomenda-se que a unidade tcnica do TCU encarregada do monitoramento entre em contato com o gestor do rgo ou programa auditado para orient-lo sobre o monitoramento da auditoria. Se houver interesse, poder ser agendada reunio, durante a qual a equipe do TCU explicar aos participantes a sistemtica de monitoramento e apresentar ao gestor modelo de plano de ao, a ser entregue no prazo estabelecido pelo Acrdo. Sugere-se convidar representantes do rgo de controle interno (sempre que oportuno), do objeto auditado e de demais rgos ou entidades envolvidos com a implementao das recomendaes e determinaes. Se for necessrio, haver outras reunies entre os interessados, especialmente quando a implementao das deliberaes for complexa, demandar tempo mais longo de monitoramento, envolver diversas unidades governamentais ou quando for percebida alguma resistncia por parte do auditado. A partir da anlise do plano de ao, o gestor ser informado da previso de monitoramento da auditoria. O cronograma de monitoramento (quantidade, periodicidade, prazo) dever ser adaptado s particularidades de cada auditoria e definido a partir do teor das deliberaes do TCU e das datas estabelecidas no plano de ao. importante que o monitoramento no demore muito a iniciar, para que no se perca a expectativa de controle. Tambm no vale a pena monitorar as atividades por muito tempo, pois, de acordo com a experincia do Government Accountability Office (GAO), a maior parte das deliberaes implementada at trs anos aps a realizao da auditoria. O monitoramento ter as mesmas etapas que a auditoria operacional (planejamento, execuo, relatrio). Porm, h algumas caractersticas especficas, que sero destacadas a seguir. Preferencialmente, o coordenador do monitoramento ser um integrante da equipe que realizou a auditoria, o que tornar mais fcil apreciar se as medidas tomadas pelos gestores so ou no adequadas frente s deliberaes. O responsvel pelo monitoramento deve entrar em contato com o coordenador da auditoria para obter informaes sobre as condies e peculiaridades do trabalho inicial que possam subsidiar a realizao do monitoramento. Durante o planejamento do monitoramento, a equipe ler o relatrio de auditoria, o plano de ao e outros documentos pertinentes. Aps a leitura, enviar ao gestor a solicitao de documentos e informaes necessrios para o monitoramento, fixando prazo condizente com o volume de informaes solicitadas. A unidade tcnica responsvel pelos monitoramentos avaliar a convenincia de aplicar, no monitoramento final, procedimentos de coleta e anlise de dados semelhantes aos usados durante a auditoria. A principal razo para aplicar esses procedimentos a expectativa de conseguir mensurar benefcios. Relatrio de monitoramento 208. O relatrio de monitoramento dever ser documento autnomo, ou seja, dever conter informaes suficientes, de forma que no seja necessria, para o entendimento do tema, a leitura do relatrio de auditoria e de outros relatrios de monitoramento. O relatrio de monitoramento tem por objetivos: apresentar a situao de implementao das deliberaes; demonstrar, analiticamente, o benefcio efetivo decorrente dessa implementao; mensurar o custo/benefcio da auditoria. Se no

203.

204.

205.

206.

207.

for o monitoramento final, deve-se incluir no relatrio proposta de data para a realizao do prximo monitoramento. 209. A estrutura e forma de elaborao do relatrio de monitoramento sero definidos em documento especfico, em fase de elaborao no TCU. A verso preliminar do relatrio de monitoramento deve ser enviada aos gestores para que eles possam agregar comentrios e sugestes que julguem pertinentes sobre as constataes da equipe. A anlise desses comentrios ser incorporada ao relatrio final. Situao das deliberaes 210. Com base nos dados e informaes coletados durante o monitoramento, a equipe classificar as deliberaes, segundo o grau de implementao, no perodo verificado, em uma das seguintes categorias (BRASIL, 2002b): a) implementada; b) no implementada; c) parcialmente implementada - quando o gestor considerou concludas as providncias referentes implementao da deliberao, sem implement-la totalmente; d) em implementao - se h evidncias de que existem aes em curso no sentido de solucionar as ocorrncias apontadas durante a auditoria e que deram origem deliberao proposta; e) deixou de ser aplicvel - em razo de mudanas de condio ou de supervenincia de fatos que tornem inexequvel a implementao da deliberao. 211. Sero consideradas implementadas as deliberaes que solucionaram o problema apontado e que deram origem a providncias incorporadas s atividades regulares do objeto auditado. Quadro 5: Exemplo de situao de implementao das deliberaes 1 Monitoramento (ms/ano) 2 Monitoramento (ms/ano) Situao das % Situao das % deliberaes deliberaes Implementada 20 Implementada 50 Parcialmente 10 Parcialmente 10 implementada implementada Em implementao 10 Em implementao 20 No implementada 60 No implementada 10 Deixou de ser aplicvel Deixou de ser aplicvel 10 TOTAL 100 TOTAL 100
Obs. 1: Conforme comentado no pargrafo 204, a quantidade de monitoramentos pode variar. Obs. 2: A determinao para elaborar o Plano de Ao e as deliberaes dirigidas secretaria do Tribunal no devem integrar a tabela e, portanto, no devem ser consideradas no clculo do percentual de implementao (ex.: enviar cpias do Acrdo, arquivar os autos, publicar o relatrio em documento interno do TCU).

CONTROLE DE QUALIDADE 212. Controle de qualidade nas auditorias operacionais o conjunto de polticas, sistemas, e procedimentos estabelecidos para proporcionar adequada segurana de que os trabalhos alcancem seus objetivos, tenham excelncia tcnica e satisfaam as normas e os padres profissionais estabelecidos (ISSAI 3000/Apndice 4, 2004). A maneira como as auditorias operacionais so desenvolvidas e o grau de excelncia dos relatrios produzidos pode afetar a imagem do Tribunal. Por essa razo, importante assegurar que todas as atividades sejam desenvolvidas com padres elevados de qualidade (NAO, 2006). O controle de qualidade importante, ainda, porque possibilita o contnuo aperfeioamento dos trabalhos desenvolvidos, a partir da incorporao de lies aprendidas. As entidades de fiscalizao superior devem estabelecer sistemas e procedimentos de garantia de qualidade, os quais devem assegurar que todas as auditorias sejam desenvolvidas segundo os padres e as polticas pertinentes (ISSAI 3000/3, 2004). No TCU, foi estabelecido que todos os trabalhos de fiscalizao devem ser submetidos a controle de qualidade (BRASIL, 2005). A qualidade no desenvolvimento dos trabalhos de auditoria operacional assegurada pela aderncia a princpios, procedimentos e metodologias especficos, visando ao alcance de nveis crescentes de objetividade, confiabilidade, consistncia e utilidade na elaborao dos relatrios e dos demais documentos produzidos. O controle de qualidade exercido com os seguintes objetivos: a) assegurar a qualidade dos relatrios de auditoria (ISSAI 200/1.27, 2001); b) identificar oportunidades de melhoria na conduo de trabalhos futuros e evitar a repetio de deficincias (ISSAI 200/1.27, 2001); c) localizar deficincias no desenvolvimento dos trabalhos e corrigi-las tempestivamente; d) reduzir o tempo de tramitao dos processos das auditorias; e) diminuir a necessidade de retrabalho para correo de deficincias; f) evidenciar boas prticas na execuo dos trabalhos que possam ser disseminadas; g) contribuir para o desenvolvimento dos recursos humanos por meio da identificao de necessidades de treinamento; h) identificar a necessidade de reviso ou de elaborao de documentos tcnicos que contenham orientaes para a execuo das atividades; i) suprir a administrao com informaes sistemticas e confiveis sobre a qualidade dos trabalhos (NAO, 1996). Modalidades de controle de qualidade 216. O controle de qualidade um processo contnuo que abrange as atividades de superviso e orientao da equipe pelo supervisor em todas as fases do ciclo das auditorias operacionais, bem como atividades de iniciativa da equipe e a reviso do trabalho por outros agentes. O controle de qualidade pode ser concomitante ou a posteriori. O controle de qualidade concomitante integra-se s atividades desenvolvidas durante o ciclo de auditoria. Envolve a orientao da equipe pelo supervisor sobre a concepo da auditoria, o mtodo do trabalho e a anlise de evidncias, bem como atividades compartilhadas pelo supervisor e a equipe, como o acompanhamento do cronograma, revises peridicas dos papis de trabalho, consultas opinio de especialistas e painis de referncia. O controle de qualidade a posteriori pode ser exercido por meio de revises internas ou externas dos papis de trabalho e dos relatrios produzidos, aps a concluso da auditoria. Alm da adoo dos procedimentos de controle, a promoo da qualidade tambm pode ser executada por meio de iniciativas anteriores s fiscalizaes, como a redao de manuais com o objetivo de orientar a execuo dos trabalhos e a realizao de seminrios e treinamentos visando capacitao das equipes de auditoria para os trabalhos a serem desenvolvidos (NAO, 1996).

213.

214.

215.

217.

218.

219.

Outra forma efetiva de promover a qualidade das auditorias consiste em criar condies de trabalho que promovam o dilogo, a delegao e a confiana mtua dentro da organizao, bem como estimulem o senso de responsabilidade dos auditores (ISSAI 3000/Apndice 4, 2004). Os papis dos principais atores envolvidos com o controle de qualidade A atuao do supervisor essencial para assegurar o alcance dos objetivos da auditoria e para a manuteno da qualidade dos trabalhos, independentemente da competncia individual dos auditores. importante salientar que na auditoria operacional, geralmente mais importante apoiar as equipes de auditoria em suas iniciativas para alcanar alto nvel de qualidade em seu trabalho, do que supervision-las no sentido tradicional do termo (ISSAI 3000/Apndice 4, 2004). Cabe ao supervisor orientar e revisar tcnicamente a auditoria. A orientao atividade proativa e abrange discutir com a equipe o mrito da concepo do trabalho, do projeto de auditoria, das concluses, das propostas de encaminhamento, bem como encaminhar a viabilizao dos recursos necessrios execuo da auditoria. A reviso dos documentos produzidos refere-se ao relatrio, s matrizes de planejamento e achados, ao projeto de auditoria e demais papis de trabalho, considerando a complexidade da auditoria. A superviso dos trabalhos deve procurar assegurar que (ISSAI 300/2.3, 2001): a) os objetivos da auditoria sejam alcanados; b) as competncias necessrias para a execuo da auditoria sejam de domnio da equipe ou que sejam incorporadas mediante requisio ou contratao de servios; c) os membros da equipe tenham compreenso clara e consistente do projeto de auditoria; d) os achados e as concluses da auditoria estejam baseados em informaes confiveis e em evidncias vlidas, consistentes, relevantes e suficientes; e) a auditoria seja executada de acordo com padres e normas tcnicas adotadas pelo TCU; f) o projeto de auditoria seja cumprido; g) os recursos necessrios execuo da auditoria estejam disponveis, como servios tcnicos, equipamento e meios de deslocamento. Cabe ao coordenador promover discusses com os demais integrantes da equipe de auditoria para a definio do escopo do trabalho, da estratgia metodolgica e dos procedimentos e tcnicas a serem utilizados. A escolha dos objetivos, dos problemas e das questes de auditoria determina grande parte da qualidade do trabalho (ISSAI 3000/2.1, 2004). Compete ao coordenador da auditoria, ainda, realizar reunies peridicas com a equipe para a discusso de problemas surgidos durante o desenvolvimento das atividades e de adaptaes necessrias nos papis de trabalho produzidos; reportar ao supervisor o andamento dos trabalhos e com ele discutir o tratamento a ser dado a eventuais problemas e dificuldades; revisar toda a documentao obtida durante a fiscalizao, inclusive as contribuies dos demais integrantes da equipe ao relatrio de auditoria; e preparar a verso final do relatrio. Alm disso, o coordenador deve zelar para que: a) os objetivos da auditoria sejam definidos considerando os dados disponveis sobre o desempenho do objeto auditado; b) critrios apropriados sejam definidos para avaliar as questes de auditoria a serem investigadas; c) os membros da equipe tenham investigado, documentado e compreendido os aspectos centrais do objeto de auditoria; d) os objetivos da auditoria estejam claros para os membros da equipe e para os auditados; e) bom ambiente de trabalho seja mantido entre os integrantes da equipe de auditoria e entre a equipe e os auditados; f) o emprego das diversas tcnicas de auditoria siga as prescries contidas nos documentos tcnicos correspondentes; g) os prazos estimados sejam cumpridos, devendo propor ao supervisor a alterao do cronograma

220.

221.

222.

223.

224.

em caso de necessidade; h) os membros da equipe responsabilizem-se pela execuo de tarefas condizentes com seus conhecimentos e habilidades; i) o projeto de auditoria contenha todas as informaes necessrias para a apreciao da proposta de trabalho. Ferramentas de controle de qualidade 225. O controle de qualidade nas auditorias operacionais realizado com o auxlio de determinadas tcnicas e procedimentos rotineiros que facilitam a sua aplicao. As principais ferramentas de controle de qualidade so: a) b) c) d) e) f) 226. checklists de qualidade; cronograma; matriz de planejamento; matriz de achados; painis de referncia; comentrios dos gestores.

O checklist uma lista de verificao da realizao de atividades e do cumprimento de padres de qualidade aplicveis a atividades, papis de trabalho e produtos da auditoria. A aplicao de checklists pode ser feita tanto concomitante quanto aps a auditoria. Quando aplicado concomitantemente, o checklist facilita o trabalho da superviso, na medida em que permite a verificao do cumprimento pela equipe de auditoria de medidas chave nas diversas etapas que compem os trabalhos de auditoria e a correo tempestiva de deficincias. Quando aplicado a posteriori, o checklist ajuda a identificar oportunidades de melhoria na conduo de trabalhos futuros e a evitar a repetio de deficincias. O cronograma permite que a equipe planeje e organize suas atividades e facilita a alocao de seus membros de acordo com os procedimentos previstos e com o tempo disponvel. Deve conter a relao das tarefas a serem executadas, os respectivos responsveis e o prazo para a sua execuo. Aps ser acordado entre os membros da equipe, o cronograma deve ser submetido ao supervisor, que dever utiliz-lo para acompanhar o desenvolvimento dos trabalhos. O Apndice 1 apresenta um exemplo de Cronograma. A matriz de planejamento registra os objetivos da auditoria, como as questes que sero investigadas e quais as possveis concluses. Assim, base para a discusso da concepo do trabalho e para o posterior acompanhamento da execuo do projeto de auditoria. Esse instrumento sistematiza e detalha os procedimentos previstos para a execuo do trabalho, portanto, auxilia na identificao de falhas e lapsos no planejamento das atividades. Na medida em que organiza os elementos da metodologia em colunas especficas, evidencia, se as informaes requeridas so suficientes para responder a questo proposta. Permite verificar, ainda, se essas informaes podem ser supridas pelas fontes de informao listadas e se esto coerentes com a estratgia metodolgica e com os mtodos de coleta e de anlise de dados definidos. A matriz de planejamento deve ser revisada nos seguintes pontos: a) O problema de auditoria foi devidamente explicitado? b) As questes de auditoria esto claramente formuladas? c) Existe uma relao clara e satisfatria entre as questes de auditoria e o problema a ser investigado? d) As metodologias escolhidas (estratgias, mtodos de coleta e anlise de dados) so adequadas para responder s questes formuladas? e) As limitaes foram identificadas? f) As concluses esperadas do trabalho de auditoria (o que a anlise vai permitir dizer) so consistentes com a metodologia proposta e respondem questo de auditoria?

227.

228.

229.

A matriz de achados contribui para o controle de qualidade, na medida em que auxilia na sistematizao e anlise dos resultados da auditoria. A matriz de achados importante para a correta elaborao do relatrio de auditoria, pois dispe, de forma estruturada, os achados, suas evidncias, causas e efeitos, elementos que compem os captulos principais do relatrio. possvel verificar, por exemplo, se os achados so suportados por evidncias confiveis e suficientes, se as medidas propostas so adequadas e se incidem sobre as causas dos problemas que se pretende corrigir e se as questes de auditoria foram respondidas. A realizao de painis de referncia prtica importante que possibilita o controle de qualidade nas auditorias operacionais por meio da reviso das matrizes de planejamento e de achados. Tanto a matriz de planejamento, quanto a matriz de achados devem ser validadas em painis de referncia. Normalmente, os painis de referncia contam com a participao de outros servidores do Tribunal com conhecimento sobre o tema da auditoria, de membros do gabinete do Ministro-Relator, de representantes do Controle Interno e de especialistas externos (inserir referncia ao pargrafo do captulo de planejamento "Portanto, a composio do painel"). O painel de referncia tem por objetivo avaliar a lgica da auditoria e o rigor da metodologia utilizada. Possibilita, ainda, que a equipe seja alertada sobre falhas na concepo e no desenvolvimento dos procedimentos. Recomenda-se que, aps a realizao dos ajustes considerados pertinentes, decorrentes dos painis de referncia, as matrizes de planejamento e de achados sejam apresentadas aos gestores responsveis pelo objeto de auditoria avaliado, de forma que sua apreciao crtica tambm possa contribuir para a melhoria da qualidade dos trabalhos (inserir referncia ao cap. Planejamento "A segunda etapa do processo de validao"). No mesmo sentido, o encaminhamento da verso preliminar do relatrio de auditoria para a apreciao e manifestao dos gestores, possibilita o esclarecimento de pontos obscuros, a correo de informaes imprecisas ou inconsistentes, assim como o aperfeioamento das medidas propostas. Alm do controle de qualidade concomitante, executado pela unidade tcnica que realiza a auditoria, desejvel que sejam estabelecidos sistemas e procedimentos para confirmar se os processos de garantia de qualidade funcionam adequadamente (ISSAI 200/1.27a, 2001). Esses procedimentos incluem a aplicao de checklists pelos setores do Tribunal encarregados de analisar a qualidade dos trabalhos aps a sua concluso, bem como a reviso posterior dos relatrios por servidores seniores de outras unidades tcnicas, gabinetes de autoridades ou especialistas externos.

230.

231.

232.

APNDICE 1

Cronograma de atividades de planejamento de auditoria TRIBUNAL DE CONTAS DA UNIO

Secretaria de xxx
Auditoria Operacional xxx

Cronograma de Planejamento agosto/2006 Horrio comum da equipe : 14:00 s 18:00

Data Limite
7/8

Atividades/Equipe

ACE 1
X X X X X X X X X

ACE 2
X

ACE 3 ACE 4
X X

Relatrio de Progressos

Reunio inicial da equipe Marcar apresentao da equipe com o 9/8 titular e com gestores Encaminhar comunicao sobre o incio 9/8 da auditoria Revisar legislao e documentao (com 9/8 foco no mapa de processos) Reunio Tcnica para discusso de 9/8 informaes bsicas Reunio inicial com equipe da unidade 10/8 tcnica e gestores. Marcar reunio tcnica aps a apresentao. 11/08 Entrevistas com as gerncias Entrevistas com os gerentes. Identificar 14/8 possveis stakeholders a serem entrevistados durante o planejamento. 15/8 Iniciar elaborao das tcnicas Revisar e redigir texto sobre objetivos, pblico-alvo, meta e abrangncia da ao 15-30/8 (registro de medicamentos, autorizao de funcionamento de empresas, etc...) 15-30/8 Revisar e redigir texto sobre outras avaliaes e auditorias realizadas

X X X X X X X

X X X X X X

X X X X X X

Revisar e redigir texto sobre execuo 15-30/8 oramentria e financeira (a partir de 2004) Revisar e redigir texto sobre indicadores 15-30/8 de desempenho do PPA e gerenciais (ver relatrios de Contrato de Gesto) Revisar e redigir texto sobre controles 15-30/8 (banco de dados, planilhas informatizadas, roteiros e procedimentos de superviso, COSO) Revisar e redigir texto sobre a forma de 15-30/8 operacionalizao da ao 16-21/8 Elaborar 1 verso stakeholders 16-21/8 Elaborar 1 verso do mapa de produtos 16-21/8 Elaborar 1 verso do mapa de processos 16-21/8 Elaborar SWOT e DVR Reunio Tcnica da equipe para discutir 17/8 escopo da auditoria 18/8 Apresentao e crtica das primeiras verses das tcnicas Discusso das possveis questes de auditoria, 1 verso das possveis questes de auditoria e o que se pretende com a anlise das questes Definir destinatrios de questionrios, de entrevistas e de outros instrumentos/iniciar elaborao de questionrios

X X X X X X X X X X X X X X X X X

21/8

22/8

Data Limite

Atividades/Equipe

ACE 1
X X X X X X X

ACE 2
X

ACE 3 ACE 4
X X

Relatrio de Progressos

23-25/8 Construo da Matriz de Planejamento 25/8 Reunio tcnica com gestores. 28-29/8 28/8 29/8 29/8 30/8 31/8 01/9 01/9 1 verso dos critrios de auditoria relativos cada questo Preparao do Teste Piloto (Definir locais, solicitar passagens, dirias) Verso preliminar Planejamento da Matriz de

Discutir Matriz com o Supervisor Definir Painel Verso final das tcnicas Esboo de possveis Desempenho Indicadores de

X X

X X

X X

Definir e selecionar amostra da pesquisa e anlise de dados secundrios/Definio de locais para exame in loco Reunio da equipe com o Supervisor

X X

X X X

X X

04-06/9 Realizao do Teste-Piloto 08/9 11-12/9 13/9 14/9 15/9 18/9 20/9 Relatrio do Teste-Piloto Confirmar dia, hora, local agendado para o Painel/encaminhar convites Realizao do Painel Reviso da Matriz de Planejamento com base no Painel Reunio com gestores para discusso da Matriz de Planejamento Verso final entrevistas dos questionrios e

X X X X X X X X

X X

X X

Entrega do Relatrio de Planejamento

21-29/9 Enviar pesquisa postal 25-29/9 Agendar visitas de campo

APNDICE 2 PLANEJAMENTO E MTODO

Matriz de Planejamento: Como Preench-la O preenchimento da matriz de planejamento um esforo coletivo, resultado das informaes obtidas e das percepes de todos os integrantes da equipe. Geralmente utiliza-se a tcnica de brainstorming para o seu preenchimento, o que permite a cada participante expor livremente suas idias e interpretaes, at que se alcance entendimento comum sobre a formulao do problema, das questes e subquestes de auditoria. Embora no exista um mtodo fcil para se chegar s questes de auditoria, recomenda-se uma abordagem estruturada para a formulao da questo de auditoria, inspirada no mtodo cartesiano de soluo de problemas, como descrito a seguir. 1 passo - Descreva o problema: Com base nas informaes propiciadas pela anlise preliminar do objeto de auditoria, expresse, de forma clara e objetiva, o "problema" que ser enfocado e que nortear a concepo e execuo da auditoria. Caso a solicitao para realizao da auditoria seja formulada de maneira genrica ou muito abrangente, o planejamento dever definir o escopo da auditoria, etapa fundamental para que se possa ter compreenso clara do que ser auditado. A explicitao do no-escopo, ou seja, daquilo que no ser tratado pela auditoria, pode ser necessria para estabelecer com preciso os limites do trabalho. Exemplo de formulao de problema de auditoria: A partir do ano 2000, os dispndios governamentais com o benefcio de auxlio-doena tiveram aumento expressivo. Por isso, para assegurar a prestao de servios com qualidade e coibir o desperdcio de recursos pblicos, importante investigar a adequao dos mecanismos de controle do INSS para gerenciar a concesso e manuteno desse benefcio, bem como avaliar a contribuio dos servios de reabilitao profissional dos beneficirios, visando reduo de custos. 2 passo Formule as possveis questes: O problema deve ser subdividido em partes que no se sobreponham. Por meio de brainstorming identifique possveis questes que, uma vez respondidas, possam elucidar o problema formulado. A seguir, estabelea uma hierarquia de questes, como na figura 4. Identifique o tipo de questo formulada, conforme categorias explicadas no captulo de planejamento, pois a natureza da questo ter relao direta com a natureza da resposta e a metodologia a adotar. No h regras rgidas sobre quando formular subquestes de auditoria. Contudo, as questes devem ser focadas, especficas e tratar de apenas um tema. Se for necessrio, subquestes devem ser formuladas para que cada uma delas seja o mais simples possvel e, no conjunto, abranjam o que se deseja investigar por meio da questo de auditoria. As subquestes facilitam a organizao das informaes do projeto de auditoria por linha da matriz de planejamento, permitindo ao leitor acompanhar a lgica do desenho da auditoria. Excesso de subquestes pode tornar a matriz extensa, repetitiva e cansativa. Sendo assim, deve ser adotada a soluo mais adequada a cada trabalho.

Figura 4: Hierarquia de questes e subquestes

Exemplo de formulao de questes e subquestes de auditoria 12: Questo 1: Os controles internos sobre o auxlio-doena so adequados para garantir, com razovel segurana, o pagamento desses benefcios? Subquesto 1.1: Os controles internos sobre as atividades de concesso dos benefcios de auxliodoena so adequados para garantir, com razovel segurana, o pagamento desses benefcios? Subquesto 1.2: Os controles internos sobre as atividades de manuteno dos benefcios de auxliodoena so adequados para garantir, com razovel segurana, o pagamento desses benefcios? Questo 2: Qual a cobertura de atendimento do servio de reabilitao profissional e qual o seu impacto econmico nos gastos com o benefcio? Subquesto 2.1: A estrutura fsica do servio e o nmero de servidores alocados so suficientes para o atendimento da demanda por reabilitao profissional? Subquesto 2.2: Qual a economia que o servio de reabilitao possibilita e qual o seu potencial de crescimento? 3 passo - Teste as questes: Identifique as questes de difcil resposta e considere como as dificuldades podem ser contornadas. Confronte as questes com os recursos disponveis para a realizao da auditoria, definidos em termos de custo, prazos de execuo e de recursos humanos alocados. Considere ainda as competncias da equipe, vis--vis s necessrias para execuo do projeto de auditoria. 4 passo - Elimine as questes no essenciais: Descarte questes desprovidas de potencial para melhorar o desempenho ou que no tenham soluo vivel. Portanto, os critrios para a escolha ou excluso de determinada questo so a relevncia das concluses que podero ser alcanadas e a factibilidade da estratgia metodolgica requerida para respond-la de forma satisfatria. Priorize as questes e decida quais devem ser estudadas. Lembre-se que as questes devem ser sucintas e sem ambigidades. Uma vez definidos o problema e as questes/subquestes de auditoria, devem-se identificar os elementos correspondentes s demais colunas da matriz, de acordo com o modelo do Quadro 6.

Quadro 6: Modelo de matriz de planejamento

Questo /subquesto de auditoria Especificar os termos- chave e o escopo da questo: -critrio -perodo de abrangncia -atores envolvidos -abrangncia geogrfica Informaes requeridas Estratgia Tcnicas de metodolgica coleta de dados Identificar as Identificar as Identificar as Identificar as informaes fontes de cada estratgias tcnicas de necessrias item de metodolgicas coleta de para responder informao e tcnicas dados que questo de amostrais que sero usadas auditoria sero usadas Fontes de informao Tcnicas de Limitaes anlise de dados Identificar as Especificar as tcnicas a ser limitaes empregadas naquanto: anlise de - estratgia dados metodolgica adotada -ao acesso a pessoas e informaes - qualidade das informaes -s condies operacionais de realizao do trabalho O que a anlise vai permitir dizer Esclarecer precisamente que concluses ou resultados que podem ser alcanados

Embora os elementos da matriz de planejamento sejam apresentados seqencialmente, a definio das questes de auditoria, a escolha das estratgias metodolgicas apropriadas, assim como os resultados a que se quer chegar com a anlise proposta (o que a anlise vai permitir dizer) acontecem simultaneamente, confrontando-se essas informaes de maneira a assegurar a consistncia lgica do projeto de auditoria. Informaes Requeridas Para se determinar o tipo de informao necessria para responder questo de auditoria, os termoschave empregados na questo devem ser definidos e suas dimenses ou variveis identificadas. Por exemplo, ao formular uma questo envolvendo o impacto de uma iniciativa governamental voltada para a melhoria do nvel de ensino, deve-se definir o que se entende por melhoria do nvel de ensino, identificando-se as dimenses envolvidas nesse conceito. A tarefa de traduzir conceitos abstratos em variveis mensurveis indispensvel para que se possa especificar com clareza o tipo de informao a ser coletada. Fontes de Informao Deve-se identificar a fonte especfica para cada tipo de informao. Exemplos de fontes de informao: a) b) c) d) e) f) g) h) i) documentao legal e institucional que d suporte ao objeto de auditoria; legislao oramentria (PPA, LDO e LOA); misso declarada, planos estratgicos e relatrios de gesto; pronunciamentos feitos e decises tomadas pelas autoridades competentes; organogramas, diretrizes internas e manuais operacionais; atas de reunies; sistemas de informaes gerenciais; bases de dados informatizadas; sistemas de informaes da administrao pblica (SIAFI, SIGPlan, SIDOR, SIASG);

j) k) l) m) n)

bibliografia especializada; gestores e especialistas; beneficirios de programas governamentais; relatrios e estudos produzidos por fonte credenciada; mdia especializada.

Cuidado especial deve ser dedicado ao uso de revistas, jornais e outras publicaes jornalsticas, bem como informaes da internet que, embora possam oferecer informaes de carter geral e indicar a relevncia de determinado tema, no so submetidas a revises qualificadas, prprias de publicaes cientficas (reviso por pares). Outras publicaes, mesmo de carter oficial, devem ser interpretadas com reserva ante possibilidade de apresentarem fatos seletivamente, de maneira a dar sustentao a determinado ponto de vista (LEE e LINGS, 2008). Estratgias Metodolgicas A estratgia metodolgica a forma geral do desenho que ser adotado na auditoria. Devem-se registrar a abordagem a ser adotada e as estratgias gerais de coleta e anlise de dados. A estratgia metodolgica est diretamente relacionada com a qualidade das evidncias que podem ser obtidas, o que, por sua vez, influir na confiabilidade das concluses do trabalho. A Intosai relaciona as abordagens mais adequadas para responder a algumas questes tpicas de auditoria operacional (ISSAI 3000/Apndice 1, 2004), conforme Quadro 7. Quadro 7: Principais abordagens em auditoria operacional Estratgias Questo de auditoria
O programa est alcanando as metas previstas? Como o programa funciona? Quais so os efeitos lquidos do programa? Estudo sobre alcance de metas ou resultados Estudo sobre processos Avaliao de impacto

Os benefcios do programa excedem os custos? Os objetivos so alcanados Estudos de custo-benefcio e de custoao menor custo possvel? efetividade As atividades e procedimentos adotados esto sendo realizados conforme as melhores prticas? Estudo de benchmarking

A qualidade da avaliao realizada aceitvel?

Estudo de meta-avaliao

Fonte: ISSAI 3000/Apndice 1. Alm da abordagem geral da auditoria, devem ser registradas as estratgias que sero usadas para coletar e analisar os dados, por exemplo (PATTON, 1987): a) Triangulao: uso de diferentes mtodos de pesquisa e/ou de coleta de dados para estudar a mesma questo, com o objetivo de fortalecer as concluses finais, podendo assumir as formas a seguir indicadas: coletar dados de diferentes fontes sobre a mesma questo; empregar diferentes entrevistadores e pesquisadores de campo para evitar vieses na coleta de dados;

usar mltiplos mtodos de pesquisa para estudar a mesma questo; usar teorias diferentes para interpretar os dados coletados; b) interpretaes alternativas: uma vez formulada uma interpretao a partir das principais relaes identificadas na anlise, devem-se buscar interpretaes alternativas; caso no sejam encontradas evidncias substantivas que sustentem essas interpretaes, refora-se a confiana na interpretao originalmente formulada (PATTON, 1987). Em uma auditoria operacional de qualidade, os argumentos sustentados pela equipe devem ser confrontados com os melhores contra-argumentos possveis (ISSAI 3000/4.5, 2004); c) caso negativo: relacionado ao item anterior, trata-se de identificar as situaes que no seguem a interpretao principal ou corrente em razo de circunstncias especficas e que, por isso mesmo, funcionam como excees (casos negativos) que confirmam a regra e que ajudam a esclarecer os limites e as caractersticas da interpretao principal. A efetividade dos procedimentos tratados acima se apia na honestidade intelectual do analista, que deve despender na busca de casos negativos ou de evidncias que dem sustentao s hipteses alternativas, o mesmo esforo empregado na construo da interpretao principal. Entre os mtodos de pesquisa mais empregados nas auditorias operacionais esto a pesquisa documental, a pesquisa amostral e o estudo de caso. A pesquisa experimental, quase-experimental e no-experimental, utilizadas em avaliao de programas, tambm fazem parte das opes de estratgia metodolgica. a) Pesquisa documental: abrange o exame de toda espcie de registros administrativos, inclusive estatsticas oficiais. Alm de material produzido pela instituio auditada, so pesquisados relatrios de auditorias anteriores do TCU e da CGU, assim como estudos realizados por outras instituies. Denomina-se pesquisa bibliogrfica a que abrange a bibliografia tornada pblica em relao ao tema de estudo. Ao se realizar pesquisa documental necessrio avaliar a confiabilidade das informaes divulgadas, assim como determinar a natureza, localizao e disponibilidade dos documentos no incio da auditoria. Esses cuidados tm por objetivo garantir o melhor aproveitamento da informao ao menor custo possvel e verificar a viabilidade de se responder questo. b) Estudo de Caso: Estudo de caso um mtodo usado para conhecer uma situao complexa13, baseado em compreenso abrangente14 da situao, obtida a partir de sua ampla descrio e anlise15, considerada como um todo e no seu contexto. *grifamos+ (GAO, 1990, p.14). Em auditoria operacional, os estudos de caso so freqentemente complementados por outras estratgias metodolgicas, como a pesquisa. Segundo Patton (PATTON, 1987, p.19):
Estudos de caso tornam-se especialmente teis quando necessrio entender algum problema especfico ou situao em grande profundidade e onde possvel identificar casos ricos em informao ricos no sentido de que muito pode ser aprendido de uma pequena amostra do fenmeno em questo. Por exemplo, geralmente muito pode ser aprendido sobre como aperfeioar um programa estudando desistncias, fracassos e sucessos selecionados.

c) Pesquisa Amostral: a pesquisa uma estratgia metodolgica que permite obter informaes de carter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais, como aos resultados esperados. Com freqncia, utilizada em conjunto com estudos de caso como suporte para as anlises de carter qualitativo, tpicas dessa ltima estratgia. Como mtodo estruturado de coleta de dados, a pesquisa visa generalizar para toda a populao informaes obtidas a partir de uma amostra 16. Para garantir essa generalizao, a amostra deve

refletir as caractersticas da populao-alvo. Qualquer deficincia do mtodo amostral utilizado deve ser levado em conta na interpretao dos resultados da pesquisa e ser devidamente relatado. d) Pesquisa Experimental: Na pesquisa experimental, para verificar se um programa a causa de determinado efeito, selecionam-se dois grupos de unidades de pesquisa (pessoas, escolas, hospitais, etc.): 1) o grupo experimental ou de tratamento, que ser exposto ao programa; 2) o grupo de controle, que no ser exposto. As diferenas observadas nos resultados obtidos por esses grupos, com algumas qualificaes, podero ser atribudas presena do programa. O procedimento, para ser considerado um experimento em sentido estrito, requer que as unidades de pesquisa, em ambos os grupos, sejam selecionadas de forma randmica ou aleatria. Isso visa fortalecer a concluso sobre o vnculo causal, garantindo que a maioria dos fatores no manipulados pelo programa e que poderiam influenciar os seus resultados est uniformemente distribuda entre os dois grupos. Dessa forma, apenas os efeitos do programa explicariam as diferenas observadas. e) Pesquisa Quase-Experimental: A realizao do pesquisa experimental envolve dificuldades de ordem tanto prtica, tratados no subitem anterior, quanto tica (ex.: excluir do programa um grupo de beneficirios em potencial para que operem como grupo de controle). Dessa forma, a pesquisa quase-experimental apresenta-se como estratgia metodolgica alternativa. Assim, os grupos de comparao so selecionados com base na disponibilidade e na oportunidade. As estratgias utilizadas nesses casos so menos robustas do que a pesquisa experimental. Quanto maiores forem as diferenas iniciais entre os grupos de tratamento e de controle, mais ambguas sero as concluses alcanadas. Para minimizar esse problema, devem-se selecionar grupos que sejam to equivalentes quanto possvel, ou seja, grupos que possam ser comparados. Para se garantir a equivalncia entre os grupos, essencial aplicar um pr-teste, destinado a verificar as diferenas preexistentes e, dessa forma, permitir a interpretao e o controle dos resultados do estudo. f) Pesquisa No-Experimental: muitas vezes impossvel utilizar at mesmo modelos quaseexperimentais. A fragilidade inerente a essas pesquisas o fato de que no h controle sobre explicaes alternativas, ou seja, as mudanas observadas podem ter sido causadas por variveis no associadas ao programa. Quando a coleta de dados executada adequadamente, estudos dessa natureza oferecem valiosas informaes sobre o programa. Entretanto, apresentam problemas considerveis quando o objetivo estabelecer um juzo sobre o programa ou determinar em que medida os resultados obtidos podem ser a ele atribudos. Assim, quando se tratar de uma avaliao de programa, essas pesquisas devem ser realizadas em conjunto com outras estratgias metodolgicas. Tcnicas de Coleta de Dados Uma vez definida a estratgia metodolgica a ser empregada, deve-se especificar na matriz de planejamento a tcnica de coleta de dados que ser adotada. As tcnicas mais utilizadas so: questionrio, entrevista, observao direta e utilizao de dados existentes. A utilizao de dados novos, provenientes de questionrios ou entrevistas ou de registros e anotaes originrias de visitas da equipe s instalaes de projetos, oferece a possibilidade de produzir algo indito e confivel, desde que os benefcios superem os custos incorridos. Ao optar por utilizar dados existentes, a equipe deve avaliar a confiabilidade dos dados, alm de outros aspectos que podem impactar na qualidade das evidncias a serem obtidas. O Quadro 8 apresenta resumidamente as

caractersticas das principais tcnicas de coleta de dados e de aspectos relevantes da sua aplicao em auditoria operacional: Quadro 8: Resumo das principais tcnicas de coleta de dados APLICAO EM AUDITORIA CARACTERSTICAS OPERACIONAL
Mtodo estruturado de coleta de dados, por meio de formulrio, usado para quantificar informao padronizada, sobre grande nmero de unidades de pesquisa. Permite: -comparar respostas; -realizar anlise estatstica; -generalizar as concluses, no caso de amostras aleatrias. Os meios mais utilizados so os questionrios postais ou via internet. As principais desvantagens so: - o pr-teste e a realizao da pesquisa so demorados; -requer conhecimento sobre elaborao de questionrios e desenho amostral; - difcil garantir o rigor das informaes prestadas. Grande parte da auditoria operacional baseada em entrevistas. De acordo com o objetivo de cada etapa do trabalho, so aplicadas: entrevistas preparatrias; entrevistas para coletar dados e informaes; entrevistas para identificar atitudes e argumentos; entrevistas para gerar e avaliar idias e sugestes. Podem ser empregadas para confirmar fatos e corroborar dados de outras fontes ou explorar potenciais recomendaes. Empregado principalmente para obter informao contextualizada sobre a forma de funcionamento do objeto auditado. As vantagens desse mtodo podem ser assim resumidas (PATTON, 1987): -permite ao observador compreender o contexto no qual se desenvolvem as atividades; -permite ao observador testemunhar os fatos, sem depender de informaes de terceiros; -permite que um observador treinado perceba aspectos que escapam aos participantes, rotineiramente envolvidos com o programa; -pode captar aspectos do programa sobre os quais os participantes no desejam falar numa entrevista, por ser um tema delicado ou embaraoso; -traz para a anlise as percepes do prprio observador, que, ao serem confrontadas com as percepes dos entrevistados, fornecem uma viso mais completa do programa estudado; -permite que o observador forme impresses que extrapolem o que possvel registrar, mesmo nas mais detalhadas anotaes de campo, e que podem auxiliar na compreenso do programa e dos seus participantes. possvel agregar valor e extrair informaes originais de dados existentes, identificando tendncias e examinando-as de modo criativo. Se a auditoria est inteiramente baseada em dados existentes, especialmente se estes forem de domnio pblico, a equipe deve dedicar especial ateno forma de apresentao dos dados e de comunicao mais efetiva da idia chave (NAO,1997). O uso de softwares

TCNICAS Questionrios

Entrevistas

Mtodo presencial de obteno de informao por meio de perguntas e respostas. Podem ser individuais ou coletivas, estruturadas (questes fechadas), no-estruturadas (questes abertas) ou semi-estruturadas (duas modalidades de questes).

Observao Direta

Registro presencial e sistemtico de informaes, predefinidas em roteiro. Requer treinamento e preparao especfica em, por exemplo, tcnicas de anotao de campo, bem como capacidade de concentrao e percepo seletiva. O observador treinado deve ser capaz de coletar informaes exatas, vlidas e confiveis.

Uso de dados Existentes

O uso de dados existentes requer cuidados especiais por parte da equipe de auditoria. Alm da confiabilidade dos dados, outras questes devem ser consideradas: -Que tipo de dado est disponvel? Ele se adapta questo que se pretende investigar? -Os dados esto completos e o perodo de abrangncia suficiente para a anlise?

-De que forma o dado est armazenado? Quais as limitaes relativas forma dos dados e quais as dificuldades existentes para a sua obteno? -Que atividades de coleta so realizadas regularmente? Foi realizada coleta de dados com objetivo especfico? -H outras fontes relevantes de dados para o tema a ser investigado?

especializados pode auxiliar na tarefa de analisar e apresentar dados de diferentes modos. fundamental levar em conta que qualquer problema relativo utilizao de dados existentes e s suas possveis limitaes deve constar como ressalva s concluses finais do relatrio de auditoria.

As auditorias operacionais tambm recorrem a outras tcnicas de coleta de dados, como grupo focal, painis de especialistas e seminrios. A coleta de dados um ajuste entre a soluo ideal e a soluo possvel. Um projeto de auditoria muito ambicioso na coleta de dados, de forma perfeitamente completa, precisa e exata, pode prejudicar a realizao da auditoria. A necessidade de ser exato deve ser equilibrada com critrios de razoabilidade, economia e relevncia, luz dos objetivos da auditoria. Por conseqncia, o relatrio de auditoria deve sempre informar sobre a qualidade das informaes e como foram coletadas (ISSAI 3000/4.5, 2004). Tcnicas de Anlise de Dados Tcnicas de anlise de dados so ferramentas usadas para organizar os dados coletados e investigar as relaes que se pretende estabelecer entre as variveis selecionadas para responder s questes de auditoria. A especificao da tcnica parte fundamental do projeto de auditoria e deve, portanto, constar da matriz de planejamento. Essas ferramentas tm correspondncia com as tcnicas adotadas na coleta de dados. Geralmente, a anlise de dados um procedimento interativo, isto , realizam-se anlises iniciais na fase de planejamento e, medida que a auditoria progride, as anlises so refinadas. Ampla variedade de tcnicas de anlise pode ser usada em auditoria operacional, incluindo anlise estatstica multivariada, anlise por envoltria de dados, anlise de regresso. As mais comuns so a anlise de freqncias em tabelas, a anlise grfica, a anlise de contedo: a) Matriz de categorias, tabulao de freqncias, tabulaes complexas para checar relaes (PATTON, 1987). A anlise deve ser realizada com o auxlio de software adequado que permita o clculo de freqncias, o teste de hipteses e a representao grfica dos dados. Essas tcnicas so usadas para analisar dados coletados por meio de questionrios ou de extrao de dados administrativos; b) Anlise de contedo: tcnica de anlise sistemtica de informao textual, organizada de forma padronizada, que permite realizar inferncia sobre seu contedo (GAO, 1996). Pode seu usada para analisar transcries de entrevistas, grupos focais e documentos, como relatrios, descrio de poltica pblica. Recomenda-se usar software adequado em caso de grande quantidade de material a ser analisado; c) Anlise grfica de dados: por meio do uso de grficos (histograma, grfico de Pareto, grfico de barras, setograma17, grfico de disperso, caixa-e-haste18) possvel sintezar informaes e revelar tendncias, regularidades, descontinuidades, desempenhos extremos (bons e ruins), desigualdades na distribuio de bens e servios pblicos.

Usa-se ainda a anlise qualitativa, com base em julgamento profissional da equipe ou de especialistas consultados, das informaes coletadas ou produzidas pela equipe, registradas em mapas de processo, indicadores de desempenho, documentos oficiais, avaliaes realizadas por outros agentes. O tipo de anlise depende do problema a ser investigado e dos recursos disponveis para o trabalho. As anlises qualitativas abrangem a comparao e o contraste entre informaes proveniente de fontes diferentes, de unidades de pesquisa que apresentam boas e ms prticas, comparaes mais gerais entre unidades de pesquisa (ISSAI 3000/4.5, 2004). O processo de anlise interativo e compartilhado pela equipe, com a participao do supervisor, bem como com a consulta a outros auditores experientes, especialistas e gestores. medida que as informaes so estruturadas, comparadas, confrontadas, discutidas com atores internos e externos, o relatrio deve ser rascunhado, avaliado e reescrito (ISSAI 3000/4.5, 2004). Pode ser necessrio discutir esses textos preliminares com gestores e especialistas, para confirmar dados, desenvolver argumentos e propostas de recomendao (ISSAI 3000/4.5, 2004). Limitaes Nesse elemento da Matriz de Planejamento, a equipe de auditoria deve especificar as limitaes inerentes estratgia metodolgica adotada, s caractersticas das informaes que se pretende coletar e s condies operacionais de realizao dos trabalhos. Quanto estratgia metodolgica, deve-se considerar que no h estratgia tima ou ideal, mas apenas aquela que, dadas as circunstncias, melhor se adapta questo que se pretende investigar. Uma vez que sempre haver algum tipo de limitao sobre o que pode ser concludo a partir de determinada metodologia proposta, o melhor a fazer identificar tais restries. A equipe de auditoria deve avaliar as alternativas existentes e estar preparada para defender suas escolhas 19. Assim, ao se optar por uma estratgia metodolgica, indispensvel apontar as limitaes que lhe so inerentes, seja do ponto de vista do poder explicativo, seja em relao s possibilidades de generalizao dos resultados do estudo 20. Quanto s informaes que se pretende utilizar na anlise, importante mencionar que tipo de dificuldade espera-se encontrar, tanto em relao ao acesso aos dados, como em relao sua qualidade e confiabilidade. Qualquer problema relativo utilizao de dados existentes e s suas possveis limitaes deve constar da matriz de planejamento. A equipe deve indicar a alternativa a ser adotada para minimizar os riscos correspondentes aos resultados esperados decorrentes das limitaes identificadas. O Que a Anlise Vai Permitir Dizer Esse elemento da Matriz de Planejamento de Auditoria registra como a anlise dos dados responder questo de auditoria. O propsito dessa informao esclarecer quais concluses ou resultados pretende-se alcanar por meio do projeto de auditoria. Est relacionado com o anterior, pois o que se espera obter da anlise est, naturalmente, condicionado pelas limitaes previamente identificadas.

Assim, deve-se registrar, por exemplo: se as concluses alcanadas permitiro responder integralmente s questes de auditoria; se ser possvel fazer afirmaes conclusivas sobre o objeto da auditoria; e se as concluses limitar-se-o aos casos examinados ou se ser possvel generaliz-las. Esses esclarecimentos so necessrios para que se tenha noo, j na fase de planejamento, do que se pode esperar do esforo que ser empreendido pela equipe e dos recursos que sero alocados no desenvolvimento do trabalho.

APNDICE 3 PLANO DE AO ACRDO DO TCU: Nmero do Acrdo, data, nmero da Ata RGO/ENTIDADE: PROGRAMA: RESPONSVEL: DATA: 9.1 Recomendaes / determinaes Secretaria X Determinao/Recomendao
Teor da primeira recomendao / determinao

Medidas necessrias a) b) a) b) a) b) c)

Data limite de implementao das medidas

Responsvel pela implementao

Teor da segunda recomendao / determinao

a) b) c)

9.2 Recomendaes / determinaes Secretaria Y Determinao/Recomendao

Teor da primeira recomendao / determinao Teor da segunda recomendao / determinao

Medidas necessrias a) a) a) a)

Data limite de implementao das medidas

Responsvel pela implementao

REFERNCIAS ASSOCIAO BRASILEIRA DE NORMAS TCNICAS (ABNT). Gesto de riscos Vocabulrio Recomendaes para uso em normas ISSO/IEC Guide 73:2005. Rio de Janeiro, 2005. _____. Informao e Documentao Apresentao de citaes em documentos: NBR 10520. Rio de Janeiro, 2002. _____. Informao e Documentao Numerao progressiva das sees de um documento escrito. NBR 6024. Rio de Janeiro, 2003. _____. Informao e Documentao Referncias Elaborao. NBR 6023. Rio de Janeiro, 2000. BRASIL. Constituio da Repblica Federativa do Brasil. Braslia, DF: Senado, 1988. BRASIL. Lei n 9.610, de 19 de fevereiro de 1998. Altera, atualiza e consolida a legislao sobre direitos autorais e d outras providncias. Braslia, 1998. Disponvel em: <http://www.planalto.gov.br /ccivil_03/Leis/QUADRO/1998.htm>. Acesso em: 13 jul. 2009. BRASIL. Ministrio do Planejamento. Manual Tcnico de Oramento MTO 2009. Braslia, 2008. Disponvel em: < HTTP://www.planejamento.gov.br>. Acesso em: 16 nov. 2008. BRASIL. Tribunal de Contas da Unio (TCU). Resoluo n 155, de 4 de dezembro de 2002. Aprova o Regimento Interno do Tribunal de Contas da Unio. Braslia, 2002a. Disponvel em: <http://www.tcu.gov.br>. Acesso em: 8 set. 2008. _____.Tribunal de Contas da Unio (TCU). Resoluo n 185, de 13 de dezembro de 2005. Dispe sobre o plano de fiscalizao previsto no art. 244 do Regimento Interno do TCU. Braslia, 2005. Disponvel em: <https://contas.tcu.gov.br/juris/Web/Juris/ ConsultarAtoNormativo/ ConsultarAtoNormativo.faces>. Acesso em: 24 abr. 2009. _____.Tribunal de Contas da Unio. Roteiro de Auditoria de Conformidade. Braslia, 2004b. _____. Tribunal de Contas da Unio. Roteiro de Auditoria: Monitoramento de Auditorias de Natureza Operacional. Braslia, 2002b. _____. Tribunal de Contas da Unio. Roteiro de Controle de Qualidade de Auditorias de Natureza Operacional. Braslia, 2002c. _____. Tribunal de Contas da Unio. Roteiro para elaborao de relatrios de auditoria operacional. Braslia, 2004a. _____. Tribunal de Contas da Unio. Tcnicas de Apresentao de Dados. Braslia, 2001. COHEN, E.; FRANCO, R. Avaliao de Projetos Sociais. Petrpolis: Vozes, 1993. CRONBACH, L. J. Designing evaluations of educational and social programs. San Francisco: Jossey-Bass, 1983. Government Accountability Office (GAO). Government Auditing Standards. Washington, 2007. _____. Designing evaluations. Washington, 1991. _____. Case study evaluations. Washington, 1990. _____. Content analysis: a methodology for structuring and analyzing written material. Washington, 1996. HATRY, Harry P.; WINNIE, Richard E.; FISK, Donald M. Practical Program Evaluation for State and Local Governments. 2a edio. The Urban Institute Press. Washington, 1981.

International Organization of Supreme Audit Institutions (Intosai). Auditing Standards Basic Principles in Government Auditing. (ISSAI 100). Viena, 2001. Disponvel em: http://www.issai.org/media(629,1033)/ISSAI_100_E.pdf. Acesso em: 8 set. 2008. _____. General standards in Government Auditing and standards with ethical significance (ISSAI 200). Viena, 2001. Disponvel em: <http://www.issai.org/media(630,1033)/ISSAI_200_E.pdf>. Acesso em: 8 set. 2008. _____. Field Standards in Government Auditing (ISSAI 300). Viena, 2001. Disponvel em: <http://www.issai.org/media(630,1033)/ISSAI_300_E.pdf>. Acesso em: 8 set. 2008. _____. Reporting Standards in Government Auditing (ISSAI 400). Viena, 2001. Disponvel em: <www.issai.org>. Acesso em: maro de 2009. _____. Implementation Guidelines for Performance Auditing (ISSAI 3000). Viena, 2004. Disponvel em: <http://www.issai.org/media(381,1033)/ISSAI_3000E.pdf>. Acesso em: 8 set. 2008. LEE, N. e LINGS, I. Doing business research. London: Sage, 2008. MEDEIROS, M. Princpios de Justia na Alocao de Recursos em Sade . Texto para Discusso n 687. Braslia: IPEA, 1999. NATIONAL AUDIT OFFICE (NAO). Collecting, analysing and presenting data. London: NAO, 1996. _____. Designing vfm studies A guide. Londres: NAO, 1997. _____. Getting to the heart of the matter. London, [199-]. _____. Quality Matters. Londres, 2006. _____. Value for Money : Handbook, Londres, 1996. _____. Writing Smart Recommendations. London: NAO, 200-. PATTON, Michael Quinn. How to use qualitative methods in evaluation. Newbury Park: Sage, 1987. POLLITT, Christopher; GIRRE, Xavier; LONSDALE, Jeremy; MUL, Robert; SUMMA, Hilkka; WAERNESS, Marit. Performance or compliance? Performance audit and public management in five countries. Oxford University Press. Oxford, 2002.

NOTAS EXPLICATIVAS

Neste manual utiliza-se o termo auditoria operacional como sinnimo de auditoria de desempenho (performance auditing).
2

A definio de auditoria operacional adotada neste manual est baseada nas Diretrizes da Intosai para auditoria de desempenho - Implementation Guidelines for Performance Auditing (ISSAI 3000/1, 2004).
3

As referncias aos documentos da INTOSAI seguem as orientaes dessa organizao e no as normas da ABNT.
4 5

Os produtos (bens e servios ofertados) podem ser entendidos como resultados imediatos.

a principal questo saber se os recursos foram aplicados para obter uso timo ou satisfatrio ou se resultados similares, em termos de qualidade e tempo, poderiam ter sido alcanados com menos recursos (ISSAI 3000/1.5, 2004).
6

De acordo com a Constituio Federal (art. 3, inciso III), constitui objetivo fundamental da Repblica Federativa do Brasil erradicar a pobreza e a marginalizao e reduzir as desigualdades sociais e regionais. Sobre a ordem econmica, est estabelecido que esta se fundamenta na valorizao do trabalho humano e na livre iniciativa e que tem por fim assegurar a todos existncia digna, conforme os ditames da Justia Social observada, entre outros princpios, a reduo das desigualdades regionais e sociais (art. 170).
7

Um exemplo desse tipo de anlise consistiria em verificar os ndices de incidncia de determinada enfermidade, aps campanha de erradicao, segundo a regio ou o perfil socioeconmico da populao para identificar possveis distores derivadas da forma de implementao da poltica.
8

Segundo a Intosai, a auditoria de conformidade (regularity audit) compreende auditoria financeira, auditoria de controles internos e auditoria da legalidade de atos administrativos (ISSAI 100/39, 2001).
9

So programas voltados aos servios tpicos de Estado, ao planejamento, formulao de polticas setoriais, coordenao, avaliao ou ao controle dos programas finalsticos, resultando em bens ou servios ofertados ao prprio Estado, podendo ser composto inclusive por despesas de natureza tipicamente administrativas (BRASIL, 2008).
10

importante observar que desempenho satisfatrio no significa desempenho perfeito e que qualquer julgamento deve levar em conta as circunstncias do auditado (ISSAI 3000, Apndice 2).
11

sempre recomendvel obter a opinio dos gestores sobre os critrios de auditoria que sero adotados, para que eventuais discordncias possam ser discutidas e esclarecidas logo no incio da auditoria. Entretanto, os fatos e argumentos apresentados pelos gestores devem ser comparados com os de outras fontes relevantes (ISSAI 3000, Apndice 2)
12

Adaptado de relatrio de auditoria operacional na concesso e manuteno dos benefcios de auxliodoena. TC 012.034/2008-7.
13

Situao complexa significa que muitos fatos podem influenciar os acontecimentos e que essas influncias podem interagir no-linearmente, tornando impossvel isolar os efeitos das variveis sob estudo.

14

Compreenso abrangente indica que os estudos de caso visam obter uma representao, a mais completa possvel, do que est acontecendo e do porqu.
15

Ampla descrio e anlise refere-se ao emprego de informaes ricas e completas, provenientes de vrias fontes, particularmente de observaes diretas. Ademais, a anlise ampla, comparando dados de diferentes tipos de fontes por meio do mtodo denominado triangulao.
16 17 18 19

A pesquisa que tem como objeto todos os membros de uma populao denominada censo. Grfico tipo pizza ou pie chart. Box plot.

Sobre a adequao e o potencial explicativo de estratgias metodolgicas especficas vide L. J. CRONBACH (1983, p.22-30) e PATTON (1987, p. 60-69).
20

Uma boa auditoria levar em conta as limitaes existentes, em outras palavras: ... a qualidade tcnica de um estudo ou mtodo pode ser determinada pela comparao entre o que foi realizado e o que era possvel realizar. (GAO, 1991, p. 8).