Auditoria de Dados - CAAT

Metodologia e
ferramentas de suporte
auditoria de dados
Secretaria de Fiscalizao de Tecnologia da Informao
Marcio Rodrigo Braz, Me
Maio de 2012
Objetivos do Minicurso
Conhecer a atuao da Sefti em ATI
Distinguir as diferentes abordagens em fiscalizaes de
tecnologia da informao (TI)
Introduzir o conceito de CAATTs
Apresentar a metodologia de auditoria de dados
Demonstrar aplicaes para uso da tcnica
2
2
Agenda
Introduo Auditoria de TI
Por que fiscalizao de TI e o papel do auditor
Atuao da Sefti/TCU
Abordagens de auditoria de TI
Normas e Padres em ATI
Introduo ao uso de CAATs
Auditoria de Dados
Padres de auditoria no TCU
Metodologia de auditoria de dados
Por que fiscalizao em

tecnologia da informao?
Materialidade: a Unio programou gastar R$ 18 bilhes
em 2011 com TI
Altos investimentos e grandes riscos.
Criticidade: todas as reas crticas da administrao

pblica dependem de TI
+ sistemas => +complexidade e +interconectividade.
+ interconectividade induz maior vulnerabilidade a ameaas
externas.
Pequenos erros podem produzir grandes danos.
4
4

Os considerveis gastos investidos no processamento
eletrnico de dados demandam por auditorias
apropriadas. Tais auditorias devem ser baseadas em
sistemas
e
abranger
aspectos,
tais
como:
planejamento; uso econmico dos equipamentos de
processamento de dados; alocao de pessoal com
habilidades apropriadas, preferencialmente dentro da
administrao da organizao auditada; preveno ao
mau uso; e utilidade da informao produzida
(Intosai, Declarao de Lima que contm os princpios da Auditoria, 1977)
5
5

Necessria a incorporao de mecanismos de controle cada
vez mais poderosos.
Impactos na forma como os entes fiscalizadores exercem
suas competncias.
Preparao dos entes fiscalizadores para enfrentar o desafio
de auditar uma Administrao Pblica cada vez mais
informatizada, sujeita a maiores riscos e com um sistema de
controle interno mais complexo.
Necessidade do auditor de conviver com novos conceitos e
metodologias de trabalho.

Grande parte dos controles internos de uma
organizao est embutida em sistemas informatizados.
O trabalho de auditoria baseia-se, na maior parte das
vezes, em informaes oriundas de sistemas
informatizados, as quais serviro de evidncias para os
achados de auditoria.
Uma auditoria de conformidade (financeira) ou
operacional, frequentemente requer consideraes
sobre os controles gerais de TI e, a depender dos
objetivos almejados, uma avaliao dos dados.
Papel do auditor
Avaliao do ambiente de controle:
o auditor, para determinar a extenso e o alcance da
fiscalizao, deve examinar e avaliar o grau de
confiabilidade dos controles internos (Normas de Auditoria
da INTOSAI).
O papel do auditor auditar as polticas, prticas e

procedimentos de controle interno de uma organizao, a fim
de assegurar que os controles so adequados para se
alcanar a misso institucional. (Intosai, Controle Interno:
estabelecendo uma base para prestao de contas no
governo, 2001)
8
8
Papel do auditor
Auditores internos devem ter conhecimento
suficiente dos principais riscos e controles de TI e
das tcnicas de auditoria disponveis, baseadas
em tecnologia, para realizar seus trabalhos.
Porm, no esperado que todos auditores
tenham as habilidades de um auditor interno com
a responsabilidade primria de auditar TI.
(Internal Auditor Institute / IPPF - Padro 1210.A3)
9
9
Papel do auditor
Se os auditores internos tero que confiar no
sistema de processamento de dados como base
para determinar a validade de sua sada, eles
devem ser capazes de analisar o sistema e seus
controles ou requisitar pessoas que o faam. Dada
importncia do sistema, mudanas em seu
ambiente de operao e na forma em que o dado
processado so tambm crticas para o auditor.
(Internal Auditor Institute, Global Technology Audit Guides-GTAG).
10
10
E a auditoria de TI?
11
Auditoria de Tecnologia da Informao

Processo que busca evidncias para certificar-se de que
os recursos de tecnologia da informao:
possibilitam que os objetivos de negcio sejam
alcanados;
so usados com eficincia e em conformidade com
as leis e normas aplicveis; e
so adequadamente protegidos para prover

informao confivel sempre que requerida s
pessoas autorizadas.
12
12
Exemplos de atividades
Verificar:
a estrutura de governana de TI da organizao
a confiabilidade das informaes processadas por sistemas.
a segurana fsica e/ou lgica da rea de TI de uma
organizao.
o correto funcionamento de um sistema computadorizado.
a adequao e o correto funcionamento da infraestrutura da
rea de TI (banco de dados, redes de computadores etc).
o desempenho da rea de TI com vistas ao atendimento dos
objetivos de negcio.
a qualidade dos produtos, dos sistemas e dos servios
oferecidos pela rea de TI ao negcio.
a correta contratao de bens e servios de TI
13
13
Atuao dos Auditores

Formao de equipes :
Auditores (AUFCs)
Auditores de TI (AUFCs - ATI):
O currculo de habilidades e tcnicas da Intosai para o perfil de Auditor
de TI baseia-se no universo de conhecimentos exigidos no programa de
certificao CISA
Certified Information Systems Auditor (CISA): Criada e mantida pela
Isaca. referncia mundial na rea de Auditoria de TI, tendo mais de
85.000 profissionais certificados
A Sefti possui 10 auditores certificados CISA e o TCU possui 15
Especialistas em TI (AUFCs - TI)
14
14
Agenda
Atuao da Sefti/TCU
Auditoria de Dados
15
15
O que a Secretaria de
Fiscalizao de TI (Sefti)
do TCU?
16
SEFTI Origem
1992 2006
Criao de grupos especficos para auditoria de TI
Elaborao de padres, manuais, procedimentos
de auditoria de sistemas
Vrias auditorias na rea de TI
Realizao de cursos e capacitao
Agosto/2006
Criao de uma secretaria especializada para o
controle externo (Sefti) Res. TCU 193/2006.
17
Mapa estratgico
Negcio
Controle externo da governana de tecnologia da informao
na Administrao Pblica Federal.
Misso
Assegurar que a tecnologia da informao agregue valor ao
negcio da Administrao Pblica Federal em benefcio da
sociedade.
Viso
Ser unidade de excelncia no controle e no aperfeioamento
da governana de tecnologia da informao.
18
A SEFTI hoje
Quantos somos
28 servidores: 26 auditores e 2 tcnicos
Formao em reas de TI e Direito
12 CISA + 5 outras certificaes (CGEIT, CISSP etc)
3 Mestres e 8 MBA
Estrutura
03 diretorias, 02 assessorias e 01 servio de
administrao
19
A SEFTI hoje
Aes estruturantes
Cartilhas e manuais
Levantamento de governana de TI
Cursos
Notas tcnicas
Orientaes
Eventos na rea de controle e governana de TI
Controle externo em ao
Dilogos com gestores
Eventos para a alta administrao
Conversa com a iniciativa privada
20
20
Acessveis no portal:
http://www.tcu.gov.br/fiscalizacaoti
21
Agenda
Atuao da Sefti/TCU
Auditoria de Dados
22
22
Abordagens de ATI
Governana
Segurana da
Informao
Dados
Sistemas
Aquisies
As abordagens de auditoria se complementam, existindo

reas de interseco entre elas
Isso ocorre devido os princpios que guiam cada uma
dessas abordagens se encontrarem correlacionados
dentro de uma estrutura de governana de TI
Auditorias de TI normalmente mesclam aspectos de
conformidade e operacionais
23
23
Utilizao de diferentes abordagens
Representam as possveis formas de focalizar a TI

Permitem que a TI seja examinada sob diferentes
aspectos ou prismas
Fornecem vises distintas e complementares da
situao da TI na organizao
Decorre da necessidade de se estruturar a prpria
auditoria de TI com vistas a auxiliar a conduo do
trabalho pela equipe, durante as fases de
planejamento e execuo
Cada abordagem pode se mostrar mais ou menos
adequada para o alcance dos objetivos da auditoria,
devendo ser definida na fase de planejamento
24
24
Abordagens
Auditoria de Governana de TI
Auditoria de Contrataes de TI
Auditoria de Segurana da Informao
Auditoria de Dados
Auditoria de Sistemas
Outras variaes: Polticas de TI, ERP,
infraestrutura e tecnologia etc
25
25
Auditoria de Governana de TI
Envolvimento da alta administrao com
aspectos de TI: orientar e dirigir
iGovTi (criticidade x materialidade)
Avalia tambm aspectos de gesto
Gesto dos servios

Polticas
Processo de controle
Investimentos
Recursos
ISO 38.500 e Cobit

26
26
Auditoria de Contrataes de TI
Avaliao incidental de contratos
Conformidade
Processo de planejamento e execuo
de aquisies de TI
Gesto contratual
Remunerao por resultados
Efetividade (objetivos de negcio)
27
27
Auditoria de Segurana da
Informao
Gesto da segurana da informao
Aderncias s boas prticas
Controles em SI
Confidencialidade, integridade e
disponibilidade
Polticas e planos
Controle de acesso lgico e fsico
Normas GSI, NBR 27.002/2005,

jurisprudncia
28
28
Auditoria de Dados
Avaliar integridade e confiabilidade dos
dados, bem como sua conformidade
para com as regras de negcio
Cruzamentos de bases de dados
Pode apoiar avaliao de risco
Pode complementar outra abordagem
Uso de CAATT
29
29
Auditoria de Sistemas
Pode abordar aspectos de:
integridade, disponibilidade, confiabilidade, conformidade,

controles internos
Entrada, processamento e sadas.
Usabilidade, satisfao
Objetivos do sistema frente aos objetivos de negcio
Acompanhamento de sistemas em desenvolvimento

Pode demandar conhecimento especializado
Ex: matria - mdulo de consignaes Siape
30
30
Outras variaes...
Polticas e programas governamentais na rea
de TI
A TI agrega valor ao negcio da administrao
pblica?
A sociedade est sendo devidamente beneficiada?
ERP
Ramo especializado da auditoria de sistemas
Grandes sistemas, interconexo, orientado
processos, dependncia, grandes projetos
Infraestrutura
Avaliao de ambiente de rede, banco de dados etc
31
31
Agenda
Atuao da Sefti/TCU
Auditoria de Dados
32
32

Constituio Federal
em especial, art. 37 (princpios da adm. pblica)
Legislao brasileira e demais normativos

Cobit e ITIL (Governana, gesto, operao)
Normas ISO/IEC:
20000 (servios de TI)
27000 (segurana da informao)
38500 (governana de TI)
Outros Padres
Normas ISACA
33
33
Legislao Brasileira
Lei 8.112 de 1990 Regime Jurdico dos
Servidores Pblicos Civis da Unio
Lei 8.666 de 1993 Licitaes e Contratos da
Administrao Pblica Federal
Lei 9.609 de 1998 Proteo da propriedade
intelectual de software
Lei 9.983 de 2000 Crimes contra a Previdncia
(altera o Cdigo Penal)
Lei 10.520 de 2002 Institui a modalidade de
licitao Prego
LC 123/2006 Direito de preferncia
34
34
Decretos
Decreto 3.505 (2000) PSI da Administrao
Pblica Federal
Decreto 4.553 (2002) Segurana das
Informaes e Documentos Sigilosos da
Administrao Pblica Federal
Decreto 5.450 (2005) Regulamenta o
Prego na forma eletrnica
Decreto 7.174 (2010) Regulamenta a
Contratao de Bens e Servios de
Informtica pela Administrao Federal
35
35
Outros normativos
Gabinete de Segurana Institucional (GSI/PR)
IN-01/2008 Gesto da Segurana da Informao

NC-1 a NC-14 Segurana da Informao
Secretaria de Logstica e TI (SLTI/MP)
IN-4/2010 Processo de Contratao de TI
Tribunal de Contas da Unio (TCU)
Jurisprudncia
rgos governantes: CNJ, CNMP, CJF, DEST
Associao Brasileira de Normas Tcnicas (ABNT)
NBR ISO/IEC srie 27000 e outras internalizadas no Pas

Padres suplementares em reas especficas
36
36
Lacunas na Legislao Brasileira

Acesso no autorizado aos sistemas
Interceptao no autorizada de informaes
Uso no autorizado de sistemas de
informtica
Alterao de dado ou programa de
computador
Difuso de vrus eletrnico
Quebra de privacidade de banco de dados
PL-84/1999 (2793/2011) Crimes na rea de
informtica (aprovado CD)
37
37
Cobit
Cobit (Control Objectives for Information and
related Technology) conjunto de boas
prticas em gesto de TI:
gerenciar e controlar as iniciativas de TI nas
organizaes;
garantir o retorno de investimentos;
garantir a adoo de melhorias nos processos
organizacionais; e
minimizar riscos.
38
38
Disseminao do Cobit
Resoluo n 2.554 do Banco Central de 1998
(implantao e implementao de sistema de
controles internos nas instituies financeiras)
Lei americana Sarbanes-Oxley (SOX) de 2002
Section 404: Assessment of internal control
Jurisprudncia TCU
Adoo de boas prticas do Cobit como critrio de auditoria
39
39
Srie NBR ISO/IEC 27000

27001 Especificao de Sistema de Gesto de
Segurana da Informao (2006)
27002 Cdigo de Prtica para Gesto da
Segurana da Informao (2005)
27003 Implantao de Sistema de Gesto de
Segurana da Informao (ainda em estudos)
27004 Medio da Eficcia do Sistema de
Gesto de Segurana da Informao (2010)
27005 Gesto de Riscos de Segurana da
Informao (2008)
27006 Normas para Certificadores de SI (2007)
40
40
Outros Padres
Outras Normas internacionais

Entidades de Fiscalizao Superior EFS
Associaes profissionais
Padres nacionais
Padres internos das organizaes
41
41
Outras Normas Internacionais

ISO 12207 Processo de Desenvolvimento de
Software
ISO 15408 Segurana de Aplicao
(desenvolvimento)
ISO 15504 Processo de Desenvolvimento de
Software
42
42
Outras normas
Intosai (International Organization of Supreme
Audit Institutions)
aplicao no obrigatria
representam consenso de boas prticas
Isaca (Information Systems Audit and Control

Association)
Aplicveis a membros da associao
Outros institutos e organizaes
43
43
Agenda
Atuao da Sefti/TCU
Auditoria de Dados
44
44
Tcnicas e ferramentas de auditoria

auxiliadas por computador
Computer-Assisted Audit Techniques and Tools
(CAATTs)
Uso combinado de ferramentas e tcnicas para
automatizar o processo de auditoria
45
Motivao
Automatizao de tarefas repetitivas
Sistemas com milhes de transaes
Amostras normalmente muito reduzidas
Uso de CAATs permite aplicao de testes de
auditoria em at 100% das transaes
Maior tempestividade na realizao de testes

Auditoria contnua
Complexidade de fraudes e processos
46
Exemplos: ferramentas de
Escritrio: processadores de texto, planilhas e
de banco de dados (excel, access, openoffice)
Anlise estatstica (SAS)
Business Intelligence (BO)
Anlise e cruzamento de dados (ACL, Idea,
Picalo)
Testes de controles de segurana (ERP,
infraestrutura)
Testes de invaso
Outras finalidades especficas
47
Funcionalidades e aplicaes
Permite teste de grande volume de transaes
Amostragem
Anlises estatsticas
Cruzamento de arquivos
Apiam a documentao dos procedimentos
Anlise de sequncias
Simulao de clculos
Independncia dos sistemas auditados
Deteco de fraudes
Testes analticos
48
Exemplo de CAAT
49
IS Auditing Guideline: G3 Use of

Computer-Assisted Audit Techniques
Norma de auditoria de TI do ISACA
Descreve aspectos especficos no uso de
CAATs
Fatores de deciso para uso de CAATs
Planejamento
Consideraes sobre a execuo da auditoria
Documentao necessria
Elementos necessrios no relatrio
50

Fatores de deciso para uso de CAATs
Expertise
Disponibilidade de ferramentas
Eficincia das CAATs sobre tcnicas manuais
Limitaes de prazo
Nvel de risco
51

Requisitos do planejamento
Definir objetivos no uso das CAATs
Avaliar disponibilidade de programas e dados
Definir os procedimentos que se deseja
Definir os requisitos de sada
Recursos necessrios
Documentar
Negociao com o auditado
Testar as CAATs
Garantir segurana
52
Pausa para um vdeo!

Exemplo de auditoria com uso de CAATTS
Auditoria de dados
Auditoria no MDS Cadastro nico
Acrdo 906/2009-P
Informativo
Matria TV:
53
Agenda
Atuao da Sefti/TCU
Auditoria de Dados
54
54
Levantamento
Avaliao dos
Controles Internos
Informaes Iniciais
Relatrio do Levantamento
Planejamento
Avaliao dos
Controles
Internos (*)
Viso Geral
Elaborao
Matriz de
Planejamento
Execuo
Aplicao
dos
Procedimentos
Desenvolvimento
dos Achados
(Matriz de Achados)
Acumulao de
Evidncias
Elaborao do Relatrio
Elaborao
do Relatrio
Reviso do
Relatrio
Monitoramento
Verificao das
Aes Tomadas
Aplicao dos
Procedimentos
Acumulao
de Evidncias
Matriz de
Achados
(*) caso a fase de levantamento no tenha sido realizada.
Elaborao do
Relatrio
55
55
Padres de auditoria do TCU
NAT Normas de auditoria do TCU (2011)

Manual de auditoria operacional
Normas especficas (obras)
Orientaes Segecex
Levantamento, monitoramento, proposio de
determinaes
Orientaes FOC
Outras disposies especficas
56
56
Padres de auditoria do TCU

Classificao
Conformidade
Operacional
Modalidade
Levantamento
Inspeo
Auditoria
Monitoramento
Acompanhamento
57
57
Estrutura bsica das auditorias

Fases (Levantamento, Planejamento,
Execuo, Elaborao do Relatrio e
Monitoramento)
Matrizes (Planejamento, Procedimento e
Achados)
Tcnicas de Auditoria de Conformidade
Tcnicas de Auditoria Operacional
58
58
Levantamento
Informaes Iniciais:
Objetivos institucionais.
Legislao aplicvel.
Avaliao do ambiente de controle
Falhas e riscos conhecidos
Estrutura organizacional.
Histrico de fiscalizaes
Demanda apresentada
Comando de acrdo
TMS
Denncia a ser apurada
59
59
Planejamento
Nesta fase, deve ser definido:
Objetivo da auditoria.
Objeto da auditoria.
Universo a ser auditado (escopo).
Tcnicas e procedimentos a serem utilizados.
Critrios de auditoria.
Etapas e cronogramas.
Recursos humanos e materiais.
60
60
Planejamento
Atividades da fase de planejamento:
Viso Geral
Avaliao dos Controles Internos (*)
Escolha da(s) Abordagem(ns) da Auditoria de TI
Elaborao da Matriz de Planejamento
Definio do envolvimento dos especialistas
Documentao do planejamento da auditoria
(*) Caso a fase de Levantamento no tenha sido realizada.
61
61
Planejamento
Viso Geral:
Objetivos institucionais.
Estrutura organizacional.
Legislao aplicvel.
Prticas administrativas.
Planos Estratgicos.
Descrio do objeto da fiscalizao.
62
62
Conhecendo o auditado
Compreender o negcio essencial para identificar os
riscos e controles;
Direcionar os esforos da auditoria de forma mais eficiente;
Entender o negcio:
Processos
Pessoas
Tecnologia
Algumas questes a serem respondidas:
Existem problemas que o auditor deveria conhecer melhor?
H alguma previso de mudana na organizao?
Quais so os principais sistemas e bases de dados?
Quem o auditor deve entrevistar para obter as informaes de que
necessita?
63
63
Planejamento
Escolha da(s) abordagem(ns) da ATI:
Cada abordagem pode se mostrar mais ou menos
adequada para o alcance dos objetivos da auditoria.

As abordagens escolhidas fornecero suporte para a
definio e elaborao das matrizes de planejamento e
procedimentos que sero utilizadas para avaliar os
controles dos sistemas e processos de TI.
Mudanas de abordagens trazem grandes alteraes e
impactos no planejamento da auditoria.
Por exemplo, uma fiscalizao que inicialmente se
vislumbrava ser uma auditoria somente de dados pode
se transformar em uma auditoria de sistemas, ou viceversa, impactando o escopo do trabalho, os recursos
envolvidos e prazos para sua execuo.
64
64
Planejamento
Matriz de Planejamento:
Instrumento para organizar as informaes relevantes
do planejamento de uma auditoria.

Homogeneizao do entendimento da equipe, e
demais envolvidos, quanto:
ao objetivo do trabalho;
aos passos a serem seguidos;
estratgia metodolgica a ser adotada.
Orienta os integrantes da equipe nas fases de
execuo e de elaborao do relatrio.
65
65
Matriz de Planejamento
Objetivo: Enunciar de forma clara e resumida o aspecto a ser enfocado pela auditoria, de
acordo com o levantamento de auditoria previamente realizado.
Questes de
Auditoria
Informaes
Requeridas
Fontes de
Informao
Detalhamento
do
Procedimento
Objetos
Membro
Responsvel
Perodo
Possveis
Achados
Apresentar,
em forma de
perguntas, os
diferentes
aspectos que
compem o
escopo da
fiscalizao e
que devem
ser
investigados
com vistas
satisfao do
objetivo
Identificar as
informaes
necessrias
para
responder a
questo de
auditoria
Identificar as
fontes de
cada item de
informao
requerida da
coluna
anterior.
Estas fontes
esto
relacionadas
com as
tcnicas
empregadas
Descrever as
tarefas que
sero
realizadas, de
forma clara,
esclarecendo
os aspectos a
serem
abordados
(itens de
verificao ou
check list)
Indicar o
documento, o
projeto, o
programa, o
processo, ou o
sistema no qual
o procedimento
ser aplicado.
Exemplos:
contrato, folha
de pagamento,
base de dados,
ata, edital, ficha
financeira,
processo
licitatrio,
oramento
Pessoa(s) da
equipe
encarregada(s)
da execuo de
cada
procedimento
Dia(s) em
que o
procedimento
ser
executado
Esclarecer
com
preciso
que
concluses
ou
resultados
podem ser
alcanados
66
66
Matriz de planejamento
Questes de
Auditoria
Q 2. O
controle de
acesso do
Sistema
Sisobi
dificulta o
acesso no
autorizado s
informaes
de bitos?
Informaes
requeridas
-Critrios para
concesso e
revogao de
acessos e
privilgios
Listas de
usurios e
respectivas
permisses
-
Relao de
cartrios
existentes no
Brasil
-
(resumida)
Fontes de
Detalhamento do Procedimento
informao
-Gestores
P2.2 Verificar os procedimentos de
concesso e revogao de acessos
-Normas de (usurios de cartrios e do INSS).
controle de
acesso
P2.2.3 Verificar como feito o registro
-Base de
dados do
Sisobi e de
cartrios do
CNJ
dos direitos de acesso concedidos e

revogados.
P2.2.7 Verificar os usurios que
possuam acesso vigente a mais de um
cartrio. Consultar os cartrios para
identificar se tais pessoas ainda
trabalham nos respectivos cartrios.
Possveis Achados
-Falta de
procedimentos
formalizados para
concesso e
revogao de
acessos.
-Pessoas que no
trabalham mais nos
cartrios continuam
com acesso ao
sistema
67
67
Execuo
Aplicao dos procedimentos definidos
Acumulao de evidncias
Desenvolvimento dos achados:
Consiste no acmulo organizado de informaes (ou
evidncias) apropriadas e necessrias para esclareclos e sustent-los.
Elaborao da Matriz de Achados:

Deve ser preenchida medida que os achados sejam
identificados durante a execuo dos procedimentos

de auditoria.
Permite uniformizar o entendimento dos membros da
equipe de auditoria, preparando-os para a escrita do
relatrio.
68
68
Execuo
Matriz de Achados:
Achado
Situao
Critrio
Encontrada
CorresSituao
Legislao,
pondncia existente,
norma,
com o
identificada e jurisprudncia,
documentada entendimento
Achado
doutrinrio
durante a
(An)
ou padro
constante fase de
da Matriz execuo da adotado
auditoria
de
Procedimentos
Evidncia
Informaes
obtidas
durante a
auditoria no
intuito de
documentar
os achados
e de
respaldar as
opinies e
concluses
da equipe
Causas
Efeitos
Encaminhamento
O que
ConsePropostas da
motivou a qncias equipe de
ocorrncia do
auditoria.
do achado achado
Deve conter
identificao
do(s)
responsvel
(is)
A1
A2
An
69
69
Execuo
Matriz de Achados:
Os achados da auditoria devem levar em
conta o nvel de risco associado;
Prudncia ao relatar situaes
Bom senso ao colocar achados de baixa
relevncia;
Cada falha apontada deve estar suportada por
evidncias e papis de trabalho.
70
70
O Relatrio de Auditoria o instrumento formal e
tcnico por intermdio do qual a equipe de
auditoria comunica:
o objetivo do trabalho.
a metodologia (como foi executado).
os achados (resultado obtido).
as concluses (avaliaes e opinies).
a proposta (recomendaes e determinaes).
71
71
Requisitos do Relatrio de Auditoria:
Clareza
Convico
Conciso
Exatido
Relevncia
Tempestividade
Objetividade
72
72
Estrutura do Relatrio de Auditoria:
Resumo
Sumrio
Introduo (Viso Geral)
Achados de Auditoria
Situao encontrada
Critrios
Evidncias
Causas
Efeitos
Encaminhamentos
Outros Fatos Relevantes
Concluso
Proposta de Encaminhamento
Apndices/Anexos
73
73
Linguagem mais tcnica

Evidncias
Relatrio deve ser til
Detalhamento dos achados, riscos associados
e recomendaes
Incluso de grficos e tabelas bem
apresentados e contextualizados
Equilbrio entre conciso e a clareza no corpo
principal do relatrio (uso de apndices se
necessrio, evitar o exagero de informaes)
74
74
Cuidados com o pblico:
Durante a escrita dos achados de auditoria, a equipe
deve tomar cuidados especiais com o uso de termos
tcnicos ou de difcil entendimento, levando em conta
que o relatrio ser lido por pessoas que, na sua
maioria, no trabalham ou se encontram diretamente
envolvidas com TI (pblico leigo)
Essas pessoas (gestores, autoridades, auditores,
jornalistas etc) estaro mais interessadas em
compreender como os achados levantados afetam as
reas de negcio do rgo/entidade auditado
Glossrio de termos tcnicos (se necessrio)
75
75
Propostas de Encaminhamento:
Conjunto de medidas a serem adotadas pela
entidade visando corrigir as falhas ou
irregularidades apontadas.
Recomendaes devem ser realistas,
exequveis e racionais, ou seja, aceitveis e
passveis de implementao.
Para cada achado dever haver pelo menos
uma recomendao.
76
76
Monitoramento
O que ?
Instrumento para verificar o cumprimento das deliberaes do
TCU e os resultados delas advindos.
composto pelas mesmas fases de uma auditoria
(Planejamento, Execuo e Elaborao do Relatrio).
Objetivos:
Acompanhar as providncias tomadas no mbito do rgo ou
programa auditado em resposta s recomendaes exaradas
pelo Tribunal, interagindo com os gestores responsveis, de
forma a maximizar a probabilidade de que essas
recomendaes sejam adequadamente adotadas (Follow-Up).
Permite a retroalimentao do trabalho de auditoria, na medida
em que fornece aos gestores o feedback de que necessitam
para verificar se as aes que vm adotando tm contribudo
para o alcance dos resultados desejados.
77
77
Auditoria de Dados
78
78
Agenda
Objetivos.
Atuao do TCU
Conceitos Bsicos.
Oportunidades e dificuldades
Escopo e Planejamento.
Execuo e relatrio.
Estudo de caso: Sisobi
79
Objetivos
Compreender os principais conceitos, o enfoque e a

aplicabilidade da auditoria de dados.
Compreender como deve ser conduzida e que aspectos
devem ser abordados numa auditoria de dados.
Conhecer formas de atuao da Sefti/TCU em trabalhos
de auditoria de dados.
Discutir algumas questes de auditoria relacionadas
auditoria de dados.
Conhecer alguns exemplos prticos de uso de CAATTs
80
A auditoria de dados
Aborda os dados contidos em meios de armazenamento

eletrnico a fim de se certificar se so ntegros,
confiveis e em conformidade com as leis que regem o
negcio.
Pode ser executado isoladamente ou de forma a

complementar outra auditoria (ex.: auditoria de
sistemas).
Possibilita a verificao de at 100% das transaes

auditadas
Permite o cruzamento de informaes com outras bases

de dados a fim de verificar os registros auditados.
81
Agenda
Objetivos.
Atuao do TCU
Conceitos Bsicos
Execuo e relatrio.
82
Alguns trabalhos do TCU...
Sisobi/INSS (Ac. 2812/2009-P)
Cadastro nico para programas sociais do governo federal no MDS

(Ac. 906/2009-P)
Avaliao do controle do trnsito de produtos florestais realizado por

meio de sistema do Ibama (Ac. 309/2009-P)
Incompatibilidade entre a jornada de trabalho de servidores e

respectiva remunerao (Ac. 89/2008P)
Auditoria operacional em hospitais universitrios do RJ (Ac.

473/2007-P);
Sistema de Controle da Dvida Ativa da Unio (PGFN) (Ac.

3382/2010-P e 2994/2011-P)
SIASG/ComprasNet (Acrdo 1.793/2011-P, em sede de recurso)
83
Agenda
Objetivos.
Atuao do TCU
Conceitos Bsicos
Execuo e relatrio.
84
Agenda
Objetivos.
Atuao do TCU
Conceitos Bsicos
Execuo e relatrio.
85
Campos de aplicao
Anlise exploratria
Teste e avaliao de controles
Deteco de fraudes
Anlise de trilhas de auditoria
Auditoria contnua
86
Anlise exploratria
Auditoria de escopo ainda no delimitado
Apoiar planejamento
Avaliar criticidade e materialidade
Estratificar os dados
Identificar anomalias
Percepo de risco e experincia do auditor
Exemplos
Valores mximos e mnimos de contratos
Distribuio por tipos de licitao
Controles sobre datas
Estratificao por licitante, por modalidade

87
Teste e avaliao de controles
Avaliar a eficcia dos controles internos
Testar a conformidade para com as regras de negcio
Anlise de 100% das transaes
Pode ajudar na identificao das causas de falhas nos

controles por meio da anlise das transaes no
conformes
Exemplos:
Modalidade de licitao x valor licitado
Nmero CPF vlidos
Segurados da previdncia esto vivos
Se as placas de automveis indicadas nas multas

se referem a automveis vlidos
88
Deteco de fraudes
Possibilidade verificar indcios de fraudes
Verificaes dependem da rea de negcio
Estratificao de transaes (por usurio, por

departamento, por hrrio etc)
Uso de circularizao (outras bases de dados)
Incompatibilidade entre cargo e transaes
Anlise de desvios e comportamento no esperado
Transaes mais vultosas
Dependem de testes complementares, pois os dados

so uma mera representao
89
Anlise de trilhas de auditoria
pode facilitar a anlise de milhes de registros
verificar autoria
verificar ordem e sequncia de transaes
verificar coerncia entre arquivos de dados e log
90
Exemplo de uso
Anlise exploratria
Aplicao de testes
Uso de ferramenta
91
Dificuldades
Delimitao de escopo
Falta de qualidade dos dados armazenados
Complexidade de processos de negcio e estruturas

de dados (modelos com centenas de tabelas)
Carncia de documentao
Estruturas de dados complexas ou mal organizadas
Volume de transaes (demanda por processamento)
Compreender o negcio essencial!
92
Dificuldades
Insuficincia de conhecimento a respeito da base de

dados por parte da equipe responsvel pela
manuteno
Sistemas de bancos de dados antigos
Sigilo dos dados
Oposio extrao dos dados (caso sistema de

solicitaes)
Carncia de recursos humanos para processar a

extrao
Ausncia de chaves comuns entre arquivos ou bases

de dados
93
Indcios de problemas na
confiabilidade dos dados
documentao ausente ou precria;

sistemas antigos, que exigem muita manuteno;
estruturas de dados complexas e desorganizadas;
alta rotatividade de pessoal e treinamento inadequado
ou em escala insuficiente;
falta de padres para o processamento de dados,
especialmente quanto segurana, acesso e controle
de mudana de programas.
(TCU, Manual de Auditoria de Sistemas, 1998)
94
Confiabilidade dos dados

3.5.2 ... Quando os dados obtidos mediante sistemas
informatizados forem parte importante da auditoria e a
confiabilidade dos dados seja decisiva para o alcance do
objetivo da fiscalizao, os auditores devem certificar-se
de que os dados so confiveis e pertinentes.
(Intosai, Cdigo de tica e Padres de Auditoria, 2001)
95
Confiabilidade dos dados

(riscos)
Os princpios de auditoria exigem que qualquer

evidncia (independentemente de sua fonte ou formato)
seja confivel, relevante e suficiente.
O risco de confiabilidade dos dados definido como
sendo o "risco de que os dados utilizados no sejam
suficientemente confiveis para o fim a que se
destinam", ou seja, o risco de que esses no sejam
exatos e completos o suficiente para servir de
fundamento para achados de auditoria.
(TCU, Manual de Auditoria de Sistemas, 1998)
96
Benefcios
Auditoria mais:
Eficiente
Eficaz
Abrangente
Pode produzir uma reduo do tempo para

execuo de auditoria posterior
Pareceres mais conclusivos
Resultados mais expressivos
97
Agenda
Objetivos.
Atuao do TCU
Conceitos Bsicos
Escopo e Planejamento
Execuo e relatrio
98
Planejamento
Definir
objetivos
Identificar
arquivos
Garantir a
conformidade
Definir
a gerao
Levantar
deficincias
Contatar
rea de TI
Definir perodo
e/ou situao
Elaborar Matriz
de Planejamento
Mapear
arquivos
Definir formato e
data dos arquivos
Obter Modelo
de Dados
Requisitar formalmente a gerao
Execuo
Relatrio
Aplicar as
tcnicas (CAATs)
Checar indcios
de irregularidades
Provar que arquivo

est completo
Provar que dados no
esto corrompidos
Checar perodo
e situao
Identificar objetivo
dos arquivos
Identificar arquivos
necessrios
Definir
campos
Solicitar
leiaute
Identificar
chaves primrias
Identificar campos
necessrios
Checar
99
Planejamento
Definir objetivos
Definir questes de auditoria

Definir procedimentos
Identificar bases de dados e rgos
envolvidos
Buscar definir os rgos envolvidos e
envolv-los formalmente na fiscalizao
(portaria)
100
Planejamento
Obter modelos de dados e documentao

Estudar arquivos
Compreender objetivo dos arquivos

Identificar chaves primrias
Selecionar campos de interesse
Compreender estrutura dos campos
Definir campos de dados necessrios

Estimar tamanho da base gerada
101
Planejamento
Avaliar requisitos
informaes
para
custdia
das
Verificar disponibilidade de espao em

disco
Consultar aspectos de sigilo e segurana
das informaes
Providenciar ambiente seguro e adequado
para processamento dos dados
102
Planejamento
Definir a gerao
Definir leiaute desejado

Definir perodo dos dados
Avaliar tamanho da base gerada
Definir meio seguro para transmisso das
informaes (uso de criptografia, se
necessrio)
Negociar e discutir demanda com o
jurisdicionado (layout, prazos, entendimento)
Formalizar!
EXEMPLO DE OFCIO
103
Observaes na definio dos campos a serem obtidos
Verificar se esto faltando informaes que seriam teis.
Chaves primrias sempre devem ser recuperadas.
Campos calculados devem ser evitados. Deve-se dar

preferncia aos campos atmicos.
Os dados no obrigatoriamente esto armazenados na

forma que aparecem nas telas e relatrios de sistemas
informatizados.
104
Observaes na definio da gerao dos dados
O arquivo no deve, preferencialmente, ser um backup.
Necessidade de fornecimento de layout dos arquivos

junto aos dados.
Necessidade de recebimento de jobs de execuo

de gerao de dados.
Considerar possibilidade de acompanhamento do
processo de gerao.
105
Formatos de arquivos mais comuns
ASCII de comprimento fixo
Arquivos de escritrio: Excel, Access, Openoffice
Texto com campos separados por

especiais, como vrgula, ponto e vrgula
Formato natural gerado pelo SGBD (requer uma

etapa adicional de importao para um SBGD
compatvel);
Como ltima alternativa, relatrio padro ou

elaborado para fins da auditoria, em meio magntico.
caracteres
106
Observaes finais da Fase de Planejamento
Maior durao do que outras abordagens de auditoria

TI
=> Tempo para conhecer as bases de dados
Contatos, negociao e pedido de gerao de bases

pertencentes a rgos no abrangidos pela auditoria
devem ser feitos nesta fase, quando for o caso.
Considerar a interrupo da auditoria nesta fase
107
Requisio
Observaes finais da Fase de Planejamento
Maior durao do que outras abordagens de auditoria

TI
=> Tempo para conhecer as bases de dados
Contatos, negociao e pedido de gerao de bases

pertencentes a rgos no abrangidos pela auditoria
devem ser feitos nesta fase, quando for o caso.
Considerar a interrupo da auditoria nesta fase
108
Fluxo de gerao de dados
BASE DE
DADOS
1
BASE DE
DADOS
2
EXTRAO
Base txt /
excel
excel
Importao
ACL
BASE DE
DADOS
n
109
Exemplo de layout de um arquivo

IT-IN-ATIVO
IT-CO-UNIDADE-GESTORA
IT-NO-UNIDADE-GESTORA
IT-NO-MNEMONICO-UNIDADE-GESTORA
IT-CO-UF
GR-ORGAO
A 0001
N 0006
A 0045
A 0019
A 0002
N 0005
110
Agenda
Objetivos.
Atuao do TCU
Conceitos Bsicos
Execuo e relatrio.
111
Execuo e relatrio
Observaes sobre essas fases
Em geral, execuo in-house

Uso de Caatts
Maior nmero de achados (relevncia)
Irregularidades nos dados podem no necessariamente significar
irregularidades na vida real. Devem ser interpretados como indcios!
Comprovao documental e confirmao dos indcios por outras
fontes
Nova auditoria
Amostragem estatstica
Amostragem por criticidade e materialidade
Fase de relatrio da auditoria de dados no difere de outras
auditorias.
Adicionar-se anexo de metodologia com detalhes dos cruzamentos
112
Execuo e relatrio
Planejamento
Definir
objetivos
Identificar
arquivos
Garantir a
conformidade
Definir
a gerao
Levantar
deficincias
Contatar
rea de TI
Definir perodo
e/ou situao
Elaborar Matriz
de Planejamento
Mapear
arquivos
Definir formato e
data dos arquivos
Obter Modelo
de Dados
Requisitar formalmente a gerao
Execuo
Relatrio
Aplicar as
tcnicas (CAATs)
Checar indcios
de irregularidades
Provar que arquivo

est completo
Provar que dados no
esto corrompidos
Checar perodo
e situao
Identificar objetivo
dos arquivos
necessrios
Definir
campos
Solicitar
leiaute
Identificar
chaves primrias
Identificar campos
necessrios
Checar
113
Execuo
Receber os arquivos e verificar integridade
Checar se o arquivo est completo
Verificar se no h dados corrompidos
Verificar perodo desejado
Efetuar checagens adicionais de acordo com

os filtros aplicados
Armazenar os arquivos de acordo com os requisitos

de custdia
As informaes recebidas de pessoa fsica ou jurdica

externa ao Tribunal devem ser classificadas de acordo
com os requisitos de segurana da informao pactuados
com quem as forneceu. (Art. 2, 3, Resoluo-TCU n
229/2009 Classificao da Informao)
114
Execuo
Efetuar procedimentos preparatrios
Efetuar limpeza nos dados
Efetuar normalizao de arquivos
Criar ndices e arquivos de resumo para aumento de

performance
Criar identificadores nicos de registro
Documentar todos os procedimentos aplicados sobre

os dados
115
Execuo
Executar os procedimentos (cclicos)
Documentar os procedimentos aplicados (com uso de

scripts, se disponvel)
Executar os procedimentos
Avaliar os resultados
Checar indcios de irregularidades
116
Execuo (tipos de testes)

Tipos de testes
Testes da integridade dos dados: determinam se o universo

contm todos os elementos de dados e registros relevantes
para o objetivo de auditoria, no perodo abrangido
(exemplo, todos os pagamentos efetuados a um mesmo
fornecedor).
Testes de autenticidade dos dados: verificam se os dados
computadorizados refletem com exatido sua fonte (os
registros de entrada de dados devem reproduzir fielmente os
documentos-fonte).
Testes de exatido do processamento: informam se todos
os registros relevantes foram processados de forma completa
e se todos os processamentos atenderam aos objetivos
pr-estabelecidos.
117
Relatrio
Documentar a metodologia aplicada:
Descrever bases utilizadas
Procedimentos de seleo dos arquivos e perodos
Procedimentos preparatrios
Cruzamentos e procedimentos realizados
Exemplos (script e metodologia)
Escrever relatrio
Proteger anexos contendo dados e informaes com uso

de criptografia
118
Boas prticas
Documentar a metodologia aplicada:
Descrever bases utilizadas
Procedimentos de seleo dos arquivos e perodos
Procedimentos preparatrios
Cruzamentos e procedimentos realizados
Escrever relatrio
Proteger anexos contendo dados e informaes com uso

de criptografia
119
Possveis questes
Objetivo de controle: assegurar que os dados contidos nas
bases de dados so confiveis
As informaes do ndice Nacional IN refletem as

informaes das bases de dados dos agentes de
segurana pblica? (Auditoria no Infoseg - Acrdo n
71/2007-TCU-Plenrio)
Os cruzamentos do sistema do Cadastro nico com
outros sistemas so efetivos para detectar a ocorrncia
de erros e fraudes no sistema? (Auditoria no Cadnico Acrdo n 906/2009-TCU-Plenrio)
O sistema do Cadastro nico cumpre a legislao a ele
aplicvel? (Auditoria no Cadnico)
120
Possveis achados
Inconsistncias entre as bases de dados criminais e o

ndice Nacional (Auditoria no Infoseg).
Dados que evidenciam o no cumprimento legislao
(duas aposentadorias em cargos inacumulveis na
atividade Auditoria no Siape)
Divergncia nas datas de bitos entre bases
pertencentes a diferentes instituies (auditoria no
Sisobi)
121
Agenda
Objetivos.
Atuao do TCU
Conceitos Bsicos
Execuo e relatrio.
122
Case Sisobi Aspectos tcnicos
Auditoria de dados (apoiar a correo de deficincias na

base de dados do Sisobi)
Vrias bases de dados: Sisobi, SIM, SUB, CPF, IBGE
SUB: avaliar efetividade do Sisobi em seu objetivo maior
Uso intensivo de cruzamento de dados entre as bases
Diversas entrevistas para compreender organizao das
bases de dados (significado de campos)
Amostragem (risco e materialidade) para pesquisas
adicionais
123
Plataforma alta (SUB) x Plataforma baixa (Sisobi)
Outro rgo gestor (SIM)
diferenas nas estruturas de dados

diferenas na formatao de caracteres especiais (acentuao
etc): joo x joao x jo#o
Diferenas na documentao
mais diferenas
Tamanhos das bases de dados: vrios arquivos com

mais de 20, 30 milhes de registros
Produto cartesiano??
124
Cruzamentos Sisobi x SUB x SIM

Verificar problemas na concesso e manuteno de
benefcios em decorrncia de falhas nos registros de bitos
Qual a chave adequada?
Ausncia de identificador comum de pessoas confivel
(projeto RIC em curso)
Nome + ????
Equilbrio entre risco de falsos-positivos e falsos-negativos
125
Grande esforo de documentao de scripts

Documentao da metodologia em nvel mais alto
Testes adicionais (requisies ao INSS)
Prova de vida
Trecho do relatrio Min. Augusto Nardes, Acrdo 2.812/2009-P
Pesquisa de vida do INSS indicou que a beneficiria faleceu h mais de 1
ano. Havia representante legal que era sua tia. Segundo a pesquisa, o
carto de recebimento ficou com seu sobrinho [...] que o sobrinho pegou o
carto dela [da representante legal] e o da segurada, para ajudar nas
despesas de casa, pois as duas estavam na casa dele (pois a [...] [tia] tinha
quebrado a perna) e depois que a sobrinha faleceu e ela melhorou e voltou
para Una-MG, o sobrinho no quis devolver o carto da segurada (fls. 81 e
82, anexo 1)
126
Obrigado!
Marcio Rodrigo Braz, Me.
brazmr@tcu.gov.br
127

Auditoria de Dados - CAAT

Caricato da

Informazioni sul documento

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

Auditoria de Dados - CAAT

Caricato da

Copyright:

Formati disponibili

Metodologia e

Secretaria de Fiscalizao de Tecnologia da Informao

Secretaria de Fiscalizao de Tecnologia da Informao

Por que fiscalizao em

Criticidade: todas as reas crticas da administrao

Secretaria de Fiscalizao de Tecnologia da Informao

Por que fiscalizao em

Secretaria de Fiscalizao de Tecnologia da Informao

Por que fiscalizao em

Secretaria de Fiscalizao de Tecnologia da Informao

Por que fiscalizao em

Secretaria de Fiscalizao de Tecnologia da Informao

O papel do auditor auditar as polticas, prticas e

Secretaria de Fiscalizao de Tecnologia da Informao

Secretaria de Fiscalizao de Tecnologia da Informao

Secretaria de Fiscalizao de Tecnologia da Informao

Secretaria de Fiscalizao de Tecnologia da Informao

Auditoria de Tecnologia da Informao

so adequadamente protegidos para prover

Secretaria de Fiscalizao de Tecnologia da Informao

Secretaria de Fiscalizao de Tecnologia da Informao

Atuao dos Auditores

Especialistas em TI (AUFCs - TI)

Secretaria de Fiscalizao de Tecnologia da Informao

Secretaria de Fiscalizao de Tecnologia da Informao

Secretaria de Fiscalizao de Tecnologia da Informao

Secretaria de Fiscalizao de Tecnologia da Informao

Secretaria de Fiscalizao de Tecnologia da Informao

Secretaria de Fiscalizao de Tecnologia da Informao

Secretaria de Fiscalizao de Tecnologia da Informao

As abordagens de auditoria se complementam, existindo

Utilizao de diferentes abordagens

Representam as possveis formas de focalizar a TI

Secretaria de Fiscalizao de Tecnologia da Informao

Gesto dos servios

ISO 38.500 e Cobit

Secretaria de Fiscalizao de Tecnologia da Informao

Normas GSI, NBR 27.002/2005,

Secretaria de Fiscalizao de Tecnologia da Informao

integridade, disponibilidade, confiabilidade, conformidade,

Acompanhamento de sistemas em desenvolvimento

Secretaria de Fiscalizao de Tecnologia da Informao

Secretaria de Fiscalizao de Tecnologia da Informao

Normas e Padres em ATI

Legislao brasileira e demais normativos

IN-01/2008 Gesto da Segurana da Informao

Secretaria de Logstica e TI (SLTI/MP)

IN-4/2010 Processo de Contratao de TI

Tribunal de Contas da Unio (TCU)

rgos governantes: CNJ, CNMP, CJF, DEST

Associao Brasileira de Normas Tcnicas (ABNT)

NBR ISO/IEC srie 27000 e outras internalizadas no Pas

Secretaria de Fiscalizao de Tecnologia da Informao

Lacunas na Legislao Brasileira

Secretaria de Fiscalizao de Tecnologia da Informao

Secretaria de Fiscalizao de Tecnologia da Informao

Srie NBR ISO/IEC 27000

Outras Normas internacionais

Secretaria de Fiscalizao de Tecnologia da Informao

Outras Normas Internacionais

Secretaria de Fiscalizao de Tecnologia da Informao

Isaca (Information Systems Audit and Control

Outros institutos e organizaes

Secretaria de Fiscalizao de Tecnologia da Informao