9° Conferencia

ISACA FULL DAY INTERNACIONAL

Capítulo Lima

IA: nos puede matar, nos puede

salvar, ¿Quién la va a auditar?
Arnulfo Espinosa Domínguez
CISA, CISM, CRISC, CSXF Accredited Trainer
CAJA NEGRA
Altamente resistente

Visible / Rastreable

Obligatoria
Ing. Arnulfo Espinosa
CISA, CISM, CRISC, CSXF

• Libre pensador
• Conocido como El AudiTHOR
• Se preocupa más por la inteligencia natural,
que por la inteligencia artificial 
 03
NOS
PUEDE
02 SALVAR
NOS
PUEDE 04
MATAR QUIÉN
LA VA
AUDITAR

01
INTELIGENCIA
ARTIFICIAL
Inteligencia
Artificial
 Inteligencia Artificial
Se refiere a Tecnologías que hacen que las
máquinas sean "inteligentes".
Las organizaciones están invirtiendo en
investigación y aplicaciones de inteligencia
artificial para automatizar, aumentar o
replicar la inteligencia humana, analítica
humana y/o toma de decisiones.

Fuente: IIA
 Inteligencia
Artificial
Los datos son
el combustible
de la AI, más nos
vale identificarlos,
refinarlos
y resguardarlos
 Términos relacionados
Natural
Deep con Inteligencia Artificial: language
learning
processing

Machine Knowledge
Learning Representation
and Reasoning

Image
Recognition Cognitive
computing

Intelligence
amplification
 Tipo III
Tipo I

Máquinas Teoría
reactivas de la mente

Tipo II Tipo IV

Tipos de
Inteligencia
Memoria
Limitada
Artificial Conciencia
de sí mismo
Fuente: Arend Hinze
 Importancia de la IA
IMPACTO DEL CRECIMIENTO ANUAL DEL PIB
POR TECNOLOGÍA

BILLONES

Se proyecta invertir 1.2%

en AI para el 2022
cuatro veces más 0.6%

de lo invertido en 0.4%

2018. 0.3%

Motores Robots IT AI
vapor (1990s) (2000s) (2020s)
(1800s) Fuente: HP “Artificial intelligence, in real life”
El primer
trillonario

El primer trillonario
del mundo surgirá
del sector de la
Inteligencia Artificial

Mark Cuban
Es más importante que…

La Inteligencia Artificial AI
Es probablemente lo más
importante en lo que la
humanidad ha trabajado.
Incluso más grande que la
electricidad o el fuego
Sundar Pichai
CEO Google
Meta aspiracional de ISACA

Be the standard
maker for ethical
behavior in IT
(AI “run amok”)
En dónde está siendo
ampliamente utilizada
• Agentes de servicio al cliente
automatizados o chatbots
• Sistemas automatizados de
inteligencia y prevención de
amenazas.
• Procesos de recomendación de
ventas
• Automatización en gral.
 ¿Y qué sigue?
• Servicios de Salud • Transportes
• Manufactura • Academia / Universidades
• Entretenimiento • Prensa
• Transportistas • Instituciones financieras
Nos puede
matar
Trainables and Shockeables
Vehículos Autónomos
Morir de hambre
Morir de hambre
 Morir de hambre

Si un robot reemplaza
el trabajo
de un humano,
este robot debe pagar
impuestos
como un humano.
Bill Gates
Singularidad Tecnológica
 Singularidad Tecnológica
Nunca
Tecno Escéptico
300 años
Cuándo

100 años
Movimiento en

Utópicos
Digitales
Luditas
50 años
Pro de una IA
Pocas décadas
benéfica

Pocos años Prácticamente nadie

Sin duda Tal vez Incierto Tal vez Sin duda Fuente:
malo malo bueno bueno De la Auditoría del PED,
a la Inteligencia
Efecto Artificial: Life 3.0
Lecciones de la Bomba Atómica

Según Nick Bostrom

Nos puede salvar
Vehículos Autónomos
Seguridad NO de información
Seguridad Sí de información
Aplicaciones Médicas
Dentistas del futuro…HOY!

En China, estos robots

compensarán la falta de
dentistas calificados, al
poder trabajar con una
precisión de 0.3 milímetros.

South China Morning Post

Aplicaciones Médicas
 Depresión e “Inmortalidad”

“Replika” tu amigo de AI
(El compañero de AI a
quien le importas) chat
bot que habla contigo,
aún cuando ya murió la
persona
Lecciones de Bancos Jaqueados
¿Quién la va auditar?
 La AI y la AI Evolución de técnicas

Enfoque de la Criterios
tecnología Consideraciones del
Auditor

Probabilidad Los datos

vs Exactitud son clave
 La AI y la AI
AI para Auditar Auditando la AI

Desarrollada
por la Organización
Comprada por
la Organización
 Enfoque de la tecnología

Sistemas Sistemas que

estáticos aprenden
Probabilidad vs Exactitud
 Evolución de técnicas
Los sistemas de AI son difíciles de validar utilizando técnicas
tradicionales de auditoría TI como:

Simulación paralela Recálculos

 Criterios de Auditor
Criterio Condición

NO EXISTEN ACTUALMENTE

Frameworks Regulaciones
de Auditoría específicas de AI
maduros (estándar)
 Los datos son clave

Garbage in Origen de los

Garbage out datos

Sesgo de los datos

Retos y soluciones de AI para Auditoría
1 Marcos de referencia y regulaciones
específicas de AI inmaduras

1
RETOS DEL AUDITOR DE TI
Adoptar y adaptar los marcos

CLAVES PARA AUDITAR LA AI

y reglamentos existentes

2 Antecedentes limitados para casos de uso

de IA

Explicar y comunicar de manera proactivasobre la

IA con las partes interesadas
2

3 Gran variación entre sistemas y soluciones de IA

por ser tecnología emergente

Informarse sobre el diseño y la arquitectura de

AI para establecer el alcance adecuado
3
Retos y soluciones de AI para Auditoría
4 Falta de guía de auditoría explícita de AI

Centrarse en los controles, los datos y la

4
RETOS DEL AUDITOR DE TI

CLAVES PARA AUDITAR LA AI

gobernabilidad, NO en los algoritmos

5 Curva pronunciada de aprendizaje

para el auditor de inteligencia artificial

Informarse sobre el diseño de AI y contrate a

especialistas según sea necesario 5
6 Riesgo de proveedores creado
por la externalización de AI a terceros

Documentar las prácticas arquitectónicas

para la transparencia entre equipos 6
Frameworks de Auditoría de la AI
 Frameworks de Auditoría de la AI

Medición
Gobierno de la AI del desempeño de la AI

Arquitectura de los Datos

e Infraestructura Factor Humano

Calidad de los Datos Controles generales

 Datos para llevar
Alguien debe controlar y revisar la Inteligencia
Artificial

Aún no existen frameworks y estándares maduros para auditar

la inteligencia artificial, pero sí hay con qué empezar

Legislaciones tienen que emerger

mientras las tecnologías tienden a converger

Más que suplantarnos están/estarán

para ayudarnos
Bonus Track
Murales virtuales con premio

ARES

WALLAME
Arnulfo “El AudiTHOR ” Espinosa
CISA, CISM, CRISC, CSXF
Arnulfo Espinosa Domínguez
 Auditando la AI
1. ¿Hay habilidades en el personal para ejecutar una auditoría de un sistema de IA?

2. ¿Se validan las decisiones del sistema de IA?

3. ¿Es apropiado el acceso del usuario a la salida del sistema AI?

4. ¿Qué fuentes de datos se usaron para entrenar el sistema de IA?

5. ¿Qué conjuntos de datos de entrenamiento se utilizan para generar el sistema de IA inicial?

6. ¿Qué sistemas de IA actuales o anteriores han utilizado las mismas fuentes de datos o similares para
sus conjuntos de datos?

7. ¿Cómo hace el sistema de IA las predicciones?

8. ¿Qué conjuntos de datos de control (que reflejan el dominio de datos del sistema AI) se usaron para
validar la integridad de los conjuntos de datos AI reales?

9. ¿Cómo se validaron los conjuntos de datos del sistema de IA, independientemente a través de
terceros retenidos para juzgar la calidad de los datos, una práctica de TI común o por algún otro
medio?
10. ¿Cómo se validaron los conjuntos de datos del sistema de IA, independientemente a través de
terceros retenidos para juzgar la calidad de los datos, una práctica de TI común o por algún otro
medio?