24/04/2018 Preconceito das máquinas: como algoritmos podem ser racistas e machistas - Notícias - Tecnologia

Preconceito das máquinas: como

algoritmos podem ser racistas e
machistas
João Paulo Vicente
Colaboração para o UOL 24/04/2018 04h00

m n   H { Ouvir texto J Imprimir F Comunicar erro

Getty Images/iStockphoto

Quem é mais preciso para calcular as chances de um réu cometer novos crimes :
um software utilizado pela justiça americana ou um bando de palpiteiros na mesa de
boteco sem nenhuma formação na área?

O resultado, por incrível que pareça, é um empate técnico, de acordo com

um estudo (http://advances.sciencemag.org/content/4/1/eaao5580.full) publicado
pelos pesquisadores Hany  Farid e Julia  Dressel, do Dartmouth  College. Na
pesquisa, o programa COMPAS, amplamente usado pela justiça dos EUA para
prever a reincidência criminal, teve sucesso em 65% das previsões, enquanto os
humanos acertaram 67% dos chutes.  

VEJA TAMBÉM

Poucas empresas são "donas" da inteligência artificial, e isso é bem ruim

(http://tecnologia.uol.com.br/noticias/redacao/2018/04/20/quem-sao-os-donos-da-
inteligencia-artificial.htm)

https://tecnologia.uol.com.br/noticias/redacao/2018/04/24/preconceito-das-maquinas-como-algoritmos-tomam-decisoes-discriminatorias.htm 1/7
24/04/2018 Preconceito das máquinas: como algoritmos podem ser racistas e machistas - Notícias - Tecnologia

Inteligência artificial "psicopata" é inspirada em clássico de Hitchcock

(http://tecnologia.uol.com.br/noticias/redacao/2018/04/16/universidade-cria-
inteligencia-artificial-psicopata-e-sacaneia-reddit.htm)
Nasceu o primeiro "bebê" da inteligência artificial
(http://tecnologia.uol.com.br/noticias/redacao/2018/04/16/ia-do-google-tem-bebe-
mais-eficaz-do-que-programas-criados-por-humanos.htm)

E se isso já seria preocupante por si só, o cenário fica ainda pior com o
conhecimento de que o tal software tende a prever de maneira equivocada a
reincidência criminal de pessoas negras, apontando o dobro da probabilidade
em comparação com brancas.

Esse é um caso emblemático do que tem sido chamado de discriminação

algorítmica, quando sistemas matemáticos ou de inteligência artificial são afetados
por informações enviesadas que alimentam seu funcionamento. Em contrapartida à
crença tecnocrática de que a eliminação do fator humano traria mais clareza e
objetividade a processos sensíveis conduzidos por máquinas, o que tem sido
observado é a reprodução de antigos preconceitos. 

Em outras palavras, ao ser construída em cima de um banco de dados que

reflete uma sociedade injusta, a inteligência artificial acaba tomando também
decisões discriminatórias.

U Esses algoritmos são construídos a partir de

dados. Se essas informações têm problema de
anotação, ou seja, têm alguma parcialidade em
relação a determinado aspecto, esses preconceitos
serão naturalmente aprendidos
Anderson Rocha, professor do Instituto de Computação da Unicamp 

Por exemplo, ao analisar o casamento de currículos com vagas a partir de um

banco de treinamento que tem milhares e milhares de exemplos de vagas
anteriores preenchidas por homens, é provável que um algoritmo dê prioridade para
candidatos do sexo masculino, explica Rocha.

O tema tem sido motivo de debate em fóruns acadêmicos, discussões legais e entre
a iniciativa privada ao redor do mundo. E não é difícil entender o por quê. Desde a
maneira como Facebook decide quais conteúdos serão exibidos para determinado
usuário, ao cálculo de chance de obter um empréstimo ou financiamento, e até a

https://tecnologia.uol.com.br/noticias/redacao/2018/04/24/preconceito-das-maquinas-como-algoritmos-tomam-decisoes-discriminatorias.htm 2/7
24/04/2018 Preconceito das máquinas: como algoritmos podem ser racistas e machistas - Notícias - Tecnologia

possibilidade de contratar um plano de saúde, os algoritmos já são parte

fundamental da vida contemporânea. Ainda assim, é difícil compreender como
funcionam.

No caso de software proprietário, que forma a base do negócio de uma empresa, a

caixa preta dos algoritmos é selada de maneira ainda mais hermética. O problema
é que este segredo molda destinos sem qualquer possibilidade de
contestação, como no caso da ferramenta utilizada pela justiça americana.

Racismo e machismo

Como vimos acima, o COMPAS não é muito melhor que a galera no grupo da

família no Zap para prever crimes. Mas a coisa fica ruim mesmo quando ele erra. 

O software usa 137 critérios para avaliar a chance de reincidência criminal - raça
não é uma delas. Mesmo assim, ele tende a ser mais rigoroso com negros do
que com brancos. A partir de uma investigação com o histórico de sete mil casos
analisados, a ONG ProPublica concluiu que 44.9% dos negros identificados como
de alto risco não cometeram novos crimes, contra 23.5% de brancos no mesmo
cenário. Por outro lado, brancos identificados como de baixo risco voltaram ser
presos em 47.7% dos casos, contra 28% de negros.

Essa distorção ocorreu porque as chances de um negro ser identificado como

de alto risco são muito mais altas do que a de branco. De novo: a raça não era
um critério de informação considerado pelo COMPAS, mas todo o contexto social
dos EUA (um país onde, como no Brasil, a população carcerária é majoritariamente
negra) acabou refletido no resultado. A Equivant, empresa responsável pelo
COMPAS, contestou os resultados da análise da ProPublica. 

Mas esse está longe de ser o único caso de máquinas preconceituosas. Em 2016,
Tay, um bot criado pela Microsoft para interagir e aprender com pessoas no Twitter,
chamou atenção não pela sua eficiência, mas pela rapidez em que se transformou
em um monstro. Do discurso simpático das primeiras postagens, em menos de
24 horas passou para o ódio às feministas e defesa de Hitler - o que obrigou a
empresa a tirá-la do ar. Assustador, mas ainda assim um experimento social sem
muitos efeitos práticos.

No campo do reconhecimento facial, por sua vez, ferramentas do Google já

identificaram pessoais negras como gorilas e uma câmera da Nikon
perguntou se asiáticos tinham piscado após uma foto. 

https://tecnologia.uol.com.br/noticias/redacao/2018/04/24/preconceito-das-maquinas-como-algoritmos-tomam-decisoes-discriminatorias.htm 3/7
24/04/2018 Preconceito das máquinas: como algoritmos podem ser racistas e machistas - Notícias - Tecnologia

Já sistemas operados por voz tem dificuldade em entender falas carregadas

de sotaque e análises textuais associam adjetivos como "honorável" ao sexo
masculino e "submisso" ao feminino. Todas são distorções criadas a partir de
um banco de dados incompleto (não dispunha de imagens o suficiente de pessoas
negra ou asiáticas) ou enviesado (literatura em que homens são representados
como honoráveis e mulheres submissas).

Isso sem contar os algoritmos do Uber que pagam mais para motoristas do sexo
masculino (https://tecnologia.uol.com.br/noticias/redacao/2018/02/07/mulheres-
motoristas-de-uber-ganham-7-a-menos-do-que-homens-diz-estudo.htm), segundo
um estudo da Universidade Stanford.

"Esse é um problema da toda tecnologia, ela pode ter um bom ou um mal uso. O
desafio é encontrar maneiras de inibir o mau uso", diz André de Carvalho, professor
do Instituto de Ciências Matemáticas e Computação da USP. 

Como controlar as máquinas

Uma das abordagens propostas para contornar essa questão chama-se FAT - sigla
para Fairness, Accountability e Transparency. "É a ideia de que os algoritmos
precisam ser justos, transparentes e de que as respostas a que eles chegam
possam ser explicáveis", conta Rocha. 

Como exemplo dessa abordagem, ele cita um projeto na Unicamp que busca prever
cegueira causada por diabetes com base em imagens de retina. "Os primeiros
algoritmos tomavam decisões e não explicavam como. Agora buscamos clareza e
na própria imagem utilizada são identificadas quais regiões foram consideradas
para chegar ao resultado, ou seja, é explicável."

"Tudo está em código aberto, então é transparente, não há segredos. Por fim, o
algoritmo acaba justo porque damos como elementos de treinamento dados
balanceados que buscam reproduzir características da doença na população em
geral, tanto em etnias variadas quanto nos sexos", diz o professor.

Outra estratégia importante é diversificar o perfil dos profissionais que

trabalham no desenvolvimento desses algoritmos. Durante a EmTech Digital
deste ano, conferência organizada pelo MIT Technology Review, Tess Posner,
diretora executiva da AI4ALL, ONG americana que oferece cursos para grupos
pouco representados no setor, ressaltou que uma equipe mais inclusiva traz
abordagens diferentes e ajuda a identificar falhas nos sistemas antes que, de
fato, se tornem um problema.

https://tecnologia.uol.com.br/noticias/redacao/2018/04/24/preconceito-das-maquinas-como-algoritmos-tomam-decisoes-discriminatorias.htm 4/7
24/04/2018 Preconceito das máquinas: como algoritmos podem ser racistas e machistas - Notícias - Tecnologia

Segundo Tess, apenas 13% dos executivos-chefes de empresas de inteligência

artificial nos EUA são mulheres e menos de 3% de professores em posições
universitárias importantes (o que inclui professores assistentes, professores
associados e professores titulares) são negros. Aumentar esses números poderia
resultar em performances mais justas da inteligência artificial.

Leis

Uma das saídas também pode estar na formulação de leis que pedem maior
transparência dos algoritmos. Na General Data Protection Regulation (GDPR),
regulação de proteção a dados e privacidade que passa a vigorar em maio na União
Européia, há exigências para que uma pessoa sujeita a decisões tomadas de
maneira automática por algoritmos tenha direito à revisão e explicação desse
processo, assim como uma segunda análise feita por um humano.

No final do ano passado, o conselho da cidade de Nova York aprovou uma

legislação que aponta para a transparência nas decisões tomadas pela inteligência
artificial, e exige que agências governamentais tornem públicos os algoritmos por
trás de suas decisões.    

U Na realidade, previsões que estão aí, como direito

a revisão e explicação, não são novidade. Existem
desde a década de 70 em leis europeias. Não
havia esse cenário como hoje, mas já existia essa
ideia de que decisões fundamentais poderiam ser
tomadas por máquinas
Danilo Doneda, professor da Escola de Direito da UERJ e do Instituto Brasiliense
de Direito Público.

Boa sorte com seu crédito

No Brasil, a questão ainda é incipiente do ponto de vista legal. Em dois dos

projetos de lei que tramitam no Congresso Federal sobre regulamentação do uso de
dados pessoais há referências ao tema.

O PLS 330/13, do Senado, abre espaço para "solicitação de revisão de decisões

tomadas unicamente com base em tratamento automatizado de dados pessoais que
afetem os interesses dos titulares."

https://tecnologia.uol.com.br/noticias/redacao/2018/04/24/preconceito-das-maquinas-como-algoritmos-tomam-decisoes-discriminatorias.htm 5/7
24/04/2018 Preconceito das máquinas: como algoritmos podem ser racistas e machistas - Notícias - Tecnologia

Já o PL 5276/16, proposto pelo Executivo e hoje na Câmara, é mais detalhado e

propõe que "o titular dos dados tem direito a solicitar revisão, por pessoa natural, de
decisões tomadas unicamente com base em tratamento automatizado de dados
pessoais que afetem seus interesses, inclusive as decisões destinadas a definir o
seu perfil pessoal, profissional, de consumo, de crédito ou aspectos de sua
personalidade.". Além disso estabelece que o responsável pelo algoritmo deve
explicar os critérios e procedimentos que norteiam seu uso.

Na realidade, Doneda explica que o Brasil tem uma lei que trata da necessidade de
clareza sobre decisões tomadas por algoritmos com base em banco de dados. É a
Lei 12.424, conhecida como Lei do Cadastro Positivo, que regula informações
utilizadas por entidades financeiras para calcular, entre outras coisas, a viabilidade
de oferecer empréstimo ou financiamentos para determinada pessoa.

Ainda assim, boa sorte se quiser descobrir porque sua oferta de crédito caiu
de um mês para outro ou porque não consegue financiar um apartamento. "Eu
não conheço decisões que tenham exigido explicações minimamente concreta de
empresas. Serasa e Boa Vista [dois dos maiores nomes desse setor] estão
tentando avançar um pouco com páginas onde explicam o que é o score de crédito,
mas são informações muito básicas que não mostram o processo de decisões", diz
Doneda.

Para Rocha, da Unicamp, um dos pontos fundamentais para reduzir a influência

de preconceitos em algoritmos é ser mais crítico em relação à crença de que
dados traduzem a verdade de maneira inquestionável.

"É importante termos especialistas para ajudar a desenvolver sistemas que

trabalhem dessa forma, sejam eles cientistas sociais, antropólogos, advogados,
enfim, os mais preparados para lidar com cada caso, de maneira a identificar e
reduzir os possíveis efeitos de vieses presentes nos dados", afirma ele. Ou seja, as
máquinas precisam de ajuda de humanos para ser mais do que palpiteiros de mesa
de bar. 

Veja também

Qual iPhone tem a melhor bateria no momento?

Facebook sabia que dados poderiam ser vendidos, diz Aleksandr

Kogan

https://tecnologia.uol.com.br/noticias/redacao/2018/04/24/preconceito-das-maquinas-como-algoritmos-tomam-decisoes-discriminatorias.htm 6/7
24/04/2018 Preconceito das máquinas: como algoritmos podem ser racistas e machistas - Notícias - Tecnologia

Samsung lança série sobre mulheres na

tecnologia; veja 1º episódio

Áudio de alta definição: música para golfinhos ou

sonzeira de verdade?

Conheça Daisy: robô da Apple que consegue

desmontar 200 iPhones por hora

© 1996-2018 UOL - O melhor conteúdo. Todos os direitos reservados. Hospedagem: UOL Host

https://tecnologia.uol.com.br/noticias/redacao/2018/04/24/preconceito-das-maquinas-como-algoritmos-tomam-decisoes-discriminatorias.htm 7/7