Noble, Safiya Umoja, author.

Algorithms of oppression : how search engines reinforce racism

. New York University Press, 2018. ISBN: 978-1-4798-3364-1

Amália Coelho de Souza1

John Danaher explora em seu trabalho Threat of Algocracy: Reality, Resistance and
Accommodation (2016) a tendência que vem se firmando há algum tempo entre especialistas e
pesquisadores do campo da comunicação web: a centralidade dos algoritmos como mecanismo
de tomada de decisão em diversos âmbitos da vida humana. Na era digital, os algorítimos
tornaram-se cada vez mais implicados nas diversas instâncias da interação humana. A
abrangência da lógica algorítmica2 alcança desde as regulações automáticas dos valores em
Wall Street, a gestão fiscal das receitas de um país, e até as minúcias de nossas vidas amorosas.
Em todas as escalas, podemos afirmar que o mecanismo de decisão algorítmica aliada ao
crescimento da IoT3 consolidam ainda mais a interferência da lógica algorítmica na gestão da
vida dos usuários.
A agência algorítmica como instância decisória é retomada por Danaher (2016) sob o
termo de Algocracia, um neologismo já presente na literatura referente ao sufixo “craci”,
derivado da palavra latina KRATOS - “Domínio, poder”. Sua etimologia remete a relação
fundamental da política, uma relação de poder entre sujeitos políticos. Algocracia, palavra
empregada por especialistas do ramo da tecnologia (Danaher, 2016 apud Aneesh 2006; 2008)
sugere uma dimensão inegável de poder algorítmico na gestão da vida humana e suscita alguns
questionamentos do ponto de vista ético: poderiam estas fórmulas matemáticas serem elevadas
ao status de sujeitos políticos? Se não, quem são os sujeitos políticos da algocracia? Com que
subjetividades e coletivos esas agências se relacionam?. Perguntas difíceis de responder que
ainda ocupam o fazer de diversos especialista mas que ganham um novo brilho sob o olhar
feminino e negro no trabalho de Safiya Noble acerca dos mecanismo de busca automática do

1
Mestre em Comunicação pela Universidade Federal do Recôncavo da Bahia. Graduada em Antropologia pela
Universidade Federal de Minas Gerais.
2
“Existem algoritmos de negociação ações em Wall Street ; algoritmos que determinam quem é o mais provável
ser culpado de evasão fiscal ; algoritmos que auxiliam na descoberta científica ; e algoritmos nos ajudando em
namoro e acasalamento.” (Danaher, 2016.p.1, tradução livre)
3
Internet of things - Internet das coisas (tradução livre). Refere-se a um tipo de comunicação exclusiva entre
dispositivos sem que haja mediação humana. Para saber mais ver: LEMOS, André & MARQUES, Daniel.
Questões sobre Privacidade na Internet das Coisas . I Congresso INCT.DD. Universidade Federal da Bahia,
Salvador, 2018.
Google.

Especialistas do ramo da tecnologia da informação colecionam críticas, argumentos e

metodologias que apontam para importância política do uso de mecanismos decisórios
automáticos na interação da Web e dos componentes a IoT em geral. Para os autores, essa
nova economia informacional pautada na comercialização de dados pessoais interfere
diretamente na aplicação dos pressupostos estabelecidos nas democracias moderna. 4 A crítica
à centralidade algorítmica na era em que vivemos não deve ser circunscrita somente ao aspecto
técnico, uma vez que a agência algorítmica se desenvolve como um "fazer-fazer" em
dimensões políticas, publicitária, econômicas, culturais etc. A algocracia caracterizada por
Danaher (2016) ultrapassa as fronteiras da interação do usuário e conforma um outra interação
informacional, alheia aos indivíduos e sob a qual exerce uma pretensa confiabilidade
(neutralidade).
O trabalho da pesquisadora americana Safiya Umoja Noble, autora do livro intitulado
“Algorithms of oppression”5localiza-se no seio das preocupações sobre como os mecanismo
decisórios automáticos e sua pretensa confiabilidade conformam a realidade política dos
indivíduos. O livro traz um conteúdo notável de experiências que apontam como os
mecanismos automáticos de busca do google retratam e reverberam noções opressivas e
estereotipadas sobre grupos minoritários como latinos, negros, mulheres e dissidentes de
gênero. Algorítimos da opressão: como os mecanismo de busca automática reforçam o racismo
compila uma série de noções sobre o desenvolvimento dos mecanismos automáticos de busca
destas plataformas, suas bibliotecas e protocolos assim como dos posicionamentos políticos das
empresas perante a confiabilidade e legitimidade da informação fornecida ao usuário.
Noble (2018) constrói sua metodologia a partir de uma perspectiva feminista e negra,
deslocando para o centro da discussão as relações estruturais de poder subsumidas na
“opacidade” algorítmica de Danaher. A provocação “algorítimos da opressão” atenta para
como os mecanismos de busca automática do Google contribuem para a disseminação do
racismo e sexismo no mundo e quais as implicações da imensurabilidade desses impactos na
experiência coletiva dos grupos minoritários. Esses são alguns dos questionamentos elucidados
pelo livro, que não só recupera as tensões inerentes ao funcionamento dos mecanismos
comerciais de pesquisa na web, mas aponta para a repercussão política da “algocracia” para as

4
Para saber mais ver: PONCIANO, L. et al. Designing for Pragmatists and Fundamentalists: Privacy
Concerns and Attitudes on the Internet of Things. 19 ago. 2017.
5
"Algoŕitimos da opressão" (tradução livre)
democracias modernas. Para a autora, a lógica corporativa de negligência intencional à respeito
dos resultados racistas e sexisitas obtidos em sites de pesquisa como o Google e suas bibliotecas
racializadas revelam mais do que um comportamento dos usuários, mas a seleção algorítmica
de informações que privilegiam certos grupos em detrimentos de outros, corroborando para
aprofundar a desigualdade racial e de gênero. Assim, os algoritmos estão longe de se
apresentarem como sujeitos políticos neutros no exercício de KRATOS, mas sim como agentes
implicados na conformação da experiência dos coletivos humanos na era digital.
Para Noble (2018), as implicações da tomada de decisão algorítmica se estendem das
buscas comerciais do Google, para outros tipos de consulta em outras plataformas de mídia
digital e para outros mecanismos automáticos de busca como sistemas de classificação bancária.
Tal configuração acarreta no que a Noble recupera como redlining digital6. A noção de
redlining digital se relaciona com a tendência da diluição da governança a uma questão de
processamento de dados como apontada por Danaher (2016, p.4)7, essas diluições não são,
entretanto, neutras e impactam modos de vida e experiências coletivas. É o caso da experiência
de pessoas de cor e mulheres e suas subjetividades na web, tendo em vista que o marketing e
a publicidade moldaram diretamente as maneiras pelas quais as pessoas marginalizadas
passaram a ser representadas por registros digitais, como resultados de pesquisa ou atividades
de redes sociais.
A caracterização das plataformas de mídia digital como “tecnologias neutras” quando
trazidas ao grande no público contribuem com a opacidade (Danaher, 2016) do regime
algogrático. Tal opacidade não é desinteressada e afirma-se inclusive nos eventos de “falhas”
encontradas em sistemas que, nunca sugerem que as lógicas organizadoras da web podem ser
quebradas, mas sim que são momentos pontuais ocasionais com sistemas quase perfeitos.
Casos como os resultados racistas em relação à família Obama encontrados da front page do
Google somam-se aos resultados automáticos recorrentes das pesquisas com palavras chaves
como “mulher”, “meninas negras”, “negras” e “latinas” que dirigem a frontpage para conteúdos
pronográficos e injúrias raciais. Tais fenômenos, em nada ocasionais, demonstram como o

6
Digital Redlining é o termo usado pela autora para designar o fenômeno de subrepresentação das minorias na
web. O termo faz referência ao redlining praticado durante o vigor das legislações racistas nos EUA onde eram
proibidas a venda de casas, lotes e comércios a pessoas de cor (legislação ainda presente em alguns estados). O
termo refere-se a uma ampla gama de fenômenos algoritmos de classificação e disposição de identidades, de buscas
comerciais na web à sistemas bancários.
7
Para Danaher o termo algocracia é cunhado para descrever “ um sistema no qual os algoritmos são usados para
coletar, agrupar e organizar os dados sobre os quais as decisões são tomadas, e para auxiliar na forma como esses
dados são processados e comunicados através do sistema de governança relevante. Ao fazê-lo, os algoritmos
estruturam e limitam as maneiras pelas quais os seres humanos interagem entre si”. (2016, p.4, tradução livre)
racismo e o sexismo fazem parte da arquitetura da linguagem web diferenciando as experiências
de coletivos humanos na relação com a algocracia.
“Algoritmos da opressão” é organizado em seis capítulos que trazem à cena diversos
enclaves que configuram o caráter eminentemente opressivos dos mecanismos de busca
automática no Google. O primeiro capítulo “A Society, Searching”8 apresenta o profundo
debate sobre o controle corporativo de informações públicas, abordando diversos conceitos
presentes nos resultados das frontpage dos mecanismos de busca do Google. Noble analisou
aspectos da pesquisa comercial do Google entre 2009 a 2015 principalmente aqueles dirigidos
às palavras chaves como “garotas negras”, “negros”, “latinos”, “mulheres”. Após pedido da
Casa Branca de correção em relação aos resultados da front page do Google a empresa lançou
uma nota de retratação que, apesar de admitir a ilegitimidade dos resultados reitera o argumento
de que não é o mecanismo de busca que é o problema, mas sim os usuários dos mecanismos de
busca. Tais afirmativas sugerem que o que é mais popular é simplesmente o que sobe ao topo
da pilha de busca e falham ao não implicar os algoritmos ou mecanismos de pesquisa que levam
certos resultados à front page. Apostar na agência da arquitetura de pesquisa é lançar luz sobre
os muitos fatores que mantêm as idéias sexistas e racistas na primeira página.
O segundo capítulo intitulado Searching for Black Girls9, aborda como os mecanismos
automáticos de pesquisa do Google reforçam estereótipos de uma variedade de identidades
que incluem "meninas negras", "latinas" e "meninas asiáticas". Para Noble (2018), em uma
sociedade em que cada vez mais a Internet se torna fonte única de informação, sobretudo para
os jovens, os resultados e indexações não só conformam o modo como estas identidades são
representadas, mas também impactam na experiência desses sujeitos em sua interação com a
Web. Para a autora, a falta de profissionais de desenvolvimento com um conhecimentos mais
profundos da história de racismo e sexismo no país faz com que os produtos sejam projetados
com uma falta de análise cuidadosa sobre seu impacto potencial em uma gama diversificada de
pessoas. Se os engenheiros de software do Google não são responsáveis pelo design de seus
algoritmos, quem o é? Como mensurar detalhes do que uma busca por “garotas negras”
produziria por muitos anos, apesar de as palavras “pornografia” ou “sexo” não estarem incluídas
na caixa de pesquisa? Se os protocolos de pesquisa do PageRank do Google, já se sabe, nutrem-
se de pegadas digitais dos usuários e interesses de publicidade e marketing, quais outros fatores
que influenciam os resultados de pesquisa? Tais perguntas dirigem responsabilidade às

8
“Uma Sociedade, pesquisando”. (tradução nossa)
9
“Pesquisando por garotas negras” (tradução nossa)
empresas da qualidade da informação oferecida aos usuários. Se a Web torna-se a principal
fonte de informação, qual exatamente as preocupações que deveriam dirigir seus protocolos de
pesquisa? Em que tipo de bibliotecas de dados estes protocolos se baseiam ? Quem pode
interferir nestas bibliotecas ? Qual a legitimidade de o fazê-lo ?
Em seu terceiro capítulo Searching for People and Communities10 a autora examina a
importância dos mecanismos de busca não comerciais e dos portais de informação, analisando
especificamente como um atirador em massa e supremacista branco declarado, Dylann Roof,
supostamente utilizou a pesquisa do Google no desenvolvimento de suas atitudes raciais, que
levaram ao assassinato de nove membros da Igreja Africana AME no verão de 2015. Para
autora é curioso como as chaves de pesquisa “crimes negros contra brancos” , chaves de
pesquisa que Roof supostamente usou, não o levaram às estatísticas do crime do FBI sobre a
violência nos Estados Unidos. Estatísticas confiáveis que apontam como o crime contra os
americanos brancos é em grande parte um fenômeno intra-racial. Como poderia uma pesquisa
sobre a frase “crimes negros contra branco” não levar a especialistas em raça ou universidades,
bibliotecas, livros ou artigos sobre a história da raça nos Estados Unidos e sim à invenção de
mitos supremacistas brancos?. O fornecimento de informações falsas que supostamente são
notícias confiáveis e as conseqüências devastadoras que podem vir desse tipo de informação
conduzida por algoritmos, são um exemplo das implicações da terceirização e privatização de
informações incertas, em uma das experiências mais neoliberais dos nossos tempos: a Internet.
Para a especialista, a informação on-line e seus efeitos prejudiciais devem ser regulados ou
sujeitos a proteções legais.
As experiências históricas também podem ser conformadas pelos mecanismos de busca
que reorganizam a memória coletiva e individual. Se para a história institucional, cujas as
instituições de memória são preservadas, tal tensão ainda permanece a situação se agrava ainda
mais para o caso de indivíduos que têm suas vidas expostas pela memória dos arquivos da Web.
O quarto capítulo do livro de Noble Searching for Protections from Search Engines11 apresenta
as implicações da dificuldade de proteção legal contra os dispositivos de armazenamento na
Web enfrentados por diversos usuários, sobretudo por mulheres, negros e latinos. A autora
baseia sua reflexão em casos recorrentes de demissões de profissionais em decorrência de
conteúdos pessoais encontrados na web, a demissão de mulheres devido às buscas de registros
de conteúdo sexual por parte de colegas ou de alunos é um caso recorrente nos Estados Unidos.

10
“Pesquisando por povos e comunidades” (tradução nossa)
11
“Procurando proteção dos mecanismo de busca” (tradução nossa)
Tais processos amontoam-se nos tribunais na tentativa de apagamento judicial desta
informações on-line. .O futuro da pessoa será sempre determinado pelo seu passado
simplesmente porque a Internet nunca esquece? O direito ao esquecimento, para a autora, é
uma das chaves para o exercício democrático da Web e é um das questões que mobiliza seu
resgate das políticas legais de proteção de conteúdo empregadas nos EUA nos casos de
“revenge porn”12 . Essas leis, para Nobel, negligenciam a manutenção de registros que o
Google faz em indivíduos e organizações que são arquivadas e compartilhadas com terceiros.
Com a decaída de investimento estatal em universidades, escolas, bibliotecas, arquivos e outras
importantes instituições de memória, as empresas privadas estão fornecendo produtos, serviços
e financiamentos para o setor. O impacto desta transferência, sem a devida responsabilidade,
recai sobretudo no público jovens e menos favorecido com menos acesso a informação de
qualidade.
Podemos problematizar como a transferência de informações para o setor privado pode
configurar experiências de mundo para indivíduos e coletivos inteiros. Em seu 5 capítulo “The
Future of Knowledge in the Public”13 a autora aborda a questão do caráter público da
informação, do futuro do conhecimento da esfera pública e chama atenção para as funções que
os profissionais da informação exercem para o desenvolvimento e cultivo de sistemas de
classificação eqüitativos, já que estes são os predecessores dos mecanismos de busca comercial.
Para Noble (2018), metodologias e pressupostos básicos devem guiar o
desenvolvimento das bibliotecas de dados como: “a) a admissão por parte dos designers de que
existe viés nos esquemas de classificação e, de fato, é um resultado inevitável das maneiras
pelas quais eles estão atualmente estruturados; b) reconhecimento de que a adesão a uma
política de neutralidade contribui pouco para a erradicação desse preconceito e, de fato, só
poderá prolongar sua vida; c) construção, coleta e análise de expressões narrativas de
sentimentos, pensamentos e crenças de usuários de esquemas de classificação que se
identificam com determinadas populações racialmente definidas. Enquanto o processo de
indexação da web não é o mesmo que sistemas de classificação como DDC14, a aplicação do
modelo teórico ainda é válida para pensar em conceituar algoritmos e modelos de indexação

12
“Revenge porn” - pronografia de vingança- é um crime cometido principalmente contra mulheres que têm
conteúdos sexuais, previamente gravado expostos na internet sem pŕevia autorização, geralmente por seus ex-
parceiros.
13
“O futuro do conhecimento público” (tradução nossa)
14
A Classificação Decimal de Dewey - Dewey Decimal Classification; DDC ou CDD- também conhecida, é um
sistema de classificação documentária baseados em dez categorias principais de busca, é amplamente utilizada em
sistemas de bibliotecas em todo o mundo.
que poderiam intervir ativamente na normatividade padrão de racismo e sexismo dos recursos
de informação.
Em seu último capítulo “The Future of Information Culture”15 a autora investiga e
propõe a importância da regulamentação dos ambientes de informação, cada vez mais
suscetíveis a mecanismos corporativos. O desconhecimento e a absorção acrítica da agência
dos algoritmos, e sua aliança com grandes corporações, podem ser uma ameaça à democracia
quando as informações de qualidade normalmente fornecidas pelo setor público se movem para
mais espaços corporativos e comerciais e a capacidade do público de garantir proteções que são
necessárias é corroída.

Organizações como a FreePress.org estão mostrando como a ascensão de publicidade e

interesses comerciais faliram a qualidade e o conteúdo do jornalismo, até então considerado um
componente fundamental e necessário de uma sociedade democrática. Os estereótipos da mídia,
que incluem resultados nos mecanismos de busca, não apenas mascaram o acesso desigual à
vida social, política e econômica nos Estados Unidos, como mantém a discriminação por raça,
gênero e sexualidade. Os mecanismos de busca comerciais, a fim de se livrar de tais
representações racistas tradicionais, sugerem fazer algo como um "aviso" e, no máximo,
produzir uma "correção técnica" perante à proliferação de conteúdos racistas ou sexistas. Tais
“correções” entretanto, não implicam a responsabilidade aos desenvolvedores pelos parâmetros
contidos em suas arquiteturas. Dadas as controvérsias sobre representações comerciais,
culturais e étnicas de informações no PageRank, a pergunta que a Comissão Federal de
Comércio pode fazer hoje é se mecanismos de busca como o Google devem ser regulados sobre
os valores que eles atribuem a mecanismos raciais, de gênero e identidades sexuais, como
evidenciado pelos tipos de resultados que são recuperados. Apesar da resistência a esse tipo de
intervenção no corpo político eleitoral nacional, a sociedade também está caminhando para uma
maior aceitação de processos tecnológicos aparentemente benignos e descontextualizados,
como se esses projetos fossem totalmente apolíticos e sem consequências . Esforços coletivos
para regular ou fornecer redes de segurança social por meio de intervenção pública ou
governamental são rejeitados. Noble (2018) examina a necessária regulamentação dos
ambientes de informação, particularmente porque são cada vez mais controlados por
corporações.

15
“O futuro da Cultura informacional” (tradução nossa).
 “Algoritmos da opressão” desperta a atenção do leitor para o impacto dos algoritmos em
como as pessoas são representadas em transações comerciais aparentemente benignas. O livro
fecha com um apelo para reconhecer a importância de como os algoritmos estão mudando as
relações sociais de muitas maneiras e para a necessidade de regulação com políticas públicas
mais importantes do que as adotadas atualmente. A política eleitoral e os mercados financeiros
são apenas dois desses muitos projetos de consolidação de riqueza institucional que são
fortemente influenciados por algoritmos e inteligência artificial. Isso significa que devemos
observar como a terceirização de práticas de informação do setor público facilita a privatização
do que pensávamos anteriormente como domínio público e como empresas e governos
controlados por empresas subvertem nossa capacidade de intervir nessas práticas. Temos que
nos perguntar o que é perdido, quem é prejudicado e o que deve ser esquecido com a adoção da
inteligência artificial na tomada de decisões. Não há benefício social coletivo para organizar
recursos de informação na web por meio de processos que intensifiquem ainda mais a
desigualdade e a marginalização.
Referências:

DANAHER, J. The Threat of Algocracy: Reality, Resistance and Accommodation. Philosophy

and Technology, v. 29, n. 3, p. 245–268, 2016.

LEMOS, André & MARQUES, Daniel. Questões sobre Privacidade na Internet das Coisas . I
Congresso INCT.DD. Universidade Federal da Bahia, Salvador, 2018.

Noble, Safiya Umoja, author. Algorithms of oppression : how search engines reinforce racism
. New York University Press, 2018. ISBN: 978-1-4798-3364-1

PONCIANO, L. et al. Designing for Pragmatists and Fundamentalists: Privacy Concerns and
Attitudes on the Internet of Things. 19 ago. 2017.