Uma pessoa negra que é automaticamente reconhecida como gorila em uma
plataforma digital para fotos. Em uma mídia social, o recorte automático de uma
foto fora do padrão de visualização privilegia rostos de pessoas brancas. Em
outra rede, uma mulher negra tem seu alcance de postagens aumentado em 6.000%
ao publicar mulheres brancas.
Esses exemplos não
são pontuais e vêm sendo alvo de críticas e reflexões de usuários da internet e
pesquisadores. Como modelos matemáticos, os chamados algoritmos, poderiam ser
racistas? O pesquisador Tarcizio Silva, doutorando em Ciências Humanas e Sociais
na Universidade Federal do ABC (UFABC), explica que é necessário se perguntar
como esses sistemas são usados de forma a permitir “a manutenção,
intensificação e ocultação do racismo estrutural”. Silva desenvolveu uma linha do tempo que demonstra casos, dados e
reações.
“A solução não está
somente na transparência de códigos, mas sim na apropriação e crítica social da
tecnologia”, diz. Como os sistemas são alimentados, quais dados são aceitos,
quem cria as tecnologias e quem é incluído ou excluído na multiplicação de
dispositivos automatizados são algumas das questões levantadas por Silva. “O
racismo algorítmico é uma tecnologização e automatização do racismo
estrutural”, avalia.
Idealizadores
do blog Tecnocríticas, Renata Gusmão, Gabriela
Guerra e Felipe Martins atuam na área de tecnologia da informação (TI) e usam a
internet para discutir, entre outros temas, a ausência de neutralidade da
tecnologia. “Quem pensa esses algoritmos são pessoas dentro de uma sociedade
machista, racista, desigual. Logo a lógica por trás de uma solução carrega
esses mesmos valores. Não estão considerando a diversidade dos usuários finais
e acabam reforçando desigualdades e discriminações do mundo ‘real’.
#AlgoritmoRacista
Um dos casos de maior
repercussão recentemente ocorreu no Twitter, com o recorte automático de fotos
que privilegiavam rostos brancos. Milhares de usuários usaram a hashtag
#AlgoritmoRacista, na própria rede, para questionar a automatização que expunha
o racismo. Silva explica que essa descoberta mostrou o uso de algoritmos
baseados em redes neurais, cuja técnica encontra regiões de interesse sobre a
imagem a partir de dados levantados por rastreamento de olhar.
“Um acúmulo de dados
e pesquisas enviesadas que privilegiavam a estética branca resultou no sistema
que o Twitter usava e não conseguiu sequer explicar corretamente onde estava a
origem da questão”, disse o pesquisador. Na época, a plataforma se comprometeu a revisar o mecanismo.
“Devíamos ter feito um trabalho melhor ao prever essa possibilidade quando
estávamos projetando e construindo este produto”.
“É assim que o
racismo algorítmico funciona, através do acúmulo de uso de tecnologias pouco
explicáveis e pouco ajustadas que a princípio otimizam algum aspecto técnico,
mas na verdade mutilam a experiência dos usuários”, acrescenta o pesquisador.
Reconhecimento
facial
Fora das redes
sociais, os danos do racismo algorítmico podem ser ainda maiores. Dados
levantados pela Rede de Observatórios de Segurança mostram
que, de março a outubro de 2019, 151 pessoas foram presas a partir da
tecnologia e reconhecimento facial em quatro estados (Bahia, Rio de Janeiro,
Santa Catarina e Paraíba). Nos registros que havia informações sobre raça e
cor, ou quando havia imagens das pessoas abordadas (42 casos), observou-se que
90,5% eram negras. “As principais motivações para as abordagens e prisões foram
tráfico de drogas e roubo”, aponta o relatório.
Silva lembra que, em
países da Europa e regiões dos Estados Unidos, essa tecnologia tem sido alvo de
questionamentos ou banimento. “Os motivos são vários, de imprecisão, a baixo
custo-benefício ou a promoção de vigilantismo e violência estatal”, explica. Ele
aponta que o sistema é impreciso para identificar faces de minorias. “Mas não
importa um futuro onde o reconhecimento facial seja mais preciso: é uma
tecnologia necessariamente racista em países onde seletividade penal e
encarceramento em massa são o modus operandi do Estado”.
Saídas
Para os integrantes
do Tecnocríticas, combater essa expressão discriminatória dos algoritmos passa
por garantir mais diversidade na área de TI. “Seja garantindo que times
responsáveis por pensar essas soluções tenham diversidade racial e de gênero,
por exemplo, seja treinando robôs com dados diversos. Uma outra questão, também
muito importante, é que a indústria de tecnologia responde às dinâmicas
econômicas, então nem sempre essas soluções são as que realmente resolvem os problemas
das pessoas, mas sim, as que geram lucro”, avaliam.
Silva acredita que o
primeiro passo para a proteção é a “superação de qualquer presunção de
neutralidade das tecnologias”. Ele aponta que tecnologias digitais emergentes,
como o reconhecimento facial para fins policiais ou criação de escore de risco
para planos privados de saúde já “nascem como derrotas humanitárias”. “Se
efetivamente nos comprometermos com princípios do valor da vida humana,
chegaremos à conclusão de que algumas tecnologias algorítmicas não deveriam
sequer existir. ”
