NEV na mídia | Folha de S. Paulo: “Função do algoritmo é discriminar, cabe aos humanos debate moral, diz socióloga”

13/05/2022

Entrevista da pesquisadora Letícia Simões Gomes para a editoria “Tec” (Mercado) no primeiro caderno do jornal Folha de S.Paulo, publicada em 13 de maio de 2022.

Link original (para assinantes do jornal Folha de S.Paulo): https://www1.folha.uol.com.br/tec/2022/05/funcao-do-algoritmo-e-discriminar-cabe-aos-humanos-debate-moral-diz-sociologa.shtml

Leia em PDF:


Para pesquisadora de políticas públicas de segurança, moderação humana é indispensável

12.mai.2022 às 23h15

SÃO PAULO
Alexandre Aragão

Como tudo que resulta da criação humana, códigos também embutem a visão de mundo de seus autores. É dessa premissa que resulta o conceito de viés algorítmico, quando uma tecnologia pretensamente neutra produz ou ajuda a reproduzir desigualdades.

A pesquisadora Letícia Simões Gomes, doutoranda em sociologia pela USP e pesquisadora do Núcleo de Estudos da Violência, analisa os efeitos disso na área da segurança pública.

“Algoritmos discriminam por excelência —essa é a função dele. Ao categorizar, ele discrimina no sentido literal do verbo, de separar uma coisa da outra. A questão é que existem formas de categorizar que são moralmente condenáveis e outras não”, afirma.

O foco da pesquisadora é o uso de tecnologia pelas polícias, não só para o patrulhamento, mas no estabelecimento de prioridades de ação e na tomada de decisão dos policiais. “Por que estamos tão preocupados, por exemplo, com prever onde o próximo roubo irá acontecer e menos preocupados com prevenir a próxima chacina?”, exemplifica.

LETÍCIA SIMÕES GOMES
Pesquisadora visitante no Institute for Critical Race and Ethnic Studies da Saint John’s University, em Nova York, investigando tecnologias de policiamento em contextos de desigualdade racial. Pesquisadora do NEV (Núcleo de Estudos da Violência) e doutoranda em sociologia pela USP. Mestra em sociologia e graduada em relações internacionais pela USP

A maioria dos algoritmos que usamos no dia a dia foi desenvolvida em empresas comandadas por pessoas brancas e que moram em países desenvolvidos. Qual é a relevância disso?

Quando pensamos em tecnologia, é importante não pensar como algo dissociado da sociedade, mas como produzido por pessoas, que estão posicionadas em determinado lugar, que são sujeitos, pessoas de carne e osso que têm desejos, opiniões políticas.

Porém, também não podemos pensar só nessas pessoas individualmente, pensar que elas são os únicos vetores do mal-estar no mundo. Quando falamos sobre viés algorítmico, por exemplo, é comum procurarmos quem é o culpado e sua intenção. É o programador? É o financiador da plataforma? São os usuários? É interessante pensar em termos mais abrangentes: como essas pessoas, instituições, empresas, culturas corporativas estão conectadas de forma a produzir, por exemplo, desigualdades?

Essas pessoas estão situadas em determinados estratos da sociedade porque a sociedade se organiza de uma determinada forma. Isso molda como essas pessoas veem o mundo e lhes apresenta um leque finito de possibilidades.

O que é viés algorítmico? Quando falamos sobre viés algorítmico, existe um aspecto mais técnico e estatístico, quando por exemplo há uma população da qual é retirada uma amostra que não é representativa do todo. Isso pode vir do modo como os dados são coletados, de como eles são tratados, quais técnicas estatísticas são empregadas. Se há uma distorção entre a população e a amostra, temos uma amostra enviesada. Essas escolhas são todas realizadas por pessoas, quando programam o algoritmo.

Mas também existe um aspecto normativo, que associa viés algorítmico com discriminação e reprodução de desigualdades, seja racial, de gênero ou de qualquer outra natureza. Quando pensamos em formas de inteligência artificial, elas se baseiam em taxonomia, em classificações. Elas processam dados com base nessas classificações. É uma questão ontológica: algoritmos servem para classificar e ordenar.

Algoritmos discriminam por excelência —essa é a função dele. Ao categorizar, ele discrimina no sentido literal do verbo, de separar uma coisa da outra. A questão é que existem formas de categorizar que são moralmente condenáveis e outras não.

Discriminação racial e discriminação de pessoas trans, por exemplo, são formas moralmente condenáveis de discriminação. Parte importante da literatura acadêmica aborda a questão de quais são os padrões sendo buscados e por que determinada ferramenta está sendo usada.

Algumas pesquisas propõem um viés algorítmico positivo, com técnicas estatísticas que buscam corrigir padrões indesejáveis, como a discriminação racial, para chegar em padrões socialmente desejáveis ou para anular o enviesamento. Até que ponto isso é factível é algo a ser discutido. Outras pesquisas questionam a própria escolha das variáveis e da enunciação do problema a ser conhecido por meio da inteligência artificial: por que estamos tão preocupados, por exemplo, com prever onde o próximo roubo irá acontecer e menos preocupados com prevenir a próxima chacina?

Quando pensamos nos usos de algoritmos, temos que pensar nos pressupostos que orientam o desenvolvimento deles, em quem está construindo esse algoritmo, qual será a aplicação e, por fim, se está funcionando como o
planejado.

É possível corrigir algoritmos que apresentem vieses negativos? Algumas das principais soluções debatidas, como mais transparência e auditoria, significam no fundo a recolocação de moderação humana. O ser humano ainda tem que estar lá, porque ética é um debate que a inteligência artificial não consegue embutir. Dizer que a inteligência artificial dispensa humanos é um mito: humanos são necessários para desenvolver, treinar, atualizar, implementar, avaliar, entre outros. O termo para isso em inglês é “keeping humans in the loop” [“mantenha os humanos no ciclo”].

Uma das coisas em que tenho pensado bastante é que existe um limite até o ponto em que se debruçar sobre a plataforma é produtivo. A plataforma e o sistema são sempre parte de um todo maior. Muitas soluções que pesquisadores discutem na tentativa de responder ao perigo de reprodução de desigualdades pelo viés algorítmico são sociais, não necessariamente centradas
nas plataformas.

A tecnologia é um capítulo de um problema mais amplo, você não consegue resolver o problema do viés algorítmico sem tratar de vieses e desigualdades na sociedade.