O discurso de ódio é algo que vem se tornando cada vez mais comum de ser presenciado, tanto fisicamente, quanto virtualmente. O termo “discurso de ódio” é originário do termo em inglês hate speech, e pode ser definido como um conjunto de palavras que intimidam, assediam ou insultam um individuo com base na sua cor, raça, sexo ou religião, e que tem a capacidade de instigar violência e ódio contra tais indivíduos (MOURA, 2016). Esse discurso dá a ideia de que o indivíduo, por causa de suas particularidades e diferenças, deve ser inferiorizado ou menosprezado. Essa externalização do ódio pode ser, e na maioria das vezes é, facilmente identificada, pois são feitas explicitamente, porém em alguns casos pode ser feita subliminarmente, que pode ser difícil de identificar.

O grande avanço tecnológico nos últimos anos fez com que boa parte da população ficasse conectada à internet. Segundo um estudo realizado pela Statista (2022), banco internacional de estatísticas, o Brasil possui cerca 159 milhões de pessoas utilizando as mídias sociais diariamente. Esse número, segundo pesquisa realizada pela Cuponation (2021), faz com que o Brasil fique no top 5 das nações que mais utilizam as mídias sociais.  Com a grande quantidade de pessoas conectadas às redes sociais, a interação entre elas fica cada vez mais fácil e rápida. Essas interações, com a falsa sensação de que tudo é permitido e anônimo, faz com que pessoas com más intenções expressem o seu ódio, que por muitas vezes repletos de preconceitos, a outras pessoas que não fazem parte do seu grupo social.

Nesse contexto, a Inteligência Artificial (IA) tem sido usada nas redes para a criação de bolhas que propiciam o engajamento, mas, em contrapartida, favorece a disseminação de discursos de ódio. Em uma entrevista realizada para a revista MIT Technology Review, Frances Haugen, ex-gerente de produto do Facebook, afirma que o algoritmo da rede social e a forma de negócios da empresa fazem com que a prioridade seja o lucro ao invés da segurança das pessoas. Os algoritmos do Facebook são treinados para identificarem qual postagem causaria mais engajamento para determinado usuário. Segundo Haugen, essa classificação baseada em engajamento é perigosa e sem integridade, pois esse algoritmo também favorece a desinformação e o extremismo.

O algoritmo do Facebook na verdade é composto por vários algoritmos juntos, como algoritmos que classificam as preferências de cada usuário, e algoritmos que detectam conteúdos ruins como nudez ou spam, esses algoritmos são chamados de algoritmos de aprendizado de máquina. Esses algoritmos são treinados e baseados de acordo com as interações do usuário, que conseguem identificar por exemplo se você gosta de cachorros fofos passando pelo seu feed de acordo com os seus clicks e comentários em publicações. Essas informações podem ser ainda mais refinadas de acordo com o sexo e idade do usuário. Isso faz com que o engajamento da plataforma seja muito mais poderoso, pois faz com que os usuários passem muito mais tempo na rede social. E essa recomendação não se limita apenas a coisas boas, segundo uma publicação de Horwitz e Seetharaman (2020) no Wall Street Journal, 64% dos grupos extremistas tiveram suas assinaturas baseadas em recomendações dos modelos de “Grupos nos quais você deve participar” e “Descubra”, e isso mostra o quanto podem ser prejudiciais esses algoritmos.

Segundo Nandi (2018), a inteligência artificial (IA) pode também ser um grande aliado no combate ao discurso de ódio presentes nas redes sociais, porém ainda existem problemas que fazem com que isso não seja totalmente possível. A necessidade de ter uma supervisão humana faz com que a avaliação do discurso de ódio seja mais demorada ou até mesmo ineficaz. Outro problema que pode ser encontrado é que a IA consegue identificar as frases, porém tem dificuldade de entendê-las.

Uma abordagem diferente da inteligência artificial pode ser usada para ajudar no combate ao discurso de ódio presente nas redes sociais. Segundo o artigo Can Artificial Intelligence Predict The Spread Of Online Hate Speech? (2019), publicado pela Forbes, anteriormente os algoritmos de inteligência artificial analisavam o conceito em torno das publicações para decidir se as publicações eram ou não consideradas hostis. Já nessa nova abordagem que foi coordenada pela IBM, a ideia não era decidir se a postagem é ou não de ódio, e sim onde e como se inicia esse discurso e como isso se desdobra para o mundo real.

A análise consistiu em definir uma lista de palavras que fazem parte de discursos de ódio, baseados em terrorismo islâmico e violência anti-islâmica, com dados de tweets e publicações no Reddit feitas por cerca de 15 milhões de usuários. Depois que os dados foram analisados e classificados pela inteligência artificial, foi feito uma linha do tempo, e constatou que após incidentes de violência anti-islâmica, os discursos de ódios nas redes sociais aumentaram consideravelmente, e que esses discursos não se concentram apenas aos muçulmanos mas a todos os grupos que são minorias.

Considerando todo esse contexto, podemos concluir que a tecnologia não é neutra, mas tão pouco é boa ou má. Na verdade seu impacto se deve à forma como as pessoas a utilizam. Assim, como há algoritmos de IA sendo usados para criar bolhas de ódio, há, também, cientistas buscando na IA a detecção de onde e como se originam esses discursos. Talvez, em um dado momento consigamos combater e punir essa disseminação de ódio, muita coisa já começou nesse aspecto, muitos crimes já estão sendo trazidos à tona.

Referências:

CAN ARTIFICIAL INTELLIGENCE PREDICT THE SPREAD OF ONLINE HATE SPEECH? [S. L.]: Forbes, 30 ago. 2019. Disponível em: https://www.forbes.com/sites/bernardmarr/2019/08/30/can-artificial-intelligence-predict-the-spread-of-online-hate-speech/?sh=351757277167. Acesso em: 11 nov. 2022.

CASEIRO, Sofia. O impacto da inteligência artificial na democracia. In: IV CONGRESSO INTERNACIONAL DE DIREITOS HUMANOS DE COIMBRA: UMA VISÃO TRANSDISCIPLINAR. p. 135.

CUPONATION. USUÁRIOS REDES SOCIAIS: pesquisa aponta crescimento de usuários das redes por país. 2021. Disponível em: https://www.cuponation.com.br/insights/redessociais-2021a2026. Acesso em: 11 nov. 2022.

HORWITZ, Jeff; SEETHARAMAN, Deepa. Facebook Executives Shut Down Efforts to Make the Site Less Divisive: the social-media giant internally studied how it polarizes users, then largely shelved the research. Wall Street Journal. New York, p. 1-1. 20 maio 2020. Disponível em: https://www.wsj.com/articles/facebook-knows-it-encourages-division-top-executives-nixed-solutions-11590507499. Acesso em: 11 nov. 2022.

MIT TECHNOLOGY REVIEW. [S. L.]: Mit, 05 out. 2018. Disponível em: https://www.technologyreview.com/2021/10/05/1036519/facebook-whistleblower-frances-haugen-algorithms/. Acesso em: 08 dez. 2022.

MOURA, Marco Aurelio. O discurso do ódio em redes sociais. Lura Editorial (Lura Editoração Eletrônica LTDA-ME), 2016.

NANDI, José Adelmo Becker. O COMBATE AO DISCURSO DE ÓDIO NAS REDES SOCIAIS. 2018. 58 f. TCC (Graduação) – Curso de Tecnologias da Informação e Comunicação, Universidade Federal de Santa Catarina, Araranguá, 2018.

STATISTA. Internet usage in Brazil – Statistics & Facts. 2022. Disponível em: https://www.statista.com/topics/2045/internet-usage-in-brazil/#topicOverview. Acesso em: 11 nov. 2022.

STEIN, Marluci; NODARI, Cristine Hermann; SALVAGNI, Julice. Disseminação do ódio nas mídias sociais: análise da atuação do social media. Interações (Campo Grande), v. 19, p. 43-59, 2018.

Observação: artigo desenvolvido na disciplina “Tecnologias Criativas” do Programa Extensionista Interdisciplinar “Tecnologias para a Vida” dos cursos de Ciência da Computação, Sistemas de Informação e Engenharia de Software da Ulbra Palmas.