Emojis estão a dificultar a deteção de discurso de ódio online

Os emojis surgiram com o digital e são presença assídua nas redes sociais. Afinal, são uma forma de aproximar as pessoas enquanto comunicam, transmitindo, por exemplo, estados de espírito e reações. Aparentemente, estes pequenos ícones estão a tornar mais difícil a deteção de discurso de ódio online.

As publicações abusivas são menos suscetíveis de serem identificadas se incluírem emojis.

As gigantes da tecnologia e das redes sociais têm percorrido um longo caminho no controlo dos seus utilizadores. Ou seja, além da mitigação da desinformação, também têm trabalhado no sentido de eliminar o discurso de ódio que, apesar dos esforços, prevalece.

Agora, o Oxford Internet Institute concluiu, através de uma investigação, que alguns algoritmos não são tão eficazes quanto o esperado quando as publicações incluem emojis. Ou seja, as publicações online abusivas podem passar despercebidas, caso contenham esses ícones. Além disso, outras mais aceitáveis são erradamente consideradas odiosas.

Após a final do Euro 2020, da qual Inglaterra saiu derrotada, Marcus Rashford, Bukayo Saka e Jadon Sancho foram inundados de comentários racistas e ofensivos, sendo uma generosa parte deles ilustrados com emojis. Aliás, recorde-se que o próprio Instagram reconheceu o erro de moderação desses comentários.

Essa moderação insuficiente aconteceu, conforme descobriu o Oxford Internet Institute, pela presença dos ditos emojis. Isto, porque a maioria dos sistemas utilizados, atualmente, para preparar os algoritmos recorre a grandes bases de dados de texto, que raramente incluem emojis. Portanto, ‘na hora H’, o algoritmo não deteta os conteúdos como errados.

Base de dados de Oxford treinada para detetar os emojis

Para ajudar a resolver o problema, os investigadores do Oxford Internet Institute criaram uma base de dados com cerca de 4.000 frases, incluindo emojis em contexto ofensivo. Esta foi utilizada para treinar um modelo de Inteligência Artificial (IA) a compreender as mensagens abusivas, bem como aquelas que não o eram. Além disso, treinaram o modelo para entender o contexto das publicações. Ou seja, mesmo que o emoji não seja em si ofensivo, perceber se, com o texto que o segue, pode ser entendido como tal.

Os investigadores testaram o modelo em relação à raça, género, identidade de género, sexualidade, religião e deficiência.

Os falsos positivos arriscam-se a silenciar as vozes dos grupos minoritários.

Disse Hannah Rose Kirk, autora principal da investigação de Oxford.

Apesar do sucesso da investigação e da base de dados desenvolvida pelos investigadores de Oxford – que está a ser partilhada, para que outras empresas a utilizem para melhorar os seus algoritmos – a tecnologia não é totalmente eficaz. Além da evolução da linguagem, que torna os insultos imprevisíveis, o contexto nem sempre é claro para um sistema de IA.