Sabia que alguns estão utilizando ferramentas de IA para criar músicas de ódio? Pois é, atores mal-intencionados estão aproveitando essas tecnologias para gerar músicas homofóbicas, racistas e de propaganda. De acordo com a ActiveFence, uma empresa especializada em gerir a segurança e a confiança em plataformas online, houve um aumento nas conversas dentro de comunidades relacionadas ao discurso de ódio desde março. Essas discussões se concentram em como manipular ferramentas de criação musical com IA para escrever músicas ofensivas dirigidas a grupos minoritários.
“”Embora as músicas de ódio não sejam novas, a preocupação atual é que, com a facilidade das ferramentas de geração musical gratuitas, estas se produzirão em massa por pessoas sem meios nem conhecimentos prévios.”
Os pesquisadores da ActiveFence informam que as músicas geradas com IA e compartilhadas nesses fóruns e quadros de discussão buscam incitar ao ódio contra grupos étnicos, de gênero, raciais e religiosos. Além disso, algumas músicas celebram atos de martírio, automutilação e terrorismo. Embora as músicas odiosas e prejudiciais não sejam um fenômeno novo, a preocupação é que agora, com a facilidade de uso de ferramentas de geração musical gratuitas, estas se produzirão em massa por pessoas que antes não tinham os meios nem os conhecimentos para fazê-lo. Assim como os geradores de imagens, voz, vídeo e texto aceleraram a disseminação de desinformação e discurso de ódio, a música gerada por IA está seguindo um caminho similar.
Um porta-voz da ActiveFence comentou que os atores de ameaças estão identificando rapidamente vulnerabilidades específicas para abusar dessas plataformas e gerar conteúdo malicioso. Exemplos disso incluem o uso de grafias fonéticas de minorias e termos ofensivos para burlar os filtros de conteúdo das plataformas.
Impacto e Soluções Propostas
As músicas, ao contrário de outros tipos de conteúdo como o texto, têm um poder emocional que as torna especialmente potentes para os grupos de ódio e a guerra política. ActiveFence destaca que as músicas podem reforçar a solidariedade do grupo, doutrinar membros periféricos e também serem usadas para impactar e ofender usuários de internet não afiliados. Um exemplo histórico que a empresa destaca é o movimento “Rock Against Communism” no Reino Unido durante os anos setenta e oitenta, que deu origem a subgêneros de música de ódio.
As plataformas de geração de música como Udio e Suno permitem aos usuários adicionar letras personalizadas às músicas geradas. Embora existam filtros para bloquear insultos e termos pejorativos, os usuários encontraram maneiras de burlar esses filtros. Ao utilizar grafias alternativas e espaçamentos modificados, conseguem que o conteúdo ofensivo passe despercebido.
Diante dessa situação, a ActiveFence chama as plataformas de geração de música a implementar ferramentas de prevenção mais robustas e a realizar avaliações de segurança mais extensas. Sugerem o uso de equipes de “red teaming” (grupos que se especializam em realizar testes de segurança ofensivos) para simular o comportamento dos atores de ameaças e assim descobrir vulnerabilidades. Além disso, propõem uma melhor moderação do conteúdo, tanto na entrada quanto na saída, para bloquear o conteúdo ofensivo antes que chegue ao usuário final. No entanto, reconhecem que essas soluções poderiam ser temporárias, já que os usuários continuarão encontrando novas maneiras de iludir a moderação.
O risco de que a música gerada por IA se difunda amplamente é alto, seguindo o padrão de outros meios gerados por IA. Exemplos recentes incluem clipes manipulados de figuras históricas que se viralizam rapidamente nas redes sociais. A ONU também expressou preocupações sobre como o conteúdo racista, antissemita, islamofóbico e xenófobo poderia ser potencializado pela IA generativa, sublinhando a necessidade urgente de melhorar as medidas de segurança e moderação nessas plataformas.