¿Sabías que algunos están utilizando herramientas de IA para crear canciones de odio? Pues sí, actores malintencionados están aprovechando estas tecnologías para generar canciones homofóbicas, racistas y de propaganda. De acuerdo con ActiveFence, una empresa especializada en gestionar la seguridad y la confianza en plataformas en línea, ha habido un aumento en las conversaciones dentro de comunidades relacionadas con el discurso de odio desde marzo. Estas discusiones se centran en cómo manipular herramientas de creación musical con IA para escribir canciones ofensivas dirigidas a grupos minoritarios.
«Aunque las canciones odiosas no son nuevas, la preocupación actual es que, con la facilidad de las herramientas de generación musical gratuitas, estas se producirán en masa por personas sin medios ni conocimientos previos.»
Los investigadores de ActiveFence informan que las canciones generadas con IA y compartidas en estos foros y tableros de discusión buscan incitar al odio contra grupos étnicos, de género, raciales y religiosos. Además, algunas canciones celebran actos de martirio, autolesiones y terrorismo. Aunque las canciones odiosas y dañinas no son un fenómeno nuevo, la preocupación es que ahora, con la facilidad de uso de herramientas de generación musical gratuitas, estas se producirán en masa por personas que antes no tenían los medios ni los conocimientos para hacerlo. Así como los generadores de imágenes, voz, video y texto han acelerado la difusión de desinformación y discurso de odio, la música generada por IA está siguiendo un camino similar.
Un portavoz de ActiveFence comentó que los actores de amenazas están identificando rápidamente vulnerabilidades específicas para abusar de estas plataformas y generar contenido malicioso. Ejemplos de esto incluyen el uso de ortografías fonéticas de minorías y términos ofensivos para burlar los filtros de contenido de las plataformas.
Impacto y Soluciones Propuestas
Las canciones, a diferencia de otros tipos de contenido como el texto, tienen un poder emocional que las hace especialmente potentes para los grupos de odio y la guerra política. ActiveFence subraya que las canciones pueden reforzar la solidaridad de grupo, adoctrinar a miembros periféricos y también ser usadas para impactar y ofender a los usuarios de internet no afiliados. Un ejemplo histórico que destaca la empresa es el movimiento «Rock Against Communism» en el Reino Unido durante los años setenta y ochenta, que dio origen a subgéneros de música de odio.
Las plataformas de generación de música como Udio y Suno permiten a los usuarios añadir letras personalizadas a las canciones generadas. Aunque existen filtros para bloquear insultos y términos peyorativos, los usuarios han encontrado maneras de burlar estos filtros. Al utilizar ortografías alternativas y espaciados modificados, logran que el contenido ofensivo pase desapercibido.
Ante esta situación, ActiveFence llama a las plataformas de generación de música a implementar herramientas de prevención más robustas y a realizar evaluaciones de seguridad más extensas. Sugieren el uso de equipos de «red teaming» (grupos que se especializan en realizar pruebas de seguridad ofensivas) para simular el comportamiento de los actores de amenazas y así descubrir vulnerabilidades. Además, proponen una mejor moderación del contenido, tanto en la entrada como en la salida, para bloquear el contenido ofensivo antes de que llegue al usuario final. Sin embargo, reconocen que estas soluciones podrían ser temporales, ya que los usuarios seguirán encontrando nuevas maneras de eludir la moderación.
El riesgo de que la música generada por IA se difunda ampliamente es alto, siguiendo el patrón de otros medios generados por IA. Ejemplos recientes incluyen clips manipulados de figuras históricas que se viralizan rápidamente en las redes sociales. La ONU también ha expresado preocupaciones sobre cómo el contenido racista, antisemita, islamófobo y xenófobo podría ser potenciado por la IA generativa, subrayando la necesidad urgente de mejorar las medidas de seguridad y moderación en estas plataformas.