Las redes sociales se han consolidado como espacios fundamentales para el debate público y la conversación social. Millones de personas las utilizan cada día para informarse, compartir opiniones e interactuar con otros usuarios, lo que ha convertido la moderación de contenidos en uno de los grandes retos tecnológicos de la actualidad. En este contexto, la proliferación de mensajes de odio supone uno de los principales desafíos para las plataformas digitales.
Detectar automáticamente el discurso de odio no es una tarea sencilla. Los sistemas deben enfrentarse, por un lado, al desequilibrio entre las distintas categorías de mensajes y, por otro, a la constante evolución del lenguaje, ya que los insultos y las referencias a determinados colectivos cambian con el tiempo, entre comunidades e incluso según el idioma. Para responder a estos desafíos, un estudio de la Universidad de La Laguna propone una alternativa más eficiente que los métodos actuales, capaz de identificar este tipo de contenidos sin depender de grandes modelos de lenguaje (LLM, por sus siglas en inglés) en tiempo real.
El artículo publicado en Online Social Networks and Media, está liderado por Marcos Rodríguez Vega, investigador del departamento de Ingeniería Informática y de Sistemas de la Universidad de La Laguna. En la investigación también participan Pino Caballero Gil, catedrática del mismo departamento, y Carlos Rosa Remedios, del área de Arquitectura y Tecnología de Computadores de la ULL. El trabajo propone separar el léxico más cambiante del proceso de aprendizaje, con el fin de facilitar la detección de nuevas formas emergentes de discurso de odio.
Para lograrlo, los investigadores combinan dos estrategias complementarias. La primera, denominada enmascaramiento asistido por LLM, consiste en utilizar un modelo de lenguaje para sustituir insultos y referencias a determinados colectivos por etiquetas neutras, de modo que el sistema aprenda a identificar el contexto del mensaje sin depender de palabras concretas y, además, preserve la privacidad de las personas. La segunda estrategia, denominada Telephone Game Augmentation (TGA), utiliza ese mismo modelo para generar distintas versiones de un mismo mensaje con el mismo significado, aumentando así la variedad de ejemplos disponibles para entrenar el sistema y mejorar su capacidad para detectar los tipos de discurso de odio menos frecuentes.
Los resultados del estudio ponen de manifiesto que el enfoque híbrido propuesto constituye una alternativa eficaz para la moderación automática de contenidos, ya que combina la potencia de los grandes modelos de lenguaje (LLM) durante la fase de preparación de los datos, con la rapidez y el bajo coste de los clasificadores ligeros durante su aplicación. Es decir, que el enmascaramiento asistido por LLM mejora la capacidad del sistema para adaptarse a nuevas expresiones de discurso de odio, mientras que TGA amplía la diversidad de los datos de entrenamiento y refuerza especialmente la detección de las categorías menos representadas.
Si bien el método obtiene buenos resultados, los investigadores subrayan que aún existen desafíos por resolver. La eficacia del sistema depende, en gran medida, de la capacidad del modelo de lenguaje para reconocer correctamente las expresiones ofensivas y sigue encontrando dificultades ante mensajes más complejos, como aquellos que emplean sarcasmo o referencias implícitas. Por este motivo, los autores consideran que la tecnología debe utilizarse como apoyo a la labor de moderación, siempre bajo supervisión humana, y no como un sistema capaz de tomar decisiones de forma completamente autónoma.
En definitiva, el estudio demuestra que es posible desarrollar sistemas de moderación más robustos, rápidos y escalables, sin necesidad de recurrir continuamente a grandes modelos de lenguaje durante la fase de inferencia. Además, la metodología puede aplicarse a diferentes conjuntos de datos y adaptarse a nuevos idiomas o formas emergentes de discurso de odio, así como servir como base para futuras investigaciones que incorporen contenidos multimodales, modelos de lenguaje más compactos y nuevas estrategias de aprendizaje automático.
