«El control del odio en redes sociales no evitó el primer golpe en Torre Pacheco, pero sí un altercado mucho mayor»
El nuevo director del Observatorio contra el Racismo y la Xenofobia en España analiza el auge del discurso delodio en redes sociales y explica las herramientas con las que el Ministerio de Inclusión trata de ponerle freno a través de un sistema de vigilancia de tecnología avanzada
Solo el 35% de los mensajes de odio reportados por el Gobierno a X, TikTok o Meta fue retirado
Para entender el germen de los ataques racistas ocurridos en julio en Torre Pacheco, había que dirigir la mirada a las redes sociales. La “cacería” estuvo marcada por una oleada de bulos y mensajes coordinados que llegaron a quintuplicar el volumen habitual de contenido racista en redes sociales. Los hechos evidenciaron la importancia de la monitorización del discurso xenófobo en redes sociales, una tarea realizada por el Observatorio Español del Racismo y la Xenofobia (OBERAXE) a través de un sistema que utiliza la inteligencia artificial para identificar y notificar a las plataformas los mensajes con este tipo de contenido.
El director del OBERAXE, Tomás Fernández Villazala, recibe a elDiario.es tres meses después de su nombramiento, en un momento clave para la lucha contra el discurso del odio. El responsable del organismo, dependiente del Ministerio de Migraciones, pasó antes por la Oficina Nacional de Lucha Contra los Delitos de Odio (ONDODE) del Ministerio del Interior, donde participó en su puesta en marcha en 2017. Actualmente desempeñaba funciones de dirección técnica, coordinación interinstitucional y supervisión de actividades formativas, preventivas y de respuesta frente a los delitos de odio, además de liderar proyectos de sensibilización, planes de acción y relaciones con entidades como la Federación Española de Municipios y Provincias y la Unión Europea.
Uno de sus retos pasará por afianzar el nuevo Sistema FARO (Filtrado y Análisis de Odio en las Redes Sociales), una herramienta impulsada por Migraciones para la detección y análisis del discurso de odio racista y xenófobo en redes sociales. Su funcionamiento se basa en una metodología que combina tecnología avanzada basada en inteligencia artificial y supervisión experta de los datos. El último boletín trimestral notificó a plataformas como TikTok, X, Instagram o YouTube, 330.000 contenidos vinculados con el discurso de odio. De ellos, fueron retirados el 45%, según los datos del Ministerio.
A través del OBERAXE, la capacidad de detección de los mensaje de odio ha aumentado mucho en el último año a través de la herramienta FARO. ¿Es un algoritmo muy complejo, pero cómo funciona el procedimiento general?
Viene de distintos proyectos europeos que ya lideraba Oberaxe, en los que tiene un papel importante la inteligencia artificial. Lo primero era diseñar esos algoritmos para detectar determinados mensajes. Posteriormente, más allá de mejorar esos algoritmos, se trabajó con la inteligencia generativa a través de distintas universidades, como la Universidad de Jaén, para crear también una contranarrativa. Es decir, se buscaba que el propio algoritmo no solo detectara, sino que cuando lo hiciese, contestara a ese usuario con una contranarrativa.
Pero los algoritmos eran muy manuales todavía y había que estar muy encima, pero en 2025 ha habido un cambio con la herramienta Faro, que son algoritmos mucho más potentes, que han sido entrenados en el ámbito del fútbol, en La Liga. Esto nos permitió pasar de 3.000 mensajes detectados en 2024 a los más de 700.000 que ya se han registrado este año. Todos estos mensajes no tienen que ser ni mucho menos delitos de discurso de odio, sino la mayoría de los mensajes pueden ir en contra de la normativa de las plataformas, por lo que se puede solicitar su retirada y permite analizar la situación de la realidad social.
El sistema es muy vivo. Tienes que ir alimentando el algoritmo con las distintas palabras o incluso símbolos utilizados para mover este tipo de mensajes. Una vez que los propios algoritmos van identificando determinados mensajes, no quiere decir que todos también puedan ser de discurso de odio. Hay personas detrás que van filtrándolos y, una vez que se consideran como tal, se incluyen en una herramienta ya existente, llamada “Alert odio”, que se utiliza como base de datos para poder trasladarlo directamente a las plataformas.
¿Cómo se trasladan a las plataformas?
La mayoría se envían a través de lo que se denomina “alertador fiable”, de tal forma que el mecanismo de las plataformas es mucho más rápido. Pero muchas veces interesa también seguir mandándolo de forma anónima, porque nos interesa que también cualquier persona pueda un mensaje a X o a Facebook para que retiren algo y es importante que las plataformas hagan el mismo caso o similar que cualquiera de los “alertadores fiables”. Porque lo que pretendemos es que el discurso de odio no sea solo una cosa de las instituciones, porque es de toda la sociedad. Todos tenemos que poner nuestro granito de arena y, si vemos algo que pueda ser considerado discurso del odio, solicitar su retirada.
De los contenidos notificados por el OBERAXE en el último trimestre, las plataformas han retirado el 45%. En el anterior, cuando se produjeron los hechos de Torre Pacheco, se eliminaron solo un 35%. ¿Por qué se retira menos de la mitad de los contenidos identificados? ¿De qué depende?
Por un lado depende de cuestiones internas de las propias plataformas. Si consideran que verdaderamente el contenido notificado está en contra de sus normas o no lo está. Pero el mayor reto es conseguir que sean retirados cuanto antes al menos los contenidos en los que las características del discurso del odio están muy claras y, sobre todo, si se producen dentro de un contexto de incremento de tensión en un lugar determinado, como lo sucedido en Torre Pacheco o Jumilla.
Como recoge Código Europeo contra la Incitación Ilegal al Odio en Línea +, deberían ser retirados en menos de 24 horas, pero por ahora hacerlo en 24 horas es un reto mientras no tengamos una estructura de aplicación de la Ley de Servicios Digitales (DSA, por sus siglas en inglés, la normativa comunitaria que regular los servicios digitales, incluidos la gestión de determinados contenidos por parte de las plataformas digitales, y que España debe aplicar). En ese momento, cuando se construya esa estructura, la Comisión Nacional de los Mercados y la Competencia (organismo al que el Gobierno ha dado la potestad de sancionar) tendrá la capacidad de sancionar a las plataformas, será de obligado cumplimiento.
De momento, podemos seguir con la voluntariedad, con el código de conducta que han firmado todas estas plataformas, e intentar que las plataformas lo retiren lo antes posible. Sobre todo cuando hablamos de mensajes que pueden ser el germen de algo mucho mayor.
¿Encuentran reticencias por parte de las plataformas? ¿Qué les expresan en las reuniones trimestrales que el Ministerio realiza con sus representantes?
Nuestro contacto es con los responsables institucionales y quieren ayudar o aportar dentro de la normativa de cada una de las plataformas. También con la vista puesta a cuando ya puedan aplicarse las sanciones económicas, por lo que les interesa ir acercándose lo máximo posible para evitar esas posibles multas que podrán suceder más adelante.
¿Por qué no se ha activado ya el mecanismo de sanción de la CNMC? (La Comisión Europea ha llevado a España ante el Tribunal de Justicia Europeo por ello)
Ya tendría que ir empezando. Estará antes de junio del año que viene. Hace falta que la CNMC cree esa estructura para aplicar la normativa. La CNMC va a ser el organismo que tiene que regular los “alertadores fiables”, lo que ya recoge el código de conducta que seguimos aplicando. Tendría que ir empezando, es una de las cuestiones que se está pidiendo desde distintos lugares, organismos, incluso desde la propia Fiscalía de Sala. Pero ahí juegan otras cuestiones desde el punto de vista técnico y ojalá las tengamos cuanto antes, para poder pasar de la voluntariedad a la exigencia.
¿Qué plataformas responden más y cuáles menos? ¿Impacta de algún modo la llegada de Donald Trump al poder de EEUU?
TikTok es de las que más, por ejemplo. Y, de las que menos, X, debido a que en la normativa de EEUU, que es donde están basados, prima más la libertad de expresión sobre otros derechos. Hay un choque de trenes entre dos derechos fundamentales: uno es la libertad de expresión y otro es la dignidad humana. La cuestión es ver cuál prima en cada caso, porque la libertad de expresión no es un derecho absoluto. En España y en Europa se valora mucho más el impacto en la dignidad, se tiene en cuenta ese choque de trenes, en Estados Unidos tienen siempre por encima la libertad de expresión. Y eso se nota en el nivel de respuesta de plataformas como X. Esto es así desde antes de la llegada de Trump al poder, pero últimamente hacen valer más en la normativa esa prevalencia de la libertad de expresión.
¿Y cuáles son los discursos que encuentran que más les preocupa? ¿Esos que consideran que puede ser un germen?
Los que más nos preocupan son aquellos que están dentro de un contexto determinado, como ocurrió en Torre Pacheco, y empiezan a viralizarse muy rápido. Distintos artículos científicos han demostrado que ese discurso del odio es la antesala del delito de odio físico. En esos casos, ya no solo suelen ser mensajes con humillaciones, que también está mal, sino también con palabras violentas, con el objetivo de ir buscando agresiones físicas. Si ese tipo de discurso se da en un contexto determinado -después de una noticia o una situación específica en un lugar determinado- se viralizan más y puede movilizar a mucha gente porque en segundos puede llegar a millones de personas.
¿Podría poner algún ejemplo de esos contextos?
En Francia, hace un par de años, en París se empezó a viralizar un bulo sobre que una comunidad de etnia gitana estaba robando, atracando y violando niños. El bulo movió tal volumen de personas para hacer todo tipo de agresiones hacia esa comunidad, ubicada en el norte de la ciudad. Menos mal que se pudo actuar rápido para evitar esa otra parte.
En Torre Pacheco lo vimos. Y ahí se ve claramente cómo las herramientas de monitoreo nos pueden ayudar para tomar determinadas decisiones, incluso puede ayudar a las Fuerzas y Cuerpos de Seguridad para prevenir o mandar más personal.
Si se produjo ese registro del pico en el discurso de odio, ¿por qué se llegaron a producir los ataques racistas? ¿Se actuó para prevenirlo? ¿Qué se pudo hacer y no se llegó a hacer para evitarlo?
Ocurrió, pero pudo ocurrir algo peor y, gracias a que se avisó en ese momento (del incremento de mensajes vinculados con el discurso de odio en distintas redes sociales), las Fuerzas y Cuerpos de Seguridad se movilizaron muy rápido dentro de las posibilidades que pueden tener. Incluso las organizaciones que estaban en Torre Pacheco estaban muy agradecidas por esa movilización policial, porque pudo haber sido mucho peor de lo que verdaderamente pasó.
¿Y si se hubiesen retirado antes los mensajes de odio previos a la convocatoria para ir a Torre Pacheco de “cacería” racista?
No siempre es fácil porque estamos hablando de 24 horas. Muchas veces la movilización es cuestión de dos horas y, cuando se notifica a las plataformas, ya no hay tanto margen. Quizá no evitas un primer golpe, pero puedes evitar un altercado mucho mayor.
Ha dicho que muchos de los mensajes de los que alertan desde el OBERAXE no suponen delitos de odio.
No. La mayoría no lo son.
¿Pero por qué es importante controlarlo igualmente?
Primero porque nos muestra la propia tensión social que puede existir en un determinado lugar cuando se difunden muchos contenidos que generan una humillación y, aunque no sea delito, pueden retirarse porque van en contra de las propias normativas de las plataformas por determinados términos que utilizan. Es tan sencillo como evitar que esos mensajes se conviertan en el germen de algo mucho mayor, sobre todo cuando se observa un contexto de otros mensajes en distintas redes sociales.
Estamos hablando del ámbito online, pero qué hay determinados políticos que lanzan mensajes, por ejemplo, en el Parlamento o en los medios de comunicación, que pueden acercarse al discurso de odio.
En el ámbito político es distinto. Hay varias sentencias del Tribunal Supremo que han concluido que determinados mensajes de algún político en concreto no es delito porque está amparado por la inviolabilidad del ejercicio de sus funciones. Sí es verdad que la Organización para la Seguridad y la Cooperación en Europa (OSCE) y la Agencia para los Derechos Fundamentales de la UE (FRA) dicen que todas aquellas personas que tengan determinadas responsabilidades públicas deben intentar controlar los mensajes que realizan.
Uno de los problemas a la hora de atajar los delitos de odio es la infradenuncia. Y, más allá de la infradenuncia en general, mucha gente migrante y racializada expresa también temor por el trato de la policía y, en el caso de quien no tiene residencia regular, por el miedo a que le abran un expediente de expulsión, como ha ocurrido en varios casos hechos públicos.
Es cierto que hay una preocupación sobre los migrantes por esa razón, pero de acuerdo a las distintas encuestas que se han ido realizando en la Agencia de Derechos Fundamentales de la Unión Europea y en el Ministerio de Interior la infradenuncia se produce en todos los colectivos. En general, solo denuncian una de cada diez personas. Es decir, no solo se produce en España, ni solo en el ámbito de los migrantes en esa situación, sino en toda la Unión Europea. Por lo que el problema se da en todos los colectivos, por eso hay que trabajar mucho en el ámbito de la confianza en las fuerzas de seguridad.
¿Pero considera un problema el hecho de que haya personas en situación irregular que tras sufrir un delito de odio puedan acabar con un expediente de expulsión al acudir a denunciarlo?
Organizaciones nos hacen llegar casos en los que ha ocurrido y llevan pidiendo un tiempo que se haga alguna reforma legislativa, como sucede con violencia de género.
Dice que hay que trabajar la confianza en las fuerzas de seguridad por parte de la sociedad, especialmente de los colectivos vulnerables y más discriminados. ¿Cómo?
En mi cargo anterior en el Ministerio del Interior propusimos tres planes de acción. Hay que trabajar mucho con las Fuerzas y Cuerpos de Seguridad y con la sociedad. Un ejemplo es un proyecto en el que, en tres provincias distintas, trabajaba la Policía Nacional, Guardia Civil y Policía Local con las asociaciones de esa localidad. Entonces trabajaron durante un año y esa relación ha influido mucho para que fuera aumentando esa confiabilidad e incluso las denuncias. También es muy importante trabajar en el trato a la víctima.