Cuando las máquinas perciben el odio. Reseña crítica de una experiencia de desarrollo del aprendizaje automático en redes sociales para la prevención del discurso de odio.

En esta ocasión reseñamos: Amores, J. J., Blanco-Herrero, D., Sánchez-Holgado, P. y Frías-Vázquez, M. (2021). "Detectando el odio ideológico en Twitter. Desarrollo y evaluación de un detector de discurso de odio por ideología política en tuits en español". Cuadernos.info, (49), 98-124. https://doi.org/10.7764/cdi.49.27817

La criminología, como muchas ciencias, se encuentra en procesos de transformación todo el tiempo. Muchos de sus cambios se deben a la interacción con otras ciencias. En la actualidad, ante la vastísima influencia que las ciencias de la información tienen en todos los campos del conocimiento, el diálogo entre la criminología y estas disciplinas se ha convertido en una pioridad para realizar estudios y desarrollo tecnológico.

 

Leer el trabajo de Amores et alii (AMORES, 2021) es una experiencia muy interesante debido a que se trata del desarrollo del prototipo tecnológico de una máquina digital para la detección del discurso de odio por motivos políticos en la red social de Twitter. 

 

Los estudios acerca del odio expresado en el discurso (o de otras emociones) se han desarrollado ampliamente desde las primeras aplicaciones de la sociolingüística a mediados del siglo XX. En particular, los estudios psicolingüísticos de Erich Fromm (FROMM, 1974) acerca de la agresividad y destructividad del nazismo y, en particular, de la personalidad de Adolf Hitler, así como otros estudios, como los de las notas de los suicidas (SCHWARTZ y JACOBS, 1984), entre muchas otras investigaciones acerca de la discursividad humana, han revelado el enorme potencial de conocimiento que tiene estudiar el lenguaje hablado y escrito en las interacciones humanas para determinar las emociones y su relación con la personalidad de los individuos.   

 

La decisiva transformación del entorno comunicativo humano a partir del exponencial crecimiento de la tecnología de intercambio de datos y mensajes que se ha producido en las últimas décadas a escala mundial ha establecido un nuevo reto a los estudios del lenguaje: el registro digital de millones de palabras escritas y habladas en todo el mundo expresando sus emociones con las más diversas intensiones: desde el sacrificio amoroso y el amor al prójimo hasta el odio y el deseo de destruir a otros seres humanos. Al problema de la enorme cantidad de mensajes de la actualidad se debe agregar que no se encuentran escritos para una abstracta "opinión pública" --como lo publicado en un muro o en un volante--, sino que se inscriben en medios digitales de interrelación entre personas, lo que ha llevado a algunos investigadores a denominar a estos medios de comunicación personalizados Tecnologías para las Relaciones, la Información y la Comunicación (TRIC) (GARRIDO et alii, 2016).

A diferencia de muchas expresiones escritas en el pasado, la naturaleza de estos mensajes, que no son privados pero tampoco pintas en la calle, implican el desarrollo de formas específicas de investigación para observarlos, analizarlos y estudiarlos. Así, se han creado metodologías diversas para los estudios del discurso, las palabras, las estructuras lingüísticas, las conversaciones (VAN DJIK, 2003) y, naturalmente, para los diferentes discursos en red. 

El trabajo que reseñamos ahora responde a las necesidades de estudio de la discursividad que expresa odio y, en particular, el odio por razones políticas expresado en los micromensajes de la red social Twitter.

El grupo de trabajo que elaboró este prototipo ha hecho uso de herramientas informáticas que se han empleado para el análisis del discurso natural, como el aprendizaje automático supervisado, el uso de corpus para el entrenamiento de modelos predictivos y el establecimiento de capas de filtrado y correlación de datos mediante redes "neuronales" (aprendizaje profundo), mismas que se engloban en el concepto más amplio de inteligencia artificial (IA) (AMORES, 2021). 

 

Las aplicaciones tecnológicas para el estudio del lenguaje natural mediante IA se emplean en diferentes disciplinas. Por ejemplo, la IA se aplica para tratar de identificar los significados comunicativos de los sonidos que emiten las ballenas (RANDYN, 2021), o para descubrir patrones de escritura y transmisión cultural en la antigüedad, como en el caso del estudio de los de los Rollos del Mar Muerto (POPOVIĆ, 2017).

 

En su desarrollo tecnológico, Amores y sus colaboradores han seguido una ruta estricta y rigurosa para lograr el prototipo de un dispositivo digital que permite distinguir con certidumbre la manifestación de discursos de odio político en las interacciones que se presentan entre los usuarios de la red social Twitter. 

 

En los distintos pasos que dieron para lograr este dispositivo (aprendizaje automático supervisado, uso de corpus para el entrenamiento de modelos predictivos y establecimiento de capas de filtrado y correlación de datos) siguieron la ruta técnica que otros han empleado para lograr la identificación de las expresiones de odio. El esfuerzo del equipo de Amores se alinea con el de otros dispositivos construidos en diferentes lenguas y para otros contextos, cumpliendo con los requerimientos técnicos que se han planteado a partir de estas experiencias, pero con un esfuerzo realmente notable de los autores para la constitución de términos fiables del corpus, pues se basó en el trabajo jurídico académico que ha realizado al respecto Fernando Miró (MIRÓ, 2016), así como en las disposiciones legales y en las políticas institucionales del Estado español.  

 

 

En 2017, el primer ejercicio técnico y lingüístico que atestigüé sobre esta clase de fenómenos fue el estudio que hizo la organización Amnistía Internacional, con base en los trabajos de Azmina Dhrodia (DHRODIA, 2017), relacionados con el uso del lenguaje en Twiter para identificar el discurso de odio de género que miles de mujeres, que eran figuras públicas en sus respectivos países, recibían continuamente con la intención de amenzarlas, desacreditarlas, amedrentarlas o simplemente insultarlas. 

 

 El resultado fue el ya memorable Toxic Twitter. A Toxic Place for Women (AMNESTY, 2017), en el que Amnistía Internacional denunciaba la incontrolada violencia simbólica con que miles de hombres, e incluso mujeres, agredían a mujeres políticas, periodistas, líderes de opinión, etcétera, en especial si eran mujeres negras, latinas o de diferentes etnias distintas a las dominantes en varios países anglófonos y del norte de Europa. 

 

Es decir, la construcción de dispositivos como el que reseñamos ahora no es nueva. Pero sí es una importante novedad que estos instrumentos sean elaborados en lengua española. Hasta 2020, el idioma español representaba el 7.9% de los lenguajes más usados en internet, solo atrás del inglés (25.9%) y el chino (19.4%).

Porcentaje de usuarios de internet en 2020 por idioma hablado. Fuente: Statista. https://www.statista.com/statistics/262946/share-of-the-most-common-languages-on-the-internet/

Y la demografía de usuarios hispanohablantes es, a su vez, una de las más nutridas de los participantes en el ciberspacio. El conjunto iberoamericano conforma un gran bloque de usuarios de internet: en España, con 32.8 millones de usuarios (INE, 2021), y en América Latina con 271.2 millones de usuarios (ver la siguiente gráfica), siendo México la nación con la mayor cantidad de usuarios de lengua española (92 millones). El total es de poco más de 300 millones de usuarios que comparten, naturalmente, la lengua, pero también muchas tradiciones políticas y jurídicas, religión y costumbres. 

Usuarios latinoamericanos de internet en 2021. Fuente: Statista. https://es.statista.com/estadisticas/1073677/usuarios-internet-pais-america-latina/

Entonces, el desarrollo de prototipos de máquinas digitales para la detección de conductas que podrían constituir delitos en sí mismas o ser precursoras de delitos --como las amenazas, la justificación e incitación a la violencia, la discriminación o las acciones violentas en contra de una persona o un grupo--, específicamente desarrolladas para el entorno hispanoparlante, es sin duda una muy notable contribución dentro del desarrollo tecnológico iberoamericano. 

El prototipo creado por el equipo de Amores fue sometido a varias pruebas de confiabilidad desde la constitución del corpus y su clasificación hasta los modelados predictivos (superficial y profundo). Las pruebas realizadas por el equipo de Amores se efectuaron sobre una muestra de 24 000 mensajes que contenían elementos lingüísticos relacionables con discurso que expresaba odio. De estos, 13 737 (57.7%) fueron desechados. Los mensajes restantes (10 213) fueron vueltos a clasificar y en 3 879 mensajes se validó la existencia de los criterios para ser considerados mensajes de odio, es decir, el 16.2% del total de la muestra. Lo anterior me pareció una buena noticia, dado que uno tiende a pecibir como mucho mayores  las magnitudes de la violencia verbal en redes sociales.

Desde el punto de vista de la criminología, esta clase de herramientas puede ser de gran utilidad como predictores de coyunturas en las que se presentan incrementos en la violencia y la polarización de las interacciones en las redes sociales, como ocurre en campañas político-electorales, referéndums y consultas populares. Pero aplicadas a otras circunstancias, con la adecuada constitución de corpus específicos, pueden contribuir a detectar diversas violencias (de género, étnicas, económicas, etcétera) en las redes sociales.

Otro aspecto que es importante considerar es la naturaleza causal o concausal de la publicación de los mensajes de odio como precursores de la comisión material de crímenes. Creo que es verdad que las publicaciones de odio pueden ser antecedentes de crímenes de otro tipo, como se ha podido observar en las investigaciones sobre violencia terrorista de origen religioso.  También se han analizado los iter criminis de los jóvenes multihomicidas y suicidas que desde 1971 han perpetrado ataques en escuelas y el papel que han jugado en estos las fantasías violentas y los mensajes de odio (ROBERTZ, 2007). 

 

Sin embargo, un tema que tal vez despierte preocupación --como ha ocurrido con muchos desarrollos tecnológicos o científicos aplicados a estudios y políticas criminológicas a lo largo de siglo XX y posiblemente en el siglo XXI--, es caer en los excesos de la criminalización de las conductas y/o de las personas, sobre todo cuando aspectos como rasgos somáticos, características cromosómicas, herencia genética, antecedentes psicoemocionales, tendencias estadísticas, determinaciones económicas, cultura criminal, etcétera, llegan a ser consideradas concluyentes para encontrar causas de las conductas criminales. En este caso, ¿los emisores de mensajes de odio deberán ser criminalizados como precursores de otras violencias?  ¿Será siempre así? ¿Habrá espacios para considerar otras categorías tal vez punibles, como descargas emocionales, excesos, errores?

 

Recordemos que la criminalidad debe ser comprendida como una totalidad social, económica, política, etcétera; el crimen como una situación que forma parte de un trayecto de vida tanto del criminal como de la o las víctimas --con todas las consecuencias que de esto derivan-- y que es parte de una coyuntura socioeconómica y cultural, entre muchos otros elementos contextuales; de la misma manera que el criminal debe ser entendido en la integralidad de su historia de vida, su entorno familiar y comunitario, su desarrollo psicoemocional, etc. 

La criminología, ciencia interdisciplinaria y sintética por naturaleza, debe actualizar sus planteamientos teóricos, metodológicos y técnicos en su constante diálogo con el conjunto de las ciencias, pero también debe aportar principios, criterios y objetivos. Por ello es importante que su metodología fundamentalmente sintética se mantenga a lo largo de las investigaciones y estudios,  enriqueciendo sus objetos de estudio, problematizando y generando hipótesis, con objeto de no perder su esencia y propósitos.  

 

REFERENCIAS

 

AMORES, J. J., Blanco-Herrero, D., Sánchez-Holgado, P. y Frías-Vázquez, M. (2021). "Detectando el odio ideológico en Twitter. Desarrollo y evaluación de un detector de discurso de odio por ideología política en tuits en español". Cuadernos.info, (49), 98-124. https://doi.org/10.7764/cdi.49.27817. Consulta del 6/06/21.  

 

DHRODIA, Azmina. (2017). Unsocial Media: The Real Toll of Online Abuse against Women. Amnesty Global Inside. London. Recuperado de: Amnesty Global Inside. Consulta del 6/06/21 

 

FROMM, E. (1975). Anatomía de la destructividad humana. México. Siglo XXI.  En particular los capítulos 12 y 13. 

 

GARRIDO-LORA, M., BUSQUET Durán, J., y MUNTÉ-RAMOS, R. (2016). "De las TIC a las TRIC. Estudio sobre el uso de las TIC y la brecha digital entre adultos y adolescentes en España". Anàlisi. Quaderns de Comunicació i Cultura, 54, págs. 44-57. DOI: http://dx.doi.org/10.7238/a.v0i54.2953. Consulta del 12/06/21.

 

INE. (2021). "6.4. Población que usa Internet (en los últimos tres meses)". Instituto Nacional de Estadística. España. Recuperado de: https://www.ine.es/ss/Satellite?L=es_ES&c=INESeccion_C&cid=1259925528782&p=1254735110672&pagename=ProductosYServicios%2FPYSLayout. Consulta del 18/06/21.

 

INTERNATIONAL AMNESTY. (2017). Toxic Twitter. A Toxic Place for Women. London. AI. Recuperado de: https://www.amnesty.org/en/latest/research/2018/03/online-violence-against-women-chapter-1/#topanchor. Consulta del 5/06/21. 

JACOBS, J. (1967). "A Phenomenologycal Study of Suicide Notes". En SHWARTZ, H y JACOBS, J. (1984). Sociología cualitativa. Método para la reconstrucción de la realidad. México, Trillas: 203-217.

MIRÓ LLINARES, F. (2016). "Taxonomía de la comunicación violenta y el discurso del odio en Internet". En: Josep Maria TAMARIT SUMALLA (coord). "Ciberdelincuencia y cibervictimización". IDP. Revista de Internet, Derecho y Política. N.o. 22, págs. 93-118. UOC. Recuperado de http://journals.uoc.edu/index.php/idp/article/view/n22-miro/n22-miro-pdf-es. Consulta del 12/06/21.

POPOVIĆ, M. (2017), "Reading, Writing, and Memorizing Together:  Reading Culture in Ancient Judaism and the Dead Sea Scrolls in a Mediterranean Context". En BRILL, Vol. 24, Núm. 3. Recuperado de: https://doi.org/10.1163/15685179-12341447. Consulta del 16/06/21.

 

RANDYN, B. (2021). "Will humans ever learn to speak whale?", en Live Science. Recuperado de: https://www.livescience.com/can-humans-understand-whales.html. Consulta del 12/06/21. 

 

ROBERTZ, Frank J. (2007). “Deadly Dreams: What Motivates School Shootings?”. Scientific American. SA Mind 18, 4, 52-59 (August). Recuperado de: https://www.scientificamerican.com/article/deadly-dreams/?print=true. Consulta del 11/06/21.

 

VAN DIJK, T. (2003), "La multidisciplinariedad del análisis crítico del discurso: un alegato en favor de la diversidad", en WODAK y MEYER, 2003, Métodos de análisis crítico del discurso. Barcelona, Gedisa: 143-177.