Adrián Pastor

Día a día las plataformas de internet especializadas en redes sociales testifican un enorme volumen de actividad de las personas en la web. Actualmente, supervisar este tipo de plataformas para moderar el contenido que fluye es un reto. Debido a lo anterior, estos ambientes virtuales pueden ser fácilmente utilizados de manera inapropiada para ofender, hostigar, humillar y acosar a otros, muchas veces en la sombra del anonimato. Las consecuencias podrían ser graves si la persona que sufre estas conductas se encuentra emocionalmente vulnerable o si es un menor de edad. Las víctimas podrían experimentar desequilibrios emocionales que eventualmente pudieran generar patologías dañinas para el individuo, para las personas cercanas a éste e incluso para la sociedad

México tiene uno de los niveles más preocupantes de ciberacoso a nivel mundial y de acuerdo al Instituto Nacional de Estadística y Geografía (INEGI) 16.8% de los usuarios de internet en México habían sido víctimas del mismo en 2017 (unos 10.3 Millones). Aún más importante: los usuarios más afectados fueron aquellos entre 12 y 29 años, grupo en el que prácticamente uno de cada cinco reportó haber sido acosado en forma electrónica en algún punto de su vida. De acuerdo al INEGI, el escenario más frecuente para ciberacoso en México es recibir mensajes ofensivos de usuarios anónimos. En este contexto, detectar el lenguaje ofensivo en medios sociales antes de que causen un daño irreparable a las generaciones jóvenes o a personas vulnerables es extremadamente importante. Hoy en día, una de las formas de evitar este daño consiste en que los usuarios reporten los mensajes ofensivos, para luego ser revisados manualmente por algún moderador designado. Un problema de esto es que el mensaje permanece visible para la víctima y posiblemente para otros usuarios hasta que es reportado, revisado y en su caso eliminado; es decir, la mayoría de las veces el daño ya habrá sido ocasionado antes de haber tomado cualquier medida de moderación.

En todo este contexto, la inteligencia artificial (IA) ofrece alternativas para asistir en la prevención y análisis adecuado de la información en plataformas sociales. Por ejemplo, pudiera ser deseable tener herramientas que de forma automática alertarán el envío de posibles mensajes ofensivos por parte de los usuarios. Esto puede ser visto análogamente como un detector de spam en el correo electrónico, pero en este caso sería un detector de agresividad que inmediatamente identificará mensajes ofensivos. La forma de asistencia puede ser variada, desde mandar un mensaje al usuario alertando de contenido que puede dañar su sensibilidad, hasta directamente bloquear el mensaje para ser revisado por algún moderador. La ventaja de esta estrategia sería que automáticamente y de forma masiva, podríamos dar asistencia a los usuarios o administradores de las plataformas.

La detección automática de agresividad es parte de la investigación llevada a cabo en el Centro de Investigación en Matemáticas, A.C. (CIMAT), en dónde se promueve fuertemente una especialidad de la IA llamada Procesamiento del Lenguaje Natural (PLN). En el PLN se emplean algoritmos computacionales de aprendizaje automático para analizar y modelar el lenguaje. En concreto, queremos que una computadora aprenda automáticamente patrones asociados al lenguaje humano y algunas problemáticas particulares de éste, con el fin de apoyar la toma de decisiones. El problema de detectar mensajes ofensivos es desafiante y va mucho más allá de sólo identificar palabras clasificadas como altisonantes y ofensivas. Por ejemplo, una persona podría expresar ideas con un vocabulario ofensivo incluso sin efectivamente ofender a nadie. Esta particularidad hace necesario un análisis contextual y semántico de las oraciones que demanda la utilización de técnicas avanzadas de PLN. Por ejemplo, en las dos imágenes de abajo se muestran algunas de las palabras más frecuentes de la categoría agresivo (izquierda) y no agresivo (derecha); note cómo la frecuencia de palabras es muy similar de manera individual, lo que dificulta su identificación automática. Afortunadamente, el PLN brinda poderosas herramientas de análisis del contexto que ayudan a modelar de mejor manera el lenguaje escrito.

El impulso que el CIMAT ha brindado al PLN a través de seminarios, cursos y talleres con especialistas en el área está permitiendo obtener avances importantes que llegan a difundirse en la forma de artículos publicados a nivel internacional, así como recibir reconocimientos en foros nacionales que proponen desafíos en el ámbito local de México. Por ejemplo, en el MEX-A3T (https://sites.google.com/view/mex-a3t/) –un foro organizado por el Instituto Nacional de Astrofísica, Óptica y Electrónica (INAOE) y el Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas (IIMAS-UNAM)–, se hizo un llamado internacional para resolver desafíos de PLN en el contexto México. Un desafío particular fue la detección de tweets agresivos en español de mexicanos; en este evento el grupo de lenguaje del CIMAT obtuvo el primer lugar adaptando algoritmos de redes neuronales con Deep Learning (DL). En computación, la detección de agresividad usualmente se plantea como un problema de clasificación supervisada, y para la competencia los organizadores construyen un conjunto con miles de ejemplos etiquetados manualmente como agresivos y no agresivos. Estos datos son procesados y analizados con algoritmos para modelar el lenguaje y aprender automáticamente la relevancia de las palabras según su contexto. Por ejemplo, en el conjunto de tweets agresivos la palabra “tú” podría cobrar mayor o menor relevancia según la frecuencia de sí misma y sus palabras vecinas. Es decir, las palabras “tú” y “madre” en cierta vecindad con otras podrían tener más probabilidad de estar en un tweet agresivo que las palabras “tú” y “padre”. Formalmente esto consiste en aproximar las probabilidades condicionales de las palabras, al mismo tiempo que asumir algunas condiciones de independencia (e.g., condiciones de Markov). Variantes de este tipo de modelos permiten a los algoritmos de redes neuronales aprender características particulares en las categorías en el lenguaje escrito y estimar si un mensaje es ofensivo.

En conclusión, las herramientas de Inteligencia Artificial y en particular las de PLN, pueden tener un impacto muy positivo en nuestro entorno, siempre considerando la responsabilidad ética y moral que esto conlleva. En este sentido estamos convencidos que la democratización del conocimiento en esta y otras áreas permitirán un mejor ambiente para todos. La especialización en áreas de la inteligencia artificial tales como PLN contribuyen a formar tecnólogos e investigadores que apoyen el desarrollo nacional con la aplicación de herramientas útiles a la sociedad.

*El doctor Adrián Pastor López Monroy es investigador de tiempo completo adscrito a la Coordinación de Ciencias de la Computación del Centro de Investigación en Matemáticas, A.C. (CIMAT). Su área de especialidad es el Procesamiento del Lenguaje Natural y Aprendizaje Máquina Multimodal mediante la utilización de Redes Neuronales Artificiales Profundas.