Es bien sabido que en Twitter —una plataforma, por cierto, conocida por tolerar las más infames venas de racismo, homofobia y misoginia— existe un gran problema con el contenido abusivo, pero la resistencia de la empresa a publicar datos hace que nadie sepa cuál es la verdadera magnitud de este problema. Durante los dos años que Amnistía ha estado investigando este asunto, innumerables mujeres, especialmente figuras públicas, nos han dicho que las amenazas de violación y muerte forman parte de su experiencia en el uso de Twitter. Twitter tiene una aceptable política sobre conductas de incitación al odio, pero basta con desplazarse por el feed de tuits de cualquier mujer que destaque en el ámbito político para ver que sigue habiendo enormes lagunas en su aplicación.
Queríamos recoger datos para demostrar a Twitter la dimensión del problema, así que, junto a la empresa de desarrollo de programas de inteligencia artificial Element AI, creamos un proyecto único de crowdsourcing (colaboración colectiva) que nos ayudaría a entender la magnitud y la naturaleza de las conductas abusivas en Twitter. Reclutamos a más de 6.000 personas voluntarias para participar en la Patrulla Antitroles analizando más de 288.000 tuits. Tras recibir un curso intensivo sobre nuestras definiciones, su misión consistió en clasificar los tuits en “abusivos”, “problemáticos” o ninguna de las dos clases, e identificar el tipo de abuso —racista, sexista u homófobo, por ejemplo.
Hallamos que el 12% de los tuits en los que se mencionaba a alguna de las 778 mujeres de nuestra muestra eran “abusivos” o “problemáticos”. Extrapolando nuestros resultados y utilizando avanzadas técnicas de análisis científico de datos, Element AI calculó que esto supone 1.100.000 tuits al año. Lamentablemente esta conclusión es tan terrible como poco sorprendente. De hecho, muchos de nuestros resultados corroboran lo que las mujeres llevan años diciéndonos respecto a sus experiencias en Twitter.
Por ejemplo, una de las cifras más impresionantes es que las mujeres negras de la muestra tenían un 84% más de probabilidades de ser mencionadas en tuits abusivos que las blancas. Para nuestro informe Toxic Twitter del año pasado entrevistamos a muchas políticas, activistas y periodistas negras que describieron los terribles e implacables abusos racistas que sufren en la plataforma, incluidas referencias a animales y a lincharlas o colgarlas. Prácticamente todas las mujeres que dijeron que sufrían discriminación interseccional en la vida real subrayaron que esto se reflejaba en su experiencia en Twitter.
Una de las cosas que queríamos subrayar con nuestros resultados es que el criterio humano es sumamente importante a la hora de moderar los contenidos. Las grandes plataformas de redes sociales recurren cada vez más a sistemas automatizados para ayudar a gestionar las conductas abusivas (en la carta enviada como respuesta a nuestro estudio, Twitter se refería al aprendizaje automático como “una de las áreas de mayor potencial para abordar las conductas abusivas”). Los gobiernos también están fomentando esta solución: por ejemplo, la Comisión Europea ha propuesto un reglamento para la prevención “de la difusión de contenidos terroristas en línea”, que anima al uso de medios automatizados.
Para profundizar en el análisis de todo esto, Element AI nos ayudó a desarrollar un avanzado modelo de aprendizaje automático que intenta automatizar el proceso de la detección de abusos. No es perfecto, pero mejora cualquier otro modelo existente hasta ahora y los errores que comete son esclarecedores para entender los límites de la automatización en la moderación de contenidos.
Por ejemplo, mientras que nuestros voluntarios y voluntarias calificaban como claramente problemático y sexista un tuit como “Be a good girl… go wash dishes” (Sé buena chica... Vete a lavar los platos), la predicción del modelo le asigna sólo un 10% de probabilidades de ser problemático o abusivo. Igualmente, al teclear en el modelo las palabras “Go home” (Vete a tu casa), la asignación de probabilidad de contenido abusivo o problemático es del 0%, pues el modelo no reconoce la forma en que estas palabras pueden utilizarse en un contexto racista. En comparación, la expresión “Die bitch” (Muérete, zorra), devuelve como resultado el 92%.
El modelo también señala como abusivo cierto contenido que no lo es, lo cual plantea preocupación respecto a la censura. Según informes, el uso por parte de YouTube de un algoritmo de aprendizaje automático para detectar “contenido extremista” ha tenido como consecuencia la retirada de cientos de miles de vídeos que realmente documentan abusos de derechos humanos en Siria.
Por consiguiente, la automatización debe formar parte de un sistema de moderación de contenidos más amplio que se caracterice por criterio humano, mayor transparencia, derecho a recurrir y otras salvaguardias.
Hablemos claro: como organización de derechos humanos, nuestro trabajo no es analizar tuits abusivos. Pero llevamos años pidiéndole a Twitter que publique información sobre las conductas abusivas en su plataforma, y la empresa se ha negado reiteradamente a hacerlo. Sin datos sobre el alcance y la naturaleza de estas conductas es imposible crear soluciones eficaces. Queríamos demostrar que, con una fracción de los recursos y la información de que dispone Twitter, es posible recoger datos significativos sobre los abusos en esta plataforma. Comprender este problema es el primer paso para crear soluciones eficaces.
