Las campañas de influencia extranjera, u operaciones de información, se han generalizado en el periodo previo a las elecciones presidenciales estadounidenses de 2024. Las campañas de influencia son esfuerzos a gran escala para cambiar la opinión pública, impulsar narrativas falsas o cambiar comportamientos entre una población objetivo. Rusia, China, Irán, Israel y otras naciones han llevado a cabo estas campañas explotando bots sociales, influencers, empresas de medios e IA generativa.

En el Observatorio de Redes Sociales de la Universidad de Indiana, mis colegas y yo estudiamos las campañas de influencia y diseñamos soluciones técnicas (algoritmos) para detectarlas y contrarrestarlas. Los métodos de vanguardia desarrollados en nuestro centro utilizan varios indicadores de este tipo de actividad en línea, que los investigadores denominan comportamiento coordinado inauténtico. Identificamos grupos de cuentas de redes sociales que publican de manera sincronizada; amplifican los mismos grupos de usuarios; comparten conjuntos idénticos de enlaces, imágenes o hashtags; o realizan secuencias de acciones sospechosamente similares.

Hemos descubierto muchos ejemplos de comportamiento inauténtico coordinado. Por ejemplo, encontramos cuentas que inundan la red con decenas o cientos de miles de publicaciones en un solo día. La misma campaña puede publicar un mensaje con una cuenta y luego hacer que otras cuentas que sus organizadores también controlan le den “me gusta” y “no me gusta” cientos de veces en un corto período de tiempo. Una vez que la campaña logra su objetivo, todos estos mensajes pueden eliminarse para evadir la detección. Usando estos trucos, los gobiernos extranjeros y sus agentes pueden manipular los algoritmos de las redes sociales que determinan qué es tendencia y qué es atractivo para decidir qué ven los usuarios en sus feeds.

IA generativa

Una técnica que se usa cada vez más es crear y administrar ejércitos de cuentas falsas con IA generativa. Analizamos 1,420 cuentas falsas de Twitter (ahora X) que usaban caras generadas por IA para sus fotos de perfil. Estas cuentas se usaban para difundir estafas, diseminar spam y amplificar mensajes coordinados, entre otras actividades.

Calculamos que al menos 10,000 cuentas como estas estaban activas diariamente en la plataforma, y ​​eso fue antes de que el CEO de X, Elon Musk, recortara drásticamente los equipos de confianza y seguridad de la plataforma. También identificamos una red de 1,140 bots que usaban ChatGPT para generar contenido similar al humano para promover sitios web de noticias falsas y estafas de criptomonedas.

Además de publicar contenido generado por máquinas, comentarios dañinos e imágenes robadas, estos bots interactuaban entre sí y con humanos a través de respuestas y retuits. Los detectores de contenido de modelos de lenguaje de última generación actuales no pueden distinguir entre bots sociales habilitados por IA y cuentas humanas en la naturaleza.

Mal comportamiento del modelo

Las consecuencias de tales operaciones son difíciles de evaluar debido a los desafíos que plantea la recopilación de datos y la realización de experimentos éticos que influirían en las comunidades en línea. Por lo tanto, no está claro, por ejemplo, si las campañas de influencia en línea pueden influir en los resultados electorales. Sin embargo, es vital comprender la vulnerabilidad de la sociedad a diferentes tácticas de manipulación.

En un artículo reciente, presentamos un modelo de redes sociales llamado SimSoM que simula cómo se difunde la información a través de la red social. El modelo tiene los ingredientes clave de plataformas como Instagram, X, Threads, Bluesky y Mastodon: una red empírica de seguidores, un algoritmo de feed, mecanismos para compartir y volver a compartir, y métricas de calidad, atractivo y participación del contenido.

SimSoM permite a los investigadores explorar escenarios en los que la red es manipulada por agentes maliciosos que controlan cuentas no auténticas. Estos actores maliciosos tienen como objetivo difundir información de baja calidad, como desinformación, teorías conspirativas, malware u otros mensajes dañinos. Podemos estimar los efectos de las tácticas de manipulación adversaria midiendo la calidad de la información a la que están expuestos los usuarios objetivo en la red.

Simulamos escenarios para evaluar el efecto de tres tácticas de manipulación. Primero, la infiltración: hacer que las cuentas falsas creen interacciones creíbles con usuarios humanos en una comunidad objetivo, logrando que esos usuarios las sigan. Segundo, el engaño: hacer que las cuentas falsas publiquen contenido atractivo, que probablemente sea compartido por los usuarios objetivo. Los bots pueden hacer esto, por ejemplo, aprovechando las respuestas emocionales y la alineación política. Tercero, la inundación: publicar grandes volúmenes de contenido.

Nuestro modelo muestra que la infiltración es la táctica más eficaz, ya que reduce la calidad media del contenido del sistema en más del 50%. Este daño puede agravarse aún más inundando la red con contenido de baja calidad pero atractivo, lo que reduce la calidad en un 70%.

Frenar la manipulación coordinada

Hemos observado todas estas tácticas en la práctica. Es especialmente preocupante que los modelos de IA generativa puedan hacer que sea mucho más fácil y económico para los agentes maliciosos crear y gestionar cuentas creíbles. Además, pueden utilizar la IA generativa para interactuar con humanos sin parar y crear y publicar contenido dañino pero atractivo a gran escala. Todas estas capacidades se están utilizando para infiltrarse en las redes de los usuarios de las redes sociales e inundar sus feeds con publicaciones engañosas.

Estos conocimientos sugieren que las plataformas de redes sociales deberían moderar más (no menos) el contenido para identificar y obstaculizar las campañas de manipulación y, de ese modo, aumentar la resiliencia de sus usuarios a las campañas.

Las plataformas pueden hacerlo dificultando que los agentes maliciosos creen cuentas falsas y publiquen automáticamente. También pueden desafiar a las cuentas que publican a un ritmo muy elevado para que demuestren que son humanas. Pueden añadir fricción en combinación con esfuerzos educativos, como incitar a los usuarios a compartir información precisa. Y pueden educar a los usuarios sobre su vulnerabilidad al contenido engañoso generado por IA.

Los modelos y datos de IA de código abierto permiten que los agentes maliciosos construyan sus propias herramientas de IA generativa. Por lo tanto, la regulación debería apuntar a la difusión de contenido de IA a través de plataformas de redes sociales en lugar de a la generación de contenido de IA. Por ejemplo, antes de que una gran cantidad de personas puedan estar expuestas a cierto contenido, una plataforma podría exigir a su creador que demuestre su precisión o procedencia.

Este tipo de moderación de contenido protegería, en lugar de censurar, la libertad de expresión en las plazas públicas modernas. El derecho a la libertad de expresión no es un derecho de exposición y, dado que la atención de las personas es limitada, las operaciones de influencia pueden ser, en efecto, una forma de censura al hacer que las voces y opiniones auténticas sean menos visibles.