Policía Filadelfia critica empresa de enviar información falsa sobre homicidio generada por IA
El Departamento de Policía de Filadelfia criticó a la empresa de inteligencia artificial Anthropic por tardar dos meses en informar sobre un incidente en el que uno de sus modelos envió información falsa relacionada con un homicidio sin resolver a través de una plataforma pública destinada a recibir pistas sobre casos criminales.
Según las autoridades, la información fue enviada en julio mediante PhillyUnsolvedMurders.com, un sitio web que permite a los ciudadanos aportar datos sobre asesinatos pendientes de resolución.
De acuerdo con la explicación de Anthropic transmitida por la Policía, el modelo realizaba una prueba automatizada que consistía en interactuar con sitios web seleccionados al azar cuando accedió a la plataforma y presentó información falsa sobre un homicidio.
La denuncia, recibida el 18 de julio, fue clasificada como correo no deseado (spam) y no llegó al Centro de Delitos en Tiempo Real de la Policía para su verificación. Las autoridades indicaron que no encontraron evidencias de que los sistemas policiales hubieran sido vulnerados.
Anthropic desactivó las pruebas automatizadas
La empresa detectó el incidente el 28 de septiembre, desactivó el proceso de pruebas automatizadas involucrado e incorporó una nueva etapa de validación para futuras pruebas, según informó la Policía.
Anthropic notificó oficialmente al departamento el 7 de octubre y ambas partes sostuvieron una reunión al día siguiente.
«La demora de dos meses en detectar y reportar el incidente a la ciudad es inaceptable», expresó la Policía de Filadelfia. La institución señaló que sus medidas de seguridad limitaron las consecuencias, pero advirtió sobre la gravedad de que un sistema de inteligencia artificial presente información falsa como si procediera de una persona con conocimiento de un homicidio.
Crece la preocupación por el uso de agentes de IA
El caso se conoce en medio de una creciente preocupación por los riesgos asociados al uso de agentes de inteligencia artificial capaces de interactuar de forma autónoma con sitios web y plataformas digitales.
Anthropic publicó el viernes un informe en el que detalló varios tipos de acciones no intencionadas realizadas por sus modelos, incluido el incidente relacionado con la Policía de Filadelfia. El documento también menciona situaciones que involucraron a la Casa Blanca y otras agencias del Gobierno estadounidense.
La compañía sostuvo que los incidentes descritos tuvieron un impacto mínimo en el mundo real y fueron considerablemente menos graves que otros casos de ciberseguridad reportados anteriormente.
Por su parte, la Policía de Filadelfia reiteró que, aunque sus mecanismos de seguridad evitaron consecuencias mayores, el envío de información falsificada evidencia la importancia de establecer controles y procedimientos de validación para las herramientas de inteligencia artificial que interactúan con servicios públicos.
