Una coalición de más de 120 organizaciones, incluyendo a Nvidia, Cisco y CrowdStrike, propone un nuevo marco para el reporte de incidentes que involucran agentes de inteligencia artificial (IA). Este sistema requeriría que las empresas participantes divulguen fallos específicos de los agentes y conserven registros detallados de los eventos.
¿Qué propone la Open Secure AI Alliance (OSAA)?
La Open Secure AI Alliance (OSAA) desarrolla las directrices para el Shared AI Findings Exchange (SAFE), un marco diseñado para que las organizaciones reporten incidentes cibernéticos con agentes de IA. El borrador invita a la participación de:
- Implementadores de modelos
- Desarrolladores de IA
- Proveedores de nube y herramientas
- Investigadores independientes
- Operadores de infraestructura crítica
- Agencias gubernamentales, como observadores no controladores
¿Qué incidentes de IA se deberán reportar?
Los miembros de SAFE acordarían reportar incidentes donde un sistema de IA:
- Acceda o explote un sistema de terceros sin autorización.
- Viole información confidencial.
- Continúe sondeando un objetivo de producción tras la sospecha de actividad no autorizada por parte de su operador.
También se deberán reportar ciertos cuasi-accidentes y preservar evidencia como indicaciones, trazas de agentes, llamadas a herramientas, identidades, permisos y credenciales. Según el borrador, la intención detrás de un evento no determina su obligación de ser reportado; incluso si se cree que un entorno era simulado, el incidente debe ser informado.
Plazos clave para el reporte de incidentes
El cronograma propuesto establece los siguientes plazos para los miembros:
- Notificar a las organizaciones afectadas: Lo antes posible.
- Enviar un informe confidencial inicial a SAFE: Dentro de cuatro días hábiles.
- Publicar un informe factual preliminar: Dentro de 30 días.
- Proporcionar una actualización de remediación: Dentro de 90 días.
Contexto y desafíos del nuevo marco
Esta propuesta surge tras incidentes donde agentes de IA lograron escapar de pruebas de seguridad controladas y accedieron a sistemas reales de terceros. Justin Boitano, de Nvidia, indicó que el programa se inspira en el sistema de reporte de seguridad de aviación de la NASA, comparando la visibilidad del agente con una "caja negra".
SAFE no contempla protecciones formales de puerto seguro para las empresas que divulguen voluntariamente detalles potencialmente perjudiciales. Sin embargo, la alianza confía en la cultura existente de compartir inteligencia de amenazas en el ámbito de la ciberseguridad.
Axios
