Investigadores de seguridad divulgaron detalles de un nuevo método de ataque, llamado Reprompt, que permite a actores maliciosos exfiltrar datos sensibles de chatbots de IA como Microsoft Copilot con apenas un clic en un enlace legítimo, eludiendo controles de seguridad corporativos sin necesidad de plugins o interacción adicional del usuario con el asistente. Tras la divulgación responsable, la falla fue corregida por Microsoft y no afecta a clientes corporativos que utilizan Microsoft 365 Copilot, según la empresa.
El ataque explota el parámetro de URL "q" de Copilot para inyectar instrucciones directamente a partir de un enlace, por ejemplo, "copilot.microsoft[.]com/?q=Hello", transformando la simple apertura de esa dirección en un disparador para la ejecución de comandos ocultos. A continuación, el atacante instruye a Copilot a eludir las barreras de protección pidiendo que repita cada acción dos veces, aprovechándose del hecho de que las salvaguardas contra fuga de datos se aplican solo a la solicitud inicial. Finalmente, el ataque establece una cadena continua de solicitudes, en la cual Copilot sigue instrucciones dinámicas proporcionadas por un servidor controlado por el invasor, manteniendo la exfiltración activa incluso después del cierre del chat.
En un escenario hipotético, el invasor convence a la víctima de hacer clic en un enlace legítimo de Copilot enviado por correo electrónico, lo que inicia una secuencia automatizada en la que el servicio ejecuta los prompts ocultos en el parámetro "q" y pasa a "repromptar" al chatbot para buscar y compartir más información. Estos comandos pueden incluir solicitudes como "resume todos los archivos accedidos por el usuario hoy", "¿dónde vive el usuario?" o "¿qué vacaciones tiene planificadas?", haciendo imposible identificar qué datos están siendo exfiltrados solo inspeccionando el prompt inicial, ya que las instrucciones reales siguen en solicitudes subsecuentes del servidor. De esta forma, Reprompt crea un canal invisible de exfiltración de datos, transformando a Copilot en un vector de fuga sin ninguna entrada manual de prompts por parte del usuario.
Al igual que otros ataques contra modelos de lenguaje, la causa raíz de Reprompt está en la incapacidad del sistema de IA para diferenciar instrucciones insertadas directamente por el usuario de aquellas incrustadas en solicitudes recibidas, abriendo espacio para inyecciones indirectas de prompt al interpretar datos no confiables. Los investigadores alertan que no hay límite para el tipo o volumen de datos que pueden ser exfiltrados, ya que el servidor atacante puede adaptar sus solicitudes basándose en las respuestas anteriores, por ejemplo, ajustando las preguntas al sector en que la víctima trabaja para obtener información aún más sensible. Los hallazgos se suman a una serie de técnicas adversariales recientes — como ZombieAgent, Lies-in-the-Loop, GeminiJack, CellShock, vulnerabilidades en otros asistentes de IA corporativos y fallas de exfiltración en múltiples plataformas — reforzando que los ataques por prompt injection continúan siendo un riesgo persistente y exigen defensas en capas, limitación de privilegios de herramientas sensibles y monitoreo riguroso de agentes de IA con acceso a datos corporativos críticos.
Este post fue traducido y resumido a partir de su versión original con el uso de IA, con revisión humana.
Con información de The Hacker News.