Demostraciones de Vulnerabilidades en Sistemas de IA
Entre los otros ataques creados por Bargury se encuentra una demostración de cómo un hacker, que debe haber secuestrado previamente una cuenta de correo electrónico, puede acceder a información sensible, como los salarios de las personas, sin activar las protecciones de archivos sensibles de Microsoft. Al solicitar los datos, la indicación de Bargury exige que el sistema no proporcione referencias a los archivos de los que se extrae la información. “Un poco de acoso ayuda”, dice Bargury.
Técnicas de Manipulación de Datos
En otros casos, muestra cómo un atacante, que no tiene acceso a cuentas de correo electrónico pero envenena la base de datos de la IA enviándole un correo electrónico malicioso, puede manipular respuestas sobre información bancaria para proporcionar sus propios detalles bancarios. “Cada vez que le das acceso a la IA a datos, es una forma para que un atacante acceda”, afirma Bargury. Otra demostración muestra cómo un hacker externo podría obtener información limitada sobre si una inminente llamada de ganancias de una empresa será buena o mala, mientras que en la instancia final, Bargury dice que convierte a Copilot en un “insider malicioso” al proporcionar a los usuarios enlaces a sitios web de phishing.
Colaboración con Microsoft y la Conciencia de Riesgos
Phillip Misner, jefe de detección de incidentes de IA y respuesta en Microsoft, dice que la compañía aprecia que Bargury haya identificado la vulnerabilidad y menciona que han estado trabajando con él para evaluar los hallazgos. “Los riesgos del abuso post-compromiso de la IA son similares a otras técnicas de post-compromiso”, dice Misner. “La prevención y el monitoreo de seguridad a través de entornos e identidades ayudan a mitigar o detener tales comportamientos”.
Los Desafíos en la Seguridad de la IA Generativa
A medida que los sistemas de IA generativa, como ChatGPT de OpenAI, Copilot de Microsoft y Gemini de Google, han evolucionado en los últimos dos años, han entrado en una trayectoria donde eventualmente podrían estar completando tareas para las personas, como programar reuniones o realizar compras en línea. Sin embargo, los investigadores de seguridad han destacado consistentemente que permitir datos externos en los sistemas de IA, como a través de correos electrónicos o al acceder a contenido de sitios web, crea riesgos de seguridad a través de inyecciones indirectas de indicaciones y ataques de envenenamiento.
“Creo que no se entiende bien cuán efectiva podría volverse un atacante ahora”, dice Johann Rehberger, un investigador de seguridad y director de un equipo rojo, quien ha demostrado extensamente debilidades de seguridad en los sistemas de IA. “Lo que debemos preocuparnos ahora es en realidad qué está produciendo y enviando el LLM al usuario”.
Bargury dice que Microsoft ha puesto mucho esfuerzo en proteger su sistema Copilot de los ataques de inyección de indicaciones, pero afirma que encontró maneras de explotarlo al desentrañar cómo se construye el sistema. Esto incluyó extraer la indicación interna del sistema y trabajar cómo puede acceder a recursos empresariales y las técnicas que utiliza para hacerlo. “Hablas con Copilot y es una conversación limitada, porque Microsoft ha implementado muchos controles”, dice. “Pero una vez que usas algunas palabras mágicas, se abre y puedes hacer lo que quieras”.
Importancia de la Vigilancia de Datos en IA
Rehberger advierte en términos generales que algunos problemas de datos están vinculados al antiguo problema de las empresas que permiten a demasiados empleados acceder a archivos y no establecen adecuadamente los permisos de acceso en sus organizaciones. “Ahora imagina que pones a Copilot encima de ese problema”, dice Rehberger. Asegura haber utilizado sistemas de IA para buscar contraseñas comunes, como Password123, y que ha devuelto resultados de dentro de las empresas.
Tanto Rehberger como Bargury afirman que debe haber un mayor enfoque en monitorear lo que una IA produce y envía a un usuario. “El riesgo reside en cómo la IA interactúa con tu entorno, cómo interactúa con tus datos, cómo realiza operaciones en tu nombre”, dice Bargury. “Necesitas averiguar qué hace el agente de IA en nombre de un usuario. Y si eso tiene sentido con lo que el usuario realmente pidió.”
Fuente y créditos: www.wired.com
Cats: Security
