Un modèle de conversation piégé sort du bac à sable de Jinja grâce à une faille mémoire de Python lui-même
La société de sécurité RunSybil montre comment un modèle malveillant peut exécuter du code sur des serveurs d'IA, mais aucun projet ne veut vraiment endosser le problème.
Des chercheurs de la société américaine de sécurité RunSybil ont découvert dans CPython, l'implémentation de référence de Python, une erreur de mémoire qui permet à un attaquant de sortir de l'environnement isolé du langage de gabarits Jinja. C'est ce que rapporte InfoWorld, dans un article partagé avec CSO Online. La faille se trouve dans le code qui gère les types génériques: un contrôle des limites d'une liste est désactivé dans les versions publiées, ce qui permet à Python de lire en dehors de la mémoire allouée.
De nombreux serveurs qui font tourner des modèles de langage utilisent Jinja pour traiter le gabarit de conversation d'un modèle. RunSybil a montré qu'un gabarit modifié dans un petit modèle Qwen, chargé dans le logiciel d'inférence vLLM, très répandu, pouvait exécuter du code arbitraire. Le risque est le plus grand chez les fournisseurs qui laissent leurs clients télécharger leurs propres modèles, car un attaquant pourrait alors atteindre les charges de travail d'autres clients, selon les chercheurs. AWS a pris une mesure d'atténuation dans Bedrock, indique RunSybil.
Le signalement a donné lieu à un renvoi de balle. L'équipe de sécurité de Python a reconnu l'erreur et intégré le correctif de RunSybil dans Python 3.13 à 3.15, mais ne considère pas l'évasion d'un bac à sable comme une vulnérabilité de Python. Les responsables de Jinja renvoient à leur tour vers Python, et Hugging Face n'a pas répondu dans le délai de nonante jours. RunSybil conseille de ne voir dans les systèmes de gabarits et les bacs à sable qu'une protection d'appoint, et non une véritable frontière de sécurité.