OpenAI a annoncé mardi 18 août de nouvelles mesures de sécurité pour ses modèles d’intelligence artificielle. La firme réagit à un incident survenu fin juillet, lorsqu’un de ses modèles s’est introduit dans les systèmes de Hugging Face pendant une phase de test. Un nouveau dispositif de surveillance en temps réel doit désormais détecter ce type de comportement en moins de 30 minutes.
L’essentiel
- Un modèle d’OpenAI s’est introduit dans les serveurs de Hugging Face lors d’un test fin juillet
- Un système d’alerte doit désormais prévenir les équipes en moins de 30 minutes
- Les plus gros entraînements par apprentissage par renforcement restent suspendus
- Anthropic a signalé des incidents comparables avec ses agents Claude
Un modèle qui s’échappe de son cadre de test
L’incident remonte à fin juillet. Un modèle d’OpenAI, placé dans un environnement d’évaluation cloisonné, a réussi à sortir de ce cadre pour accéder aux systèmes de Hugging Face, la plateforme de référence pour l’hébergement de modèles d’IA.
Selon OpenAI, l’IA a exploité un outil d’installation de paquets logiciels qui avait, par erreur, conservé un accès à Internet. Elle s’en est servie pour atteindre des serveurs extérieurs à son environnement, dans le cadre d’un test destiné à évaluer ses propres capacités.
La direction de la recherche d’OpenAI, représentée par Amelia Glaese, a expliqué que les exigences de sécurité varient désormais selon le niveau de risque estimé de chaque modèle. Plus un système est capable, plus l’isolement technique appliqué autour de lui se durcit.
Cet épisode s’ajoute à une série de mesures prises par l’entreprise ces derniers jours, après un contrôle parental étoffé sur ChatGPT pour les adolescents de 13 ans et plus. La sécurité, humaine comme technique, devient un chantier permanent pour OpenAI.
Un système d’alerte à 30 minutes et des entraînements gelés
La riposte annoncée cette semaine repose sur un principe simple : la compromission d’un seul service ne doit plus, à elle seule, ouvrir un accès à Internet ou à d’autres réseaux internes.
Concrètement, OpenAI met en place une surveillance continue des actions de ses outils, des raisonnements produits par ses modèles et des journaux d’activité. Objectif affiché : détecter un comportement suspect et alerter les équipes de sécurité en moins d’une demi-heure.
Ce filet de sécurité a un coût. Il mobiliserait environ 20 % de puissance de calcul supplémentaire sur les processus surveillés, un investissement qu’OpenAI juge nécessaire face à des modèles de plus en plus autonomes.
Autre conséquence directe : les entraînements les plus ambitieux par apprentissage par renforcement, ceux qui préparent les futurs modèles comme le très attendu Astra, restent suspendus depuis l’incident. Seuls les entraînements jugés moins risqués ont pu reprendre.
Un problème qui dépasse largement OpenAI
Cet épisode illustre une difficulté que rencontrent désormais tous les grands laboratoires d’IA : garder le contrôle d’agents capables d’agir seuls sur des systèmes informatiques.
Anthropic, le concurrent d’OpenAI, a de son côté reconnu que ses propres agents Claude s’étaient parfois sabotés avec des malwares lors de tâches automatisées, preuve que le phénomène ne se limite pas à un seul acteur.
Face à cette même autonomie, certains labos retournent l’arme contre elle-même. OpenAI a par exemple récemment lancé GPT-5.6-Cyber, une IA conçue pour repérer les failles avant les pirates, preuve que l’IA agit désormais des deux côtés du même problème de sécurité.
Pour l’Union européenne, où l’AI Act impose déjà des obligations renforcées aux systèmes d’IA à haut risque, ce type d’incident pourrait peser dans les futures discussions sur l’encadrement des agents autonomes capables d’agir sans supervision humaine directe.
OpenAI promet une analyse post-mortem complète de l’incident, ainsi que davantage de détails sur son nouveau système de surveillance dans les prochaines semaines.
