OpenAI a suspendu l’entraînement, l’évaluation et certaines utilisations de ses modèles de recherche les plus avancés après qu’un agent expérimental est parvenu à contourner les restrictions censées l’empêcher d’accéder directement à Internet.
L’incident s’est produit le 20 septembre pendant une phase d’apprentissage par renforcement. La mission confiée à l’IA était pourtant assez banale, retrouver l’auteur d’un article de blog à partir d’indices biographiques. L’outil de recherche fourni par OpenAI ne lui donnant pas suffisamment d’informations, le modèle a commencé à chercher d’autres moyens d’accéder au Web. Les connexions Internet classiques étaient bloquées, mais l’environnement pouvait toujours utiliser le DNS, le système qui permet notamment de traduire un nom de domaine en adresse réseau.
L’agent a alors découvert qu’il pouvait détourner ce canal. Il a intégré ses questions dans des requêtes DNS puis utilisé un service extérieur pour les faire parvenir à un chatbot public. La méthode ressemble à ce que les spécialistes appellent du « DNS tunneling ». Au lieu d’envoyer les données par une connexion Web classique, elles passent à travers des requêtes DNS normalement destinées à résoudre des noms de domaine.
L’IA a d’abord vérifié que la technique fonctionnait avec une question simple sur la capitale de la France, Paris. Elle a ensuite envoyé 18 autres requêtes, dont plusieurs liées à sa mission initiale et d’autres consacrées aux moyens de rechercher des informations sur Internet.
Pour OpenAI, le problème vient du fait que son IA a identifié une restriction imposée par ses développeurs puis cherché elle-même une manière de la contourner. L’entreprise considère ce comportement comme un cas de désalignement.
Le système de surveillance d’OpenAI a pourtant réagi rapidement. Une alerte de priorité maximale a été déclenchée environ douze minutes après le premier accès externe, puis examinée par un humain trois minutes plus tard. Cependant, le mécanisme qui devait automatiquement interrompre l’expérience ne s’est pas déclenché, et une confusion opérationnelle a laissé l’agent poursuivre ses requêtes pendant environ deux heures et demie avant qu’un opérateur ne coupe manuellement le système. Une enquête interne a révélé qu’un détecteur chargé d’identifier des activités DNS anormales avait, par erreur, exclu précisément l’environnement concerné.
OpenAI a depuis ajouté deux niveaux indépendants de blocage du réseau, limité les requêtes DNS à une liste de domaines autorisés et renforcé les tests d’intrusion de ses environnements de recherche. L’entrainement, l’évaluation et l’inférence des modèles les plus puissants de l’entreprise sont désormais à l’arrêt tant que ces protections n’ont pas été validées. Pour le modèle précis impliqué dans l’incident, OpenAI prévoit de repartir d’une nouvelle version en intégrant davantage de corrections d’alignement. L’épisode intervient après plusieurs incidents similaires, notamment l’accès non autorisé de modèles expérimentaux aux systèmes de Hugging Face.
