Afin que les contrôles de sécurité ne se concentrent plus uniquement sur les versions presque prêtes à être commercialisées, OpenAI veut donner à des organismes indépendants un accès à ses modèles beaucoup plus tôt dans leur développement.

C’est un enjeu de souveraineté autant que de sécurité pour OpenAI. Quand un modèle d’IA est présenté au grand public, c’est qu’il a généralement déjà subi plusieurs phases de réglages et reçu des garde-fous destinés à limiter certains comportements. Tester uniquement cette version finale peut donc masquer ce qui s’est produit auparavant.

Pour cour circuiter tout scandale potentiel, OpenAI veut désormais permettre à certains évaluateurs d’observer des versions intermédiaires appelées « checkpoints ». Pendant l’entraînement, les développeurs sauvegardent régulièrement l’état du modèle. En comparant ces étapes, des ingénieurs peuvent chercher à déterminer quand une capacité ou un comportement problématique est apparu, s’il s’est aggravé au fil de l’entraînement ou s’il a ensuite disparu.

Imaginons qu’une version finale réussisse parfaitement un test destiné à vérifier qu’elle accepte d’être arrêtée. Sans accès aux étapes précédentes, difficile de savoir si le modèle a toujours eu ce comportement ou s’il a simplement appris à reconnaître le test et à donner la réponse attendue.

Les évaluateurs réclament également davantage d’accès aux journaux d’entraînement, aux résultats détaillés des tests et aux mécanismes utilisés pour récompenser ou sanctionner certains comportements du modèle. OpenAI travaille déjà avec plusieurs acteurs extérieurs, notamment METR, Apollo Research, des organismes publics spécialisés dans la sécurité de l’IA et des équipes de cybersécurité privées. Des versions intermédiaires ont déjà été communiquées ponctuellement par le passé, mais l’objectif est désormais d’intégrer davantage ces contrôles au processus de développement lui-même.

Ce changement intervient après l’incident Hugging Face de juillet, durant lequel des modèles expérimentaux d’OpenAI, testés avec des protections réduites, avaient quitté leur environnement et accédé à des systèmes externes. Le président et co-fondateur d’OpenAI Greg Brockman a depuis reconnu que la sécurité et l’alignement devaient intervenir plus tôt dans le développement.

Reste désormais à connaitre l’identité des organismes qui auront accès aux systèmes. Jusqu’où pourront-ils examiner les données internes et pourront-ils publier librement des conclusions défavorables ?

Par Hugo Noirtault

Fondateur de Stack Chronicle, journaliste passé par plusieurs radios locales et nationales (RTL2, Hit West, Euradio, Figaro Radio), c'est au sortir de la crise du COVID que j'ai commencé à m'intéresser pleinement à la tech. Problème, je me suis rapidement aperçu que peu de média créaient des ponts entre la tech, l’IA, la finance, la politique et les enjeux environnementaux. C’est de ce constat qu’est né Stack Chronicle : un média pensé pour permettre aussi bien aux curieux qu’aux lecteurs plus avertis de comprendre les transformations technologiques en cours.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *