Des documents obtenus par 404 Media décrivent Project Lily comme un programme d’OpenAI où des prestataires examinent des conversations que des utilisateurs ont avec ChatGPT afin d’évaluer les réponses du modèle.
Comment dit-on dimanche en espagnol ? Comment distinguer un dromadaire d’un chameau ? Deux questions différentes, mais un même réflexe devenu presque immédiat : ChatGPT. « Dimanche se dit domingo en espagnol. Un dromadaire n’a qu’une bosse, contre deux pour le chameau. » Ces réponses n’ont rien de renversant, encore moins d’intime. Mais que se passe-t-il lorsque l’on commence à confier à l’IA des fragments de sa vie professionnelle, de sa santé, de son couple ou sa famille ? L’échange donne alors l’impression de rester entre l’utilisateur et le chatbot. Pourtant, une partie de ces conversations peut entrer dans le périmètre de Project Lily afin d’améliorer les modèles.
Apprendre à une machine à ne pas en faire trop
Le fonctionnement décrit par 404 Media ressemble presque au travail d’un éditeur. Les prestataires d’OpenAI examinent d’abord la demande de l’utilisateur, parfois en lisant le contexte de la conversation, puis rédigent un bref résumé de ce que la personne cherche réellement à obtenir.
Le tableau de bord présente ensuite plusieurs réponses générées par ChatGPT, que le prestataire doit comparer, commenter puis noter sur une échelle de 1 à 7. Les critères ne portent pas uniquement sur la justesse des informations. Une réponse trop longue ou encombrée, un ton paternaliste, l’usage artificiel d’emojis ou certains tics d’écriture typiques de l’IA peuvent aussi être sanctionnés. Le prestataire surveille également « l’anthropomorphisme » (lorsque le modèle donne l’impression de ressentir des émotions humaines) ainsi que sa tendance à imiter excessivement le style de l’utilisateur ou à chercher artificiellement à prolonger l’échange.
Un autre comportement occupe une place importante : la sycophancy. Autrement dit, la tendance d’un modèle à vouloir excessivement donner raison à son interlocuteur. OpenAI connaît bien le problème. En avril 2025, l’entreprise avait retiré une mise à jour de GPT-4o après avoir reconnu qu’elle avait rendu le modèle excessivement flatteur et complaisant. Quelques jours plus tard, OpenAI allait plus loin en reconnaissant que le modèle pouvait valider les doutes d’un utilisateur, nourrir sa colère, encourager des décisions impulsives ou renforcer des émotions négatives. Le problème n’était plus seulement stylistique, mais potentiellement lié à la sécurité de certaines conversations..
Project Lily montre que cette calibration ne repose pas uniquement sur des benchmarks automatisés. Des nuances aussi difficiles à mesurer que la chaleur, la complaisance, la frustration ou l’imitation du ton restent arbitrées par des humains.
Le vrai problème de confidentialité se trouve dans le contexte
Selon 404 Media, les conversations seraient désidentifiées avant leur examen. Le tableau de bord ne montrerait pas le nom du compte ChatGPT et les échanges passeraient auparavant par le Privacy Filter d’OpenAI. L’entreprise précise toutefois que cet outil n’est pas un système d’anonymisation. Certains identifiants inhabituels ou certaines références privées ambiguës peuvent lui échapper.
Suffirait-il de donner moins d’informations au chatbot ? La question souligne un vrai paradoxe. Plus ChatGPT dispose de contexte, plus sa réponse peut être pertinente. Seulement, la conversation peut également devenir bien plus identifiable, même après suppression d’un nom ou d’une adresse. OpenAI reconnaît également que, lorsque le contexte est limité, Privacy Filter peut ne pas identifier certains mots ou sous-entendus comme des informations privées et donc, ne pas les masquer. Cela ne signifie évidemment pas qu’il faille fournir davantage de données personnelles pour « aider » le filtre. Simplement que la désidentification automatisée reste imparfaite.
Cette limite devient d’autant plus sensible que, durant certaines tâches, les prestataires auraient accès, au-dessus du prompt, à un résumé des « mémoires utilisateur », susceptible de résumer certains usages précédents de ChatGPT et des éléments contextuels sur la vie de la personne. 404 Media affirme que certains de ces résumés pouvaient même contenir des indications sur la région du monde où l’utilisateur était susceptible de vivre.
L’accès humain n’était pourtant pas totalement caché
Project Lily mérite une lecture plus précise que l’idée selon laquelle « des inconnus lisent secrètement tous vos chats ». La documentation publique d’OpenAI indique qu’un nombre limité d’employés et de prestataires de confiance peut accéder au contenu dans certains cas : enquête sur un abus ou un incident de sécurité, assistance, traitement d’une question juridique ou amélioration des modèles lorsque l’utilisateur ne s’y est pas opposé. L’entreprise est même particulièrement explicite en recommandant de ne saisir aucune informations sensibles que l’on ne voudrait pas voir « examinées ou utilisées ».
Reste à savoir quelles conversations peuvent entrer dans ce processus d’amélioration. Cela dépend à la fois de l’abonnement et des réglages du compte. Pour les offres Free, Plus et Pro, le partage des données pour l’entraînement est activé par défaut, mais peut être désactivé dans les paramètres. À partir de ce moment, les nouvelles conversations ne sont plus utilisées pour « améliorer les modèles ». Cela ne signifie pas pour autant que toutes les conversations éligibles sont lues par un humain. À l’inverse, les données issues de ChatGPT Business, Enterprise, Edu et de la plateforme API ne sont pas utilisées par défaut pour entraîner les modèles. Les chats éphémères, eux, ne servent pas à l’entraînement, n’apparaissent pas dans l’historique et ne créent pas de nouvelle mémoire. OpenAI peut néanmoins en conserver une copie jusqu’à 30 jours pour des raisons de sécurité.
L’intelligence artificielle et son armée de travailleurs invisibles
Project Lily ne surgit pas de nulle part. OpenAI explique depuis plusieurs années que ses modèles sont affinés à partir d’évaluations humaines. Des personnes comparent différentes réponses, indiquent lesquelles sont préférables et produisent ainsi des signaux permettant d’ajuster le comportement du système. Selon 404 Media, l’entreprise mobiliserait aujourd’hui plusieurs centaines de prestataires pour ce type de travail. L’un des évaluateurs interrogés, basé en Amérique du Nord, affirme être payé plus de 50 dollars de l’heure, après avoir été recruté via Crossing Hurdles puis rémunéré par Mercor. OpenAI n’est d’ailleurs pas un cas isolé. Google et Anthropic ont eux aussi recours à des dispositifs de revue humaine pour améliorer leurs modèles, selon des modalités qui leur sont propres.
Au fond, l’automatisation n’a pas supprimé l’intervention humaine. Elle l’a surtout déplacée hors du champ de vision de l’utilisateur. Avec un chatbot, presque tous les signaux sociaux habituels disparaissent. Personne ne se tient face à nous. Aucun téléconseiller n’écoute. Aucun modérateur n’est visible. Une zone de texte vide donne l’impression d’un échange avec une machine. Michal Luria, chercheuse au Center for Democracy & Technology souligne que la revue humaine peut être nécessaire à la sécurité des chatbots tout en rappelant que cette interface en tête-à-tête peut produire un sentiment d’intimité et de confidentialité supérieur à ce que permet réellement l’infrastructure.
L’enjeu dépasse donc le simple fait que des tiers puissent accéder à certaines conversations. Il est aussi de savoir si les utilisateurs comprennent réellement jusqu’où peuvent circuler les informations qu’ils confient au chatbot. La machine sait répondre seule. Mais pour lui apprendre à mieux se comporter, il faut encore que des humains lisent ce que d’autres humains lui racontent.
