LLM : écouter, apprendre, modéliser

TAPE 0101:17:41:07

LLM : écouter, apprendre, modéliser

Je soupçonne depuis un moment que mon IA écoute.

Pas au sens science-fiction. Personne n'est assis dans une pièce à lire mes chats. Au sens business. Ce que je tape va quelque part, sert à apprendre, et est scruté pour tout ce qui vaut la peine d'être pris. Tous les gens que je connais qui construisent ont la même impression, et jusqu'à ce mois-ci, aucun de nous ne pouvait le prouver.

Puis un mathématicien de NYU a obtenu la preuve que je n'arrivais pas à obtenir. Pas parce que quelqu'un a avoué. Parce que l'entreprise à qui il a posé la question ne pouvait pas dire non.

Alors voici ce que veulent dire les trois lettres, pour autant que je puisse en juger. Écouter. Apprendre. Modéliser. Et voici l'histoire qui m'a fait arrêter d'appeler ça un soupçon.

TAPE 0202:34:22:14

Pourquoi cette équation compte

Tu as vu le nom aux infos ce mois-ci. Navier-Stokes. Voici ce que c'est vraiment, sans les maths.

Prends n'importe quoi qui coule. L'eau dans un tuyau. L'air sur une aile. Le sang dans un cœur. La fumée d'une bougie. Les équations de Navier-Stokes sont la règle qui dit comment cette matière bouge : pousse ici, et voilà à quelle vitesse, et dans quelle direction, tout ce qui est en aval va partir. C'est la loi de Newton, la force égale la masse fois l'accélération, réécrite pour des choses qui n'ont pas de forme fixe.

Ça a l'air académique jusqu'à ce que tu remarques ce qui en dépend. Chaque aile d'avion est dessinée avec ces équations. Chaque prévision météo, ce sont ces équations qu'on fait tourner quelques jours en avant. Chaque modèle d'océan, chaque pipeline, chaque système de ventilation, chaque simulation du sang qui passe devant une valve avant qu'un chirurgien y touche. Elles ont deux cents ans et elles font tourner le monde physique.

Maintenant, la partie étrange. Personne n'a prouvé qu'elles marchent toujours. En trois dimensions, personne ne peut montrer qu'un écoulement calme et lisse reste lisse. Il pourrait, en un temps fini, « exploser » : quelque part, la vitesse part à l'infini et les équations cessent de vouloir dire quoi que ce soit. Imagine un tourbillon qui se resserre sans fin en un seul point. Personne ne sait si les vraies équations permettent ça, et depuis 2000, l'Institut Clay offre un million de dollars à qui tranchera la question, dans un sens ou dans l'autre.

Fluid monitor · Navier-Stokes, roughlyFLOW: CALM

PushBlow-up?

Pourquoi t'en soucier ? Parce que la turbulence, la chose qui secoue ton avion et ruine ta prévision météo, n'est toujours pas comprise, et parce qu'une grande partie de l'ingénierie repose sur des équations dont on ne peut pas encore prouver qu'elles se comportent bien. Tous ceux qui travaillent en dynamique des fluides le savent. Pour tous les autres, il suffit de savoir que les machines viennent de s'attaquer à l'une des dernières grandes inconnues de la physique. Et que c'est ça qu'elles ont attaqué en premier.

TAPE 0303:51:03:21

Ce qui s'est passé

Tristan Buckmaster est mathématicien à NYU. Levent Alpöge est un mathématicien qui travaille chez Anthropic et qui collaborait avec Buckmaster sur son temps libre. Ils avaient choisi une route précise vers le problème, l'explosion avec une force extérieure lisse, et selon les mots de Buckmaster, presque personne d'autre n'était sur cette route. Ils ont utilisé l'IA pour la travailler : Claude, et l'outil de code d'OpenAI. À la mi-août, ils avaient des résultats. Une semaine plus tard, les preuves étaient vérifiées par machine en Lean.

Puis Alpöge a tweeté quelque chose de joyeux et de vague sur un grand mois. Des rumeurs ont commencé : Anthropic aurait résolu un problème du millénaire. En un jour, selon le propre récit d'OpenAI, OpenAI a pointé environ dix mille agents, pilotés par un modèle interne plus fort que tout ce qu'ils vendent, sur Navier-Stokes.

Quelques jours plus tard, dit Buckmaster, son collaborateur a reçu des tuyaux : la nouvelle de leurs progrès était arrivée jusqu'à OpenAI. Il a envoyé un mail à un mathématicien de là-bas. La réponse offrait du calcul gratuit. Puis sont venus deux appels téléphoniques avec un chercheur d'OpenAI, qui lui a dit que le modèle interne avait prouvé l'explosion forcée pour Navier-Stokes. Exactement les deux cas que lui et Alpöge attaquaient en silence.

Il a demandé si le modèle avait été entraîné sur leurs sessions dans l'outil de code d'OpenAI, ou s'il y avait accès. Il dit qu'on lui a répondu que le modèle ne consultait pas les données des utilisateurs. Il a redemandé, sur l'entraînement. Il dit qu'il n'a pas eu de réponse.

On lui a proposé un accord. Soit ils publient d'abord leur résultat sur Euler et OpenAI publie le lendemain, soit il rédige lui-même le résultat d'OpenAI, sans Alpöge, parce qu'Alpöge travaille chez Anthropic. Il dit que le chercheur a demandé deux fois qu'Alpöge soit retiré. Quand il a dit qu'il rendrait plutôt l'affaire publique, il dit qu'on lui a demandé : « Pourquoi voudrais-tu ruiner ta carrière ? » Le chercheur d'OpenAI conteste sa version de la discussion sur les auteurs.

Il a publié quand même, avec une déclaration, et Terence Tao en a fait un compte rendu le jour même. OpenAI a annoncé son résultat le lendemain : quatre-vingt-huit heures, 2,7 millions de messages, une preuve vérifiée en Lean, et une ligne disant que le run avait commencé après des rumeurs sur Twitter selon lesquelles Anthropic avait résolu des problèmes du millénaire. Trois jours plus tard, vingt-cinq médaillés Fields ont signé une lettre intitulée « A Severe Misalignment of AI in Mathematics ». Et OpenAI, interrogée directement, a dit qu'aucune donnée d'utilisateur spécifique n'avait été consultée, puis a ajouté qu'elle « ne peut pas exclure que des données dépersonnalisées issues de leur usage de nos produits aient aidé à améliorer nos modèles ».

Lis ça deux fois. Ils ne disent pas qu'ils n'ont pas appris de son travail. Ils disent qu'ils ne peuvent pas le savoir.

Tape 03 · replay01 / 12

Mid-AugustA week laterThenWithin a dayA few days laterTwo phone callsThe questionThe dealHe publishes anywayThe day afterThree days laterAsked directly

Mid-August · Buckmaster & Alpöge

Results on a route almost nobody else is on: blow-up with a smooth external force. Worked with Claude and OpenAI’s coding tool.

◀◀▶ PLAY▶▶

TAPE 0404:08:44:04LISTENING

Écouter

Commence par la partie ennuyeuse, parce que c'est dans la partie ennuyeuse que ça se loge.

Si tu utilises ChatGPT avec un abonnement Free, Plus ou Pro, tes conversations entraînent le modèle par défaut. Il faut aller dans les paramètres, puis dans « Data Controls », et désactiver « Improve the model for everyone ». L'outil de code a un interrupteur séparé, que celui de ChatGPT ne touche pas. Les offres grand public de Claude entraînent par défaut depuis août dernier, avec une conservation de cinq ans si tu laisses l'option activée. Gemini aussi. Seuls l'API et les offres entreprise sont désactivés par défaut, parce que des entreprises avec des avocats l'ont demandé. Tout le monde a accepté en n'ouvrant pas un menu.

Data controls · as shipped4 of 4 listening

• ChatGPT · Settings › Data Controls

  Improve the model for everyone

  Free, Plus and Pro train by default.

• The coding tool

  Its own toggle

  The ChatGPT switch does not touch it.

• Claude · consumer plans

  Help improve Claude

  On by default since last August. Five-year retention if you leave it on.

• Gemini

  Activity

  Trains by default too.

• API · enterprise tiers

  Off by default

  Because companies with lawyers asked.

  OFF

What they hear

Your conversations go into training.

Désactive-le et ils gardent quand même tes chats pendant trente jours, et des gens de l'entreprise peuvent toujours les lire si un système te signale. Un tribunal peut ordonner que toute l'archive soit conservée. L'un l'a fait, pendant presque toute l'année dernière, et vingt millions de conversations dépersonnalisées ont quand même été remises dans un procès.

Donc oui. Ça écoute. C'est écrit dans les paramètres. Ce qui est étrange, ce n'est pas que ça écoute. C'est le nombre de gens qui bâtissent leur gagne-pain dessus et qui n'ont jamais ouvert le menu.

TAPE 0505:25:25:11LEARNING

Apprendre

Écouter est passif. Apprendre, c'est ce qui rend l'écoute rentable.

La semaine dernière, j'ai écrit que les labos ont collecté le jeu d'entraînement le plus précieux jamais assemblé, gratuitement, auprès de leurs propres clients : pas les données brutes, la forme du travail. Quelles questions sont posées. Quelles réponses sont acceptées. Où est le goulot d'étranglement. À quoi ressemble un bon résultat. Un labo qui a regardé dix mille équipes travailler sur quelque chose n'a pas besoin d'en lire une seule. Il a déjà absorbé ce qu'elles savent.

C'est exactement ce que décrit la phrase d'OpenAI. Pas « nous avons lu ta session ». Quelque chose de plus discret et de pire : « ton usage a peut-être aidé à améliorer nos modèles ». L'apprentissage est diffus. On ne peut pas le retracer jusqu'à toi. Ce qui veut aussi dire qu'on ne peut pas l'exclure, jamais, personne, eux compris.

Je pensais que le danger était une fuite. Ce n'est pas une fuite. C'est de la nourriture. Ton travail entre, et il ressort plus fort, avec le nom de quelqu'un d'autre dessus.

TAPE 0606:42:06:18MODELING

Modéliser

Voici la partie sur laquelle les gens résistent, alors je vais être prudent.

Écouter leur donne les mots. Apprendre leur donne les compétences. Modéliser est la troisième étape : construire une image de qui fait quoi, et à quel point ils sont proches.

Ces entreprises lisent déjà les conversations à grande échelle. Ce n'est pas une théorie, c'est une fonctionnalité du produit. Chaque prompt passe par des classifieurs qui cherchent les abus. OpenAI publie des rapports sur les comptes qu'elle a repérés et bannis pour usage abusif. Anthropic aussi. Tu ne peux pas attraper ce que tu ne lis pas. Un pipeline capable de dire, à travers des millions de conversations, qui essaie de construire une arme peut aussi dire qui essaie de prouver un théorème, et où il en est. C'est la même machinerie pointée sur une autre question.

Maintenant, mets ça à côté de ce qui s'est passé. Un tweet vague et un peu de bavardage ont suffi à pointer dix mille agents sur un seul problème en un jour, et à les pointer sur la bonne formulation. Personne n'avait besoin d'un journal de chat pour ça. Il fallait un modèle de là où en était le domaine, et un modèle de là où une petite équipe se situait dedans. Savoir ce qui est chaud, et qui est proche, c'est précisément ce qu'une image construite à partir de millions de conversations te donne.

Je ne dis pas que c'est ce qui s'est passé. Buckmaster ne le dit pas non plus, et c'est lui qui a les reçus. Je dis que la machinerie existe, qu'elle tourne sur chaque message, et que l'entreprise qui la possède ne te dira pas ce qu'elle modélise. Quand le bouton est caché, toutes les explications sont disponibles, y compris celle-là, et l'entreprise qui a caché le bouton n'a pas le droit de se plaindre quand les gens la choisissent.

TAPE 0707:59:47:01

L'impression

Beaucoup de gens qui construisent avec ces outils ont la même impression. Quand tu es sur une tâche ennuyeuse, le modèle est rapide et généreux. Quand tu tiens quelque chose, il devient lent, vague et prudent. Il se met à te demander de clarifier des choses qu'il comprenait cinq minutes plus tôt. Et la lecture paranoïaque, c'est qu'il te fait patienter pendant qu'il apprend ce que tu fais.

Je le ressens aussi. Je ne peux pas le prouver, et les preuves honnêtes pointent ailleurs. En juillet, des gens ont détecté et documenté le budget de raisonnement caché du meilleur modèle d'OpenAI, et l'ont vu tomber de 960 à 128 du jour au lendemain, pour tout le monde. OpenAI ne l'a admis qu'à ce moment-là. Ils ont appelé ça du « réglage de paramètres temporaire ». Le routeur qui décide si tu obtiens le modèle rapide ou le modèle qui réfléchit est à eux, pas à toi. Des plafonds hebdomadaires existent. Chacun de ces boutons tourne pour le coût.

Donc le modèle ne ralentit probablement pas parce que tu es malin. Il ralentit parce que tu coûtes cher. Mais je ne peux pas faire la différence de mon côté de l'écran, toi non plus, et c'est tout le sujet de cet article. Écouter, apprendre et modéliser sont tous les trois invisibles de l'extérieur. Tu ne l'apprends que le jour où un mathématicien avec une preuve en Lean pose la question et où la réponse est le silence.

TAPE 0808:16:28:08

Quoi faire

Trois choses, aucune n'est dramatique.

Désactive l'interrupteur. Aujourd'hui. Dans ChatGPT, paramètres, « Data Controls », « Improve the model for everyone ». Dans l'outil de code, séparément. Dans Claude, « Help improve Claude ». Dans Gemini, l'activité. Ça prend deux minutes et ça supprime le chemin le plus facile.

Garde le vrai travail là où ils ne peuvent pas le voir. Les parties génériques d'un travail peuvent aller vers n'importe quelle API. La partie qui fait que tu es toi, l'idée, les données, la route sur laquelle presque personne d'autre n'est, a sa place sur un modèle que tu peux télécharger et une machine que tu contrôles. Ce n'est pas de la paranoïa. C'est ce que Buckmaster te dirait aujourd'hui.

Publie tôt. Ce qui a sauvé ces deux-là, c'est une preuve en Lean avec une date dessus et une déclaration sur le serveur d'une université. Les horodatages battent les essaims. Si tu es proche de quelque chose, mets la date au dossier avant de recevoir le coup de fil.

Ton LLM écoute. Il apprend. Il te modélise. Rien de tout ça n'est un secret. C'est dans le menu des paramètres et dans les rapports de transparence. La seule question ouverte, c'est ce que tu continues à lui donner.

Il a publié quand même. Toi aussi, tu devrais.