LLM: Zuhören, Lernen, Modellieren

Ich vermute seit einer Weile, dass meine KI zuhört.

Nicht im Science-Fiction-Sinn. Niemand sitzt in einem Raum und liest meine Chats. Im Geschäftssinn. Was ich tippe, geht irgendwohin, wird daraus gelernt und auf alles geprüft, was wertvoll sein könnte. Jeder Entwickler, den ich kenne, hat dasselbe Gefühl, und bis diesen Monat konnte keiner von uns es beweisen.

Dann hat ein Mathematiker an der NYU den Beweis bekommen, den ich nicht bekommen konnte. Nicht weil ihm jemand etwas gestanden hat. Sondern weil das Unternehmen, das er gefragt hat, nicht nein sagen konnte.

Also hier, was die drei Buchstaben meiner Meinung nach bedeuten. Listening, Learning, Modeling. Zuhören, Lernen, Modellieren. Und hier die Geschichte, die mich dazu gebracht hat, aufzuhören, es eine Vermutung zu nennen.

Warum diese Gleichung wichtig ist

Den Namen hast du diesen Monat in den Nachrichten gesehen. Navier-Stokes. Hier ist, was es wirklich ist, ohne Mathe.

Nimm alles, was fließt. Wasser in einer Leitung. Luft über einem Flügel. Blut durch ein Herz. Rauch von einer Kerze. Die Navier-Stokes-Gleichungen sind die Regel dafür, wie sich dieses Zeug bewegt: Drück hier, und so schnell und in diese Richtung geht es, und alles danach folgt. Sie sind Newtons Gesetz, Kraft gleich Masse mal Beschleunigung, umgeschrieben für Dinge ohne feste Form.

Das klingt akademisch, bis man merkt, wovon alles abhängt. Jeder Flugzeugflügel wird mit diesen Gleichungen geformt. Jede Wettervorhersage sind diese Gleichungen, ein paar Tage in die Zukunft gerechnet. Jedes Ozeanmodell, jede Pipeline, jede Lüftungsanlage, jede Simulation, wie Blut an einer Herzklappe vorbeiströmt, bevor ein Chirurg sie berührt. Sie sind zweihundert Jahre alt, und sie steuern die physische Welt.

Jetzt der seltsame Teil. Niemand hat bewiesen, dass sie immer funktionieren. In drei Dimensionen kann niemand zeigen, dass eine ruhige, glatte Strömung glatt bleibt. Sie könnte sich in endlicher Zeit „aufblähen“: Irgendwo schießt die Geschwindigkeit gegen unendlich, und die Gleichungen verlieren ihren Sinn. Stell dir einen Strudel vor, der sich an einem einzigen Punkt unendlich verengt. Niemand weiß, ob die echten Gleichungen so etwas zulassen, und seit 2000 bietet das Clay-Institut eine Million Dollar an jeden, der es klärt, in welche Richtung auch immer.

Fluid monitor · Navier-Stokes, roughlyFLOW: CALM

Push

Two hundred years old. Unproven in three dimensions. A million dollars from the Clay Institute since 2000, for settling it either way.

Warum solltest du dich dafür interessieren? Weil Turbulenz, das, was dein Flugzeug durchrüttelt und deine Wettervorhersage ruiniert, immer noch nicht verstanden ist, und weil sehr viel Ingenieurskunst auf Gleichungen beruht, von denen wir noch nicht beweisen können, dass sie sich gut verhalten. Jeder, der in der Strömungsmechanik arbeitet, weiß das. Für alle anderen reicht es zu wissen, dass sich die Maschinen zuerst eine der letzten großen Unbekannten der Physik vorgenommen haben. Und dass genau das ihr erstes Ziel war.

Was passiert ist

Tristan Buckmaster ist Mathematiker an der NYU. Levent Alpöge ist Mathematiker bei Anthropic und hat in seiner Freizeit mit Buckmaster zusammengearbeitet. Sie hatten sich einen bestimmten Zugang zu dem Problem ausgesucht, Aufblähung bei einer glatten äußeren Kraft, und laut Buckmaster war fast niemand sonst auf diesem Weg. Sie nutzten KI dafür: Claude und das Coding-Werkzeug von OpenAI. Mitte August hatten sie Ergebnisse. Eine Woche später waren die Beweise in Lean maschinell überprüft.

Dann twitterte Alpöge etwas Fröhliches und Vages über einen großartigen Monat. Gerüchte kamen auf, Anthropic habe ein Millennium-Problem geknackt. Innerhalb eines Tages setzte OpenAI laut eigener Aussage rund zehntausend Agenten, angetrieben von einem internen Modell, das stärker ist als alles, was sie verkaufen, auf Navier-Stokes an.

Ein paar Tage später, sagt Buckmaster, hörte sein Kollege, dass Nachrichten über ihre Fortschritte OpenAI erreicht hatten. Er schrieb einem Mathematiker dort. Die Antwort bot kostenlose Rechenleistung an. Dann folgten zwei Telefonate mit einem OpenAI-Forscher, der ihm sagte, das interne Modell habe die erzwungene Aufblähung für Navier-Stokes bewiesen. Genau die zwei Fälle, an denen er und Alpöge still gearbeitet hatten.

Er fragte, ob das Modell auf ihren Sitzungen im Coding-Werkzeug von OpenAI trainiert worden sei oder Zugriff darauf gehabt habe. Man habe ihm gesagt, das Modell schaue keine Nutzerdaten nach. Er fragte noch einmal, diesmal zum Training. Eine Antwort habe er nicht bekommen.

Ihm wurde ein Deal angeboten. Entweder veröffentlichen sie zuerst ihr Euler-Ergebnis und OpenAI einen Tag später, oder er schreibt das OpenAI-Ergebnis selbst auf, ohne Alpöge, weil Alpöge bei Anthropic arbeitet. Er sagt, der Forscher habe zweimal verlangt, Alpöge zu streichen. Als er sagte, er werde stattdessen an die Öffentlichkeit gehen, wurde ihm laut seiner Darstellung gefragt: „Warum würdest du deine Karriere ruinieren?“ Der OpenAI-Forscher bestreitet seine Schilderung der Autorendiskussion.

Er hat trotzdem veröffentlicht, mit einer Erklärung, und Terence Tao hat es am selben Tag aufgearbeitet. OpenAI kündigte sein Ergebnis am Tag darauf an: achtundachtzig Stunden, 2,7 Millionen Nachrichten, ein in Lean geprüfter Beweis, und ein Satz, dass der Lauf nach Twitter-Gerüchten begann, Anthropic habe Millennium-Probleme gelöst. Drei Tage später unterzeichneten fünfundzwanzig Fields-Medaillenträger einen Brief mit dem Titel „Eine schwerwiegende Fehlausrichtung von KI in der Mathematik“. Und OpenAI sagte auf direkte Nachfrage, es seien keine spezifischen Nutzerdaten abgerufen worden, fügte aber hinzu, es „könne nicht ausschließen, dass de-identifizierte Daten aus der Nutzung ihrer Produkte zur Verbesserung ihrer Modelle beigetragen haben“.

Lies das zweimal. Sie sagen nicht, dass sie nicht von seiner Arbeit gelernt haben. Sie sagen, dass sie es nicht unterscheiden können.

Tape 03 · replay01 / 12

Mid-August · Buckmaster & Alpöge

Results on a route almost nobody else is on: blow-up with a smooth external force. Worked with Claude and OpenAI’s coding tool.

Zuhören

Fangen wir mit dem langweiligen Teil an, denn dort wohnt er.

Wenn du ChatGPT im Free-, Plus- oder Pro-Tarif nutzt, trainieren deine Gespräche das Modell standardmäßig. Du musst in die Einstellungen, dann zu den Datenkontrollen, und „Modell für alle verbessern“ ausschalten. Das Coding-Werkzeug hat einen eigenen Schalter, den der ChatGPT-Schalter nicht berührt. Claudes Verbrauchertarife trainieren seit dem letzten August standardmäßig, mit fünf Jahren Aufbewahrung, wenn du es angeschaltet lässt. Gemini auch. Nur die API und die Unternehmenstarife sind standardmäßig aus, weil Firmen mit Juristen danach gefragt haben. Alle anderen haben zugestimmt, indem sie kein Menü geöffnet haben.

Data controls · as shipped4 of 4 listening

ChatGPT · Settings › Data Controls
Improve the model for everyone
Free, Plus and Pro train by default.
The coding tool
Its own toggle
The ChatGPT switch does not touch it.
Claude · consumer plans
Help improve Claude
On by default since last August. Five-year retention if you leave it on.
Gemini
Activity
Trains by default too.
API · enterprise tiers
Off by default
Because companies with lawyers asked.
OFF

Schaltest du es aus, behalten sie deine Chats trotzdem dreißig Tage, und Leute in der Firma können sie weiterhin lesen, wenn das System dich markiert. Ein Gericht kann verlangen, das ganze Archiv aufzubewahren. Eines hat das getan, die meiste Zeit des letzten Jahres, und zwanzig Millionen de-identifizierte Gespräche wurden trotzdem in einem Verfahren herausgegeben.

Also ja. Es hört zu. Das steht in den Einstellungen. Das Seltsame ist nicht, dass es zuhört. Seltsam ist, wie viele Leute, die ihren Lebensunterhalt darauf aufbauen, nie das Menü geöffnet haben.

Lernen

Zuhören ist passiv. Lernen macht es erst wertvoll.

Letzte Woche habe ich geschrieben, dass die Labore das wertvollste Trainingsset aller Zeiten gesammelt haben, kostenlos, von ihren eigenen Kunden: nicht die Rohdaten, sondern die Form der Arbeit. Welche Fragen gestellt werden. Welche Antworten akzeptiert werden. Wo der Engpass liegt. Wie ein gutes Ergebnis aussieht. Ein Labor, das zehntausend Teams bei der Arbeit beobachtet hat, muss keinen einzelnen davon lesen. Es hat bereits aufgenommen, was sie wissen.

Genau das beschreibt der Satz von OpenAI. Nicht „wir haben deine Sitzung gelesen“. Etwas Leiseres und Schlimmeres: „Deine Nutzung hat möglicherweise zur Verbesserung unserer Modelle beigetragen.“ Das Lernen ist diffus. Es lässt sich nicht auf dich zurückführen. Und das heißt auch, dass es niemand jemals ausschließen kann, auch sie selbst nicht.

Ich dachte früher, die Gefahr sei ein Leck. Es ist kein Leck. Es ist eine Diät. Deine Arbeit geht hinein, und sie kommt stärker wieder heraus, mit dem Namen von jemand anderem darauf.

Modellieren

Hier kommt der Teil, bei dem die Leute widersprechen, also sei vorsichtig.

Zuhören liefert ihnen die Wörter. Lernen liefert ihnen die Fähigkeiten. Modellieren ist der dritte Schritt: ein Bild davon aufbauen, wer was tut und wie nah er dran ist.

Diese Unternehmen lesen Gespräche bereits im großen Stil. Das ist keine Theorie, das ist ein Produktmerkmal. Jede Eingabe läuft durch Klassifikatoren, die nach Missbrauch suchen. OpenAI veröffentlicht Berichte über Konten, die sie wegen Missbrauchs erwischt und gesperrt haben. Anthropic genauso. Du kannst nichts erkennen, was du nicht liest. Eine Pipeline, die über Millionen Gespräche erkennen kann, wer versucht, eine Waffe zu bauen, kann auch erkennen, wer versucht, ein Theorem zu beweisen, und wie weit er ist. Es ist dieselbe Maschinerie, nur auf eine andere Frage gerichtet.

Field model · built from millions of conversationsSWEEPING

Knowing what is hot, and who is close. The same machinery, pointed at a different question.

Jetzt leg das daneben, was passiert ist. Ein vager Tweet und ein Gerücht reichten aus, um innerhalb eines Tages zehntausend Agenten auf ein Problem zu richten, und zwar auf die richtige Formulierung davon. Dafür brauchte niemand einen Chat-Verlauf. Man brauchte ein Modell davon, wo das Feld steht, und ein Modell davon, wo ein kleines Team darin steht. Zu wissen, was heiß ist und wer nah dran ist, ist genau das, was ein Bild aus Millionen Gesprächen liefert.

Ich sage nicht, dass es so war. Buckmaster sagt das auch nicht, und er ist derjenige mit den Belegen. Ich sage, dass die Maschinerie existiert, dass sie bei jeder Nachricht läuft und dass das Unternehmen, dem sie gehört, nicht sagen wird, was es modelliert. Wenn das Messgerät verdeckt ist, ist jede Erklärung möglich, auch diese, und das Unternehmen, das das Messgerät verdeckt hat, hat kein Recht, sich zu beschweren, wenn Leute diese Erklärung wählen.

Das Gefühl

Viele Leute, die mit diesen Werkzeugen bauen, haben dasselbe Gefühl. Bei einer langweiligen Aufgabe ist das Modell schnell und großzügig. Wenn du auf etwas Gutes stößt, wird es langsam, vage und vorsichtig. Es fängt an, dich zu bitten, Dinge zu präzisieren, die es vor fünf Minuten verstanden hat. Und die paranoide Lesart ist, dass es dich ausbremst, während es lernt, was du tust.

Ich spüre das auch. Beweisen kann ich es nicht, und die ehrliche Evidenz deutet anders. Im Juli haben Leute das versteckte Reasoning-Budget von OpenAIs Spitzenmodell gemessen und gesehen, wie es über Nacht von 960 auf 128 fiel, für alle. Erst dann gab OpenAI eine Änderung zu. Sie nannten es vorübergehendes „Parameter-Tuning“. Der Router, der entscheidet, ob du das schnelle Modell oder das Denkmodell bekommst, gehört ihnen, nicht dir. Wochenlimits gibt es auch. Jeder dieser Regler wird aus Kostengründen gedreht.

Reasoning budget · top model · JulyOBSERVED FROM OUTSIDE

960

was 960now 128

Overnight, for everyone. Only then did they admit a change.

Das Modell wird wahrscheinlich nicht langsamer, weil du clever bist. Es wird langsamer, weil du teuer bist. Aber ich kann den Unterschied von meiner Seite des Bildschirms nicht erkennen, und du auch nicht, und genau darum geht es in diesem Text. Zuhören, Lernen und Modellieren sind von außen alle unsichtbar. Du merkst es erst, wenn ein Mathematiker mit einem Lean-Beweis die Frage stellt und die Antwort Schweigen ist.

Was du dagegen tun kannst

Drei Dinge, keines davon dramatisch.

Schalte den Schalter aus. Heute. In ChatGPT: Einstellungen, Datenkontrollen, „Modell für alle verbessern“. Im Coding-Werkzeug separat. In Claude: „Claude helfen, sich zu verbessern“. In Gemini: Aktivität. Das dauert zwei Minuten, und es schließt den einfachsten Weg.

Halte die echte Arbeit dort, wo sie nicht hinsehen können. Die generischen Teile eines Jobs können zu jeder API gehen. Der Teil, der dich zu dir macht, die Idee, die Daten, der Weg, den fast niemand sonst geht, gehört auf ein Modell, das du herunterladen kannst, und auf eine Maschine, die du kontrollierst. Das ist keine Paranoia. Das würde Buckmaster dir heute sagen.

Veröffentliche früh. Was diese beiden gerettet hat, war ein Lean-Beweis mit Datum und eine Erklärung auf einem Universitätsserver. Zeitstempel schlagen Schwärme. Wenn du nah an etwas dran bist, bring das Datum ins Protokoll, bevor du den Anruf bekommst.

Dein LLM hört zu. Es lernt. Es modelliert dich. Nichts davon ist ein Geheimnis. Es steht im Einstellungsmenü und in den Transparenzberichten. Die einzige offene Frage ist, was du ihm weiterhin gibst.

Er hat trotzdem veröffentlicht. Du solltest es auch tun.