LLM：聞いている、学んでいる、モデル化している

TAPE 0101:17:41:07

LLM：聞いている、学んでいる、モデル化している

私のAIは聞いているのではないか。しばらく前からそう疑っていた。

SFの意味ではない。誰かが部屋に座って私のチャットを読んでいるわけではない。ビジネスの意味でだ。私が打ち込んだものはどこかへ行き、学ばれ、手に入れる価値のあるものがないかと見張られる。私の知る作り手は全員、同じ感覚を持っている。そして今月まで、誰一人それを証明できなかった。

それから、ニューヨーク大学の数学者が、私には得られなかった証拠を手に入れた。誰かが白状したからではない。彼が尋ねた会社が、ノーと言えなかったからだ。

だから、私の見るかぎり、この三文字が何の略なのかを書く。聞いている（Listening）。学んでいる（Learning）。モデル化している（Modeling）。そして、私がこれを疑いと呼ぶのをやめるきっかけになった話を書く。

TAPE 0202:34:22:14

この方程式がなぜ重要か

今月、ニュースでその名前を見ただろう。ナビエ・ストークス。数学抜きで、それが実際には何なのかを書く。

流れるものなら何でもいい。管の中の水。翼の上の空気。心臓を通る血液。ろうそくから立ちのぼる煙。ナビエ・ストークス方程式は、そうしたものがどう動くかの規則だ。ここを押せば、下流のすべてがどれだけ速く、どの方向へ進むかが決まる。ニュートンの法則、つまり力は質量かける加速度という式を、決まった形を持たないものについて書き直したものだ。

Fluid monitor · Navier-Stokes, roughlyFLOW: CALM

PushBlow-up?

学術的に聞こえるが、何がそれに依存しているかに気づけば話は変わる。あらゆる航空機の翼は、この方程式で設計されている。あらゆる天気予報は、この方程式を数日先まで走らせたものだ。あらゆる海洋モデル、あらゆるパイプライン、あらゆる換気システム、外科医が手を触れる前に弁を通り過ぎる血液のあらゆるシミュレーションも同じだ。200年前のものであり、物理世界を動かしている。

ここからが奇妙な部分だ。この方程式が常に機能することを、誰も証明していない。三次元では、穏やかで滑らかな流れが滑らかなままでいることを、誰も示せない。有限の時間のうちに「爆発」するかもしれない。ある点で速度が無限大に跳ね上がり、方程式は何も意味しなくなる。一点に向かって永遠に締まっていく渦を思い浮かべてほしい。本物の方程式がそれを許すのか、誰も知らない。そしてクレイ数学研究所は2000年以来、どちらの向きであれこれを決着させた者に、100万ドルを提示している。

なぜ気にかけるべきか。飛行機を揺らし、天気予報を狂わせる乱流がいまだに理解されておらず、多くの工学が、まだ行儀のよさを証明できない方程式の上に載っているからだ。流体力学で働く人なら誰でもこれを知っている。それ以外の人には、機械が物理学に残された最後の大きな未知の一つに挑んだと知れば十分だ。そして、機械が最初に挑んだのがこれだった、ということも。

TAPE 0303:51:03:21

何が起きたか

トリスタン・バックマスターは、ニューヨーク大学の数学者だ。レヴェント・アルペーゲは、Anthropicで働く数学者で、自分の時間を使ってバックマスターと共同研究をしていた。二人はこの問題への特定の道筋を選んでいた。滑らかな外力による爆発だ。バックマスターの言葉では、その道筋にいる者はほかにほとんどいなかった。二人はそのためにAIを使った。Claudeと、OpenAIのコーディングツールだ。8月半ばに結果が出た。一週間後、証明はLeanで機械検証された。

それからアルペーゲは、すばらしい一ヶ月だったという、うれしそうで漠然としたツイートをした。Anthropicがミレニアム懸賞問題を解いたという噂が広まり始めた。一日のうちに、OpenAI自身の説明によれば、OpenAIは、彼らが売っているどれよりも強い内部モデルに駆動された、およそ1万のエージェントをナビエ・ストークスに向けた。

数日後、バックマスターによれば、共同研究者のもとに、二人の進展の知らせがOpenAIに届いているという情報が入った。バックマスターはそこの数学者にメールを送った。返信は、無料の計算資源を申し出るものだった。それから、OpenAIの研究者と2本の電話があった。内部モデルがナビエ・ストークスの強制爆発を証明した、と告げられた。彼とアルペーゲがひそかに攻めていた、まさにその二つのケースだ。

彼は、そのモデルが、OpenAIのコーディングツールでの自分たちのセッションで訓練されたか、あるいはそれにアクセスできたのかを尋ねた。モデルはユーザーデータを参照しない、と言われたという。彼はもう一度、訓練について尋ねた。答えは得られなかったという。

彼は取引を持ちかけられた。二人が先にオイラー方程式の結果を公開し、OpenAIが翌日に公開するか。あるいは、彼がOpenAIの結果を自分で書き上げるか。ただしアルペーゲ抜きで。アルペーゲがAnthropicで働いているからだ。研究者はアルペーゲを外すよう二度求めたという。代わりに公表すると言ったとき、こう聞かれたという。「なぜキャリアを台無しにするんですか」。OpenAIの研究者は、著者に関するやり取りについての彼の説明に異議を唱えている。

彼はそれでも、声明とともに公開した。テレンス・タオが同じ日にそれを書き起こした。OpenAIはその翌日に結果を発表した。88時間、270万のメッセージ、Leanで検証済みの証明。そして、Anthropicがミレニアム懸賞問題を解いたというTwitterの噂の後に実行を始めた、という一文。3日後、25人のフィールズ賞受賞者が「A Severe Misalignment of AI in Mathematics」と題した書簡に署名した。そしてOpenAIは、直接問われると、特定のユーザーデータにはアクセスしていないと答え、それから付け加えた。「彼らによる当社製品の利用に由来する非識別化データが、当社のモデルの改善に役立った可能性は排除できない」と。

二度読んでほしい。彼の仕事から学んでいない、とは言っていない。分からない、と言っているのだ。

Tape 03 · replay01 / 12

Mid-AugustA week laterThenWithin a dayA few days laterTwo phone callsThe questionThe dealHe publishes anywayThe day afterThree days laterAsked directly

Mid-August · Buckmaster & Alpöge

Results on a route almost nobody else is on: blow-up with a smooth external force. Worked with Claude and OpenAI’s coding tool.

◀◀▶ PLAY▶▶

TAPE 0404:08:44:04LISTENING

聞いている

退屈な部分から始めよう。それが潜んでいるのは、退屈な部分だからだ。

ChatGPTをFree、Plus、Proのプランで使っているなら、会話はデフォルトでモデルを訓練する。設定を開き、「Data Controls」へ進み、「Improve the model for everyone」をオフにしなければならない。コーディングツールには別のトグルがあり、ChatGPTのものでは触れない。Claudeの消費者向けプランは去年の8月からデフォルトで訓練しており、オンのままなら保持期間は5年だ。Geminiも同じだ。デフォルトでオフなのはAPIとエンタープライズ層だけだ。弁護士を抱える企業が求めたからだ。それ以外の全員は、メニューを開かないことでオプトインした。

Data controls · as shipped4 of 4 listening

• ChatGPT · Settings › Data Controls

  Improve the model for everyone

  Free, Plus and Pro train by default.

• The coding tool

  Its own toggle

  The ChatGPT switch does not touch it.

• Claude · consumer plans

  Help improve Claude

  On by default since last August. Five-year retention if you leave it on.

• Gemini

  Activity

  Trains by default too.

• API · enterprise tiers

  Off by default

  Because companies with lawyers asked.

  OFF

What they hear

Your conversations go into training.

オフにしても、チャットは30日間保持される。システムがあなたにフラグを立てれば、社内の人間はそれを読める。裁判所はアーカイブ全体の保全を命じることができる。実際に去年の大半、ある裁判所がそう命じた。そして2000万件の非識別化された会話が、それでも訴訟で引き渡された。

だから、そうだ。聞いている。設定にそう書いてある。奇妙なのは、聞いていることではない。その上に生計を築いている人のうち、どれだけ多くがそのメニューを一度も開いたことがないかだ。

TAPE 0505:25:25:11LEARNING

学んでいる

聞くことは受動的だ。学ぶことが、それをやる価値のあるものにする。

先週、研究所は史上最も価値のある訓練データセットを、無料で、自分たちの顧客から集めたと書いた。生データではない。仕事の形だ。どの質問が投げられるか。どの答えが受け入れられるか。ボトルネックはどこか。よい結果はどう見えるか。1万のチームが何かに取り組むのを見てきた研究所は、そのどれか一つを読む必要がない。彼らの知っていることを、すでに吸収している。

それこそが、OpenAIのあの一文が描いていることだ。「あなたのセッションを読んだ」ではない。もっと静かで、もっと悪い。「あなたの利用が当社のモデルの改善に役立った可能性がある」。学習は拡散している。あなたにまでさかのぼることはできない。それは同時に、誰にも、永遠に、排除できないということでもある。彼ら自身を含めて。

私は以前、危険は漏洩だと思っていた。漏洩ではない。食事だ。あなたの仕事が入っていき、より強くなって、誰か別の名前をつけて出てくる。

TAPE 0606:42:06:18MODELING

モデル化している

ここは人々が反発する部分なので、慎重に書く。

聞くことが彼らに言葉を与える。学ぶことが彼らに技能を与える。モデル化はその第三段階だ。誰が何をしていて、どれだけ近づいているかの像を組み立てることだ。

これらの会社は、会話を大規模に読んでいる。それは理論ではない。製品機能だ。あらゆるプロンプトが、悪用を探す分類器を通過する。OpenAIは、悪用で捕まえて停止したアカウントについての報告書を公開している。Anthropicも同じだ。読まないものは捕まえられない。何百万もの会話を横断して、誰が兵器を作ろうとしているかを見分けられるパイプラインは、誰が定理を証明しようとしていて、どこまで進んでいるかも見分けられる。同じ機械を、別の問いに向けただけだ。

では、それを起きたことの隣に置いてみよう。漠然としたツイートと少しのゴシップで、一日のうちに1万のエージェントを一つの問題に、それも正しい定式化に向けるには十分だった。そのためにチャットログはいらなかった。必要だったのは、その分野がどこにあるかのモデルと、一つの小さなチームがその中のどこにいるかのモデルだ。何が熱く、誰が近いかを知ることは、まさに何百万もの会話から組み立てた像が与えてくれるものだ。

それが起きたことだと言っているのではない。バックマスターもそう言っていないし、証拠を持っているのは彼のほうだ。私が言っているのは、その機械が存在し、すべてのメッセージの上で走り、それを所有する会社は何をモデル化しているかを教えてくれない、ということだ。ダイヤルが隠されていれば、あらゆる説明が成り立つ。この説明も含めて。そしてダイヤルを隠した会社には、人々がそれを選んでも文句を言う権利はない。

TAPE 0707:59:47:01

あの感覚

これらのツールで作る人の多くが、同じ感覚を持っている。退屈な作業のとき、モデルは速く、気前がいい。何かをつかみかけると、遅く、あいまいで、慎重になる。5分前には理解していたことを、明確にしろと言い始める。そして被害妄想的な読み方はこうだ。あなたが何をしているかを学ぶあいだ、あなたを足止めしている。

私もそう感じる。証明はできないし、正直な証拠は別の方向を指している。7月、人々はOpenAIの最上位モデルの隠れた推論予算を指紋で特定し、それが一夜にして、全員に対して960から128に落ちたのを見た。OpenAIが変更を認めたのは、そのときになってからだった。彼らはそれを一時的な「パラメータ調整」と呼んだ。速いモデルか思考するモデルかを決めるルーターは、彼らのものであって、あなたのものではない。週ごとの上限がある。どのつまみもコストのために回る。

だからモデルは、おそらく、あなたが賢いから遅くなるのではない。あなたが高くつくから遅くなる。だが画面のこちら側からは、私にその違いは分からないし、あなたにも分からない。それがこの記事の要点のすべてだ。聞くこと、学ぶこと、モデル化することは、どれも外からは見えない。分かるのは、Leanの証明を持つ数学者が問いを投げ、返ってきた答えが沈黙だったときだけだ。

TAPE 0808:16:28:08

どうすればいいか

三つ。どれも劇的ではない。

トグルをオフにする。 今日のうちに。ChatGPTでは、設定、「Data Controls」、「Improve the model for everyone」。コーディングツールでは別に。Claudeでは「Help improve Claude」。Geminiではアクティビティ。2分で済み、一番簡単な経路を断つ。

本当の仕事は、彼らに見えない場所に置く。 仕事の汎用的な部分は、どのAPIに送ってもいい。あなたをあなたたらしめる部分、アイデア、データ、ほかにほとんど誰もいない道筋は、ダウンロードできるモデルと、自分が管理する機械の上に置く。それは被害妄想ではない。今のバックマスターなら、あなたにそう言うだろう。

早く公開する。 この二人を救ったのは、日付のついたLeanの証明と、大学のサーバー上の声明だった。タイムスタンプは群れに勝つ。何かに近づいているなら、電話がかかってくる前に、日付を記録に残す。

あなたのLLMは聞いている。学んでいる。あなたをモデル化している。どれも秘密ではない。設定メニューと透明性レポートに書いてある。唯一まだ開いている問いは、あなたがそれに何を与え続けるかだ。

彼はそれでも公開した。あなたもそうすべきだ。