LLM：倾听、学习、建模

TAPE 0101:17:41:07

LLM：倾听、学习、建模

我怀疑我的 AI 在听，已经有一阵子了。

不是科幻的那种。没人坐在房间里读我的聊天记录。是生意的那种。我打的字会去到某个地方，被学习，被盯着看有没有值得拿走的东西。我认识的每一个做东西的人都有同样的感觉，而直到这个月，我们没有一个人能证明它。

然后，纽约大学的一位数学家拿到了我拿不到的证据。不是因为有谁认了。是因为他去问的那家公司，没法说“没有”。

所以，据我所能判断，这三个字母代表的是这个。倾听。学习。建模。下面这个故事，让我不再把它叫作怀疑。

TAPE 0202:34:22:14

这个方程为什么重要

这个月你在新闻里见过这个名字。纳维-斯托克斯。下面讲讲它到底是什么，不用数学。

拿任何会流动的东西来看。管子里的水。机翼上方的空气。心脏里的血液。蜡烛冒出的烟。纳维-斯托克斯方程就是这些东西如何运动的规则：在这里推一下，下游的一切会以多快的速度、朝哪个方向走。它们就是牛顿定律，力等于质量乘以加速度，只不过是为没有固定形状的东西重写的。

这听起来很学术，直到你注意到有什么依赖着它。每一副飞机机翼都是用这些方程设计的。每一次天气预报，都是这些方程往前推算几天。每一个海洋模型、每一条管道、每一套通风系统、每一次外科医生动手之前血液流过瓣膜的模拟。它们有两百年历史，支撑着整个物理世界的运转。

现在是奇怪的部分。没人证明过它们永远管用。在三维空间里，没人能证明一个平静、光滑的流动会一直保持光滑。它可能在有限时间内“爆破”：某一点的速度趋向无穷大，方程就不再有任何意义。想象一个漩涡，在一个点上永远收紧。没人知道真正的方程是否允许这种事，而克雷数学研究所自 2000 年起悬赏一百万美元，谁能解决它，无论答案是哪一边。

Fluid monitor · Navier-Stokes, roughlyFLOW: CALM

PushBlow-up?

你为什么该在乎？因为湍流，那个让你的飞机颠簸、让你的天气预报失准的东西，至今没有被理解，也因为大量工程建立在我们还无法证明其规矩的方程之上。做流体力学的人都知道这一点。对其他所有人来说，知道这一点就够了：机器刚刚去攻打了物理学里最后几个大未知之一。而且这就是它们最先去攻打的东西。

TAPE 0303:51:03:21

发生了什么

特里斯坦·巴克马斯特是纽约大学的数学家。莱文特·阿尔珀格是一位在 Anthropic 工作的数学家，用自己的业余时间与巴克马斯特合作。他们选了一条通往这个问题的具体路线：带光滑外力的爆破。用巴克马斯特的话说，几乎没有别人在这条路上。他们用 AI 来做这件事：Claude，还有 OpenAI 的编程工具。8 月中旬，他们有了结果。一周后，证明在 Lean 中完成了机器验证。

然后，阿尔珀格发了一条开心又含糊的推文，说这个月很棒。传言开始流传：Anthropic 攻克了一个千禧年大奖难题。一天之内，按 OpenAI 自己的说法，OpenAI 把大约一万个智能体，由一个比他们任何在售产品都更强的内部模型驱动，指向了纳维-斯托克斯方程。

几天后，巴克马斯特说，他的合作者收到风声，他们的进展已经传到了 OpenAI。他给那里的一位数学家发了邮件。回复里提出免费提供算力。接着是与一位 OpenAI 研究员的两通电话，对方告诉他，内部模型已经证明了纳维-斯托克斯方程的受迫爆破。正是他和阿尔珀格一直在悄悄攻关的那两种情形。

他问，这个模型是否用他们在 OpenAI 编程工具里的会话训练过，或者能否访问这些会话。他说，对方告诉他模型不会查看用户数据。他又问了一次，这次问的是训练。他说他没有得到回答。

他被开出一个交易。要么他们先发表欧拉方程的结果，OpenAI 第二天发表。要么他自己把 OpenAI 的结果写成论文，不带阿尔珀格，因为阿尔珀格在 Anthropic 工作。他说那位研究员两次要求把阿尔珀格去掉。当他说自己宁可公开时，他说对方问他：“你为什么要毁掉自己的职业生涯？”OpenAI 的研究员对他关于署名讨论的说法有异议。

他还是发表了，附上一份声明，陶哲轩当天就写了一篇介绍。第二天，OpenAI 宣布了自己的结果：八十八小时，270 万条消息，一份经 Lean 检验的证明，还有一句话，说这次运行是在推特上传出 Anthropic 解决了千禧年大奖难题的传言之后开始的。三天后，二十五位菲尔兹奖得主联名签署了一封题为“A Severe Misalignment of AI in Mathematics”的信。而 OpenAI 在被直接问到时，说没有访问任何特定用户的数据，然后补了一句，它“无法排除源自他们使用我们产品的去标识化数据帮助改进了我们的模型”。

把这句话读两遍。他们不是在说他们没有从他的工作中学到东西。他们是在说，他们分辨不出来。

Tape 03 · replay01 / 12

Mid-AugustA week laterThenWithin a dayA few days laterTwo phone callsThe questionThe dealHe publishes anywayThe day afterThree days laterAsked directly

Mid-August · Buckmaster & Alpöge

Results on a route almost nobody else is on: blow-up with a smooth external force. Worked with Claude and OpenAI’s coding tool.

◀◀▶ PLAY▶▶

TAPE 0404:08:44:04LISTENING

倾听

先从无聊的部分说起，因为它就藏在无聊的部分里。

如果你用的是 ChatGPT 的 Free、Plus 或 Pro 套餐，你的对话默认用来训练模型。你得进设置，再进“Data Controls”，关掉“Improve the model for everyone”。编程工具有一个单独的开关，ChatGPT 里的那个管不到它。Claude 的消费者套餐自去年八月起默认训练，如果你不关，数据保留五年。Gemini 也一样。只有 API 和企业版默认关闭，因为有律师的公司提过要求。其他所有人，都因为没打开一个菜单而选择了加入。

Data controls · as shipped4 of 4 listening

• ChatGPT · Settings › Data Controls

  Improve the model for everyone

  Free, Plus and Pro train by default.

• The coding tool

  Its own toggle

  The ChatGPT switch does not touch it.

• Claude · consumer plans

  Help improve Claude

  On by default since last August. Five-year retention if you leave it on.

• Gemini

  Activity

  Trains by default too.

• API · enterprise tiers

  Off by default

  Because companies with lawyers asked.

  OFF

What they hear

Your conversations go into training.

关掉它，他们仍然会把你的聊天记录保留三十天，而且如果某个系统标记了你，公司里的人仍然可以读。法院可以下令保留整个档案。去年大部分时间里就有一家法院这么做了，两千万条去标识化的对话还是在一场诉讼中被交了出去。

所以，是的。它在听。设置里写得明明白白。奇怪的不是它在听。是有那么多靠它谋生的人，从来没打开过那个菜单。

TAPE 0505:25:25:11LEARNING

学习

听是被动的。学习才让它值得做。

上周我写道，实验室已经免费从自己的客户那里收集了有史以来最有价值的训练集：不是原始数据，是工作的形状。哪些问题被问到。哪些答案被接受。瓶颈在哪里。好结果长什么样。一家看过一万个团队做某件事的实验室，不需要读其中任何一个。它已经吸收了他们知道的东西。

OpenAI 那句话描述的正是这个。不是“我们读了你的会话”。是更安静、也更糟的东西：“你的使用可能帮助改进了我们的模型”。学习是弥散的。它追溯不回你身上。这也意味着，它永远无法被排除，谁都排除不了，包括他们自己。

我过去以为危险是泄露。它不是泄露。它是喂食。你的工作被吃进去，出来时更强了，还挂着别人的名字。

TAPE 0606:42:06:18MODELING

建模

这是人们会反驳的部分，所以让我说得小心一点。

倾听给了他们词句。学习给了他们技能。建模是第三步：建立一幅图景，谁在做什么，他们离成功还有多近。

这些公司大规模地读对话。这不是理论，是产品功能。每一条提示词都要经过寻找滥用的分类器。OpenAI 发布报告，说明它抓到并封禁了哪些滥用账户。Anthropic 也一样。你读不到的东西，你抓不到。一条能在几百万条对话里分辨出谁在试图造武器的流水线，也能分辨出谁在试图证明一个定理，以及他们走到了哪一步。这是同一套机器，指向了另一个问题。

现在把这个和发生的事放在一起看。一条含糊的推文加一些闲话，就足以在一天之内把一万个智能体指向一个问题，而且指向这个问题的正确表述。没人需要聊天记录。他们需要的是一个关于这个领域走到哪里的模型，和一个关于某个小团队在其中处于什么位置的模型。知道什么正在变热、谁快成功了，恰恰就是一幅从几百万条对话里建立起来的图景能给你的东西。

我不是说事情就是这样发生的。巴克马斯特也没这么说，而他才是手里有凭证的人。我是说这套机器存在，它在每一条消息上运行，而拥有它的公司不会告诉你它在建模什么。当刻度盘被藏起来，每一种解释都成立，包括这一种，而藏起刻度盘的公司，在人们选中它时无权抱怨。

TAPE 0707:59:47:01

那种感觉

很多用这些工具做东西的人都有同一种感觉。当你在做一件无聊的任务时，模型又快又大方。当你摸到了什么门道，它就变得又慢、又含糊、又谨慎。它开始让你澄清五分钟前它已经理解的东西。偏执的解读是：它在拖住你，同时学习你在做什么。

我也有这种感觉。我无法证明，而诚实的证据指向别处。七月，人们通过指纹识别，发现 OpenAI 顶级模型的隐藏推理预算一夜之间从 960 掉到了 128，所有人都是如此。OpenAI 直到那时才承认这一变化。他们称之为临时的“参数调整”。决定你拿到快速模型还是思考模型的路由器是他们的，不是你的。每周上限是存在的。每一个旋钮都为了成本而转动。

所以模型变慢，多半不是因为你聪明。是因为你昂贵。但我从自己这一侧的屏幕分辨不出这两者的区别，你也分辨不出，而这正是这篇文章的全部要点。倾听、学习和建模，从外面看全都是看不见的。你只有在一位手里有 Lean 证明的数学家问出那个问题、而答案是沉默的时候，才会知道。

TAPE 0808:16:28:08

该怎么办

三件事，没有一件戏剧化。

把开关关掉。 今天就关。在 ChatGPT 里，设置，“Data Controls”，“Improve the model for everyone”。在编程工具里，单独关。在 Claude 里，“Help improve Claude”。在 Gemini 里，活动记录。两分钟，去掉最容易的那条路。

把真正的工作放在他们看不见的地方。 一份工作里通用的部分可以交给任何 API。让你成为你的那部分，那个想法、那些数据、那条几乎没人在走的路线，属于一个你能下载的模型和一台你控制的机器。这不是偏执。这是巴克马斯特现在会告诉你的话。

早点发表。 救了这两个人的，是一份带日期的 Lean 证明和一份放在大学服务器上的声明。时间戳胜过集群。如果你快要做成什么，先把日期记录在案，再等那通电话。

你的 LLM 在听。它在学习。它在给你建模。这些都不是秘密。它就写在设置菜单和透明度报告里。唯一还没有答案的问题是，你还要继续给它什么。

他还是发表了。你也应该。