2026年8月17日 · 1 min read
大模型中无人观测的智能
所有人都盯着问题和答案。智能藏在中间，却没人去看。在 Hexa 的十天，一个真实的市场，以及一个还没人占据的技术层。
大模型中无人观测的智能
品牌正由一台机器描述给它们的客户。这段描述是一段品牌自己从未见过的文字，由它们从未选择过的信源拼凑而成。如今，大多数品牌都在花钱请人来测量这件事。
所有人都在盯着问题和答案。智能藏在两者之间，却没有人去看。
问题：没人知道中间发生了什么
过去，人们在搜索框里输入关键词，得到的是十个蓝色链接。这一切是可以测量的。"跑鞋"排第 3，"越野跑鞋"排第 8。枯燥，但诚实。
现在，人们输入的是一句话。模型读取它，判断用户真正想问什么，把问题拆成几块，去寻找各种信息，丢弃其中的大部分，然后写出一段话。品牌要么出现在这段话里，要么没有。
真正重要的事情都发生在中间。而中间是一个黑箱。
Prompt
best CRM for a small team
Intent distilling
What do they actually want? A CRM recommendation for a team of a few people.
Decomposition
- best CRM small team
- what CRM should a 5 person startup use
- CRM price per seat
Retrieval
- review site · A
- forum thread · B
- vendor page · A
- listicle · B C
- news · C
- comparison · A B
Selection & ranking
- review site · A
- forum thread · B
- vendor page · A
- listicle · B C
- news · C
- comparison · A B
Synthesis
Writes one paragraph from what was kept. Brand B was in the sources. It is not in the paragraph.
Answer
For a small team, Brand A is a strong pick…
What happens between the prompt and the answer: intent distilling, decomposition, retrieval, selection and ranking, synthesis. Only the prompt and the answer are observable.
图中的每一个箭头，都是品牌被纳入或被剔除的地方。今天做 GEO 的人，没有谁能告诉你是哪一个箭头把你淘汰了。他们只能告诉你，你没有出现在最后那段话里。
这是一个统计问题，不是排名问题
从 SEO 转过来的人，最先被这一点搞糊涂。
同一个问题问两次，得到的答案可能不同。换一种问法，得到的信源又是另一组。明天再问，又会不一样。这里根本没有"第 3 名"。只有一个分布。
所以这项工作本质上是抽样工作：
- 你不是只跑一次提示词，而是要跑 n 次。 一个答案只是个案。一百个答案才构成测量。"提及率 34% ± 6"才有意义。"我们出现过"什么都说明不了。
- 按意图给提示词分组，而不是按字面字符串。"小团队最好的 CRM"和"五人创业公司应该用什么 CRM"，其实是同一个问题换了一种说法。如果把它们当成两个关键词，你就会重复计数，从而得出错误的结论。
- 测量的不只是"有没有出现"。 包括提及率、相对于指名竞品的声量占比、在答案中的位置、被提及时的情感倾向，以及哪个信源被引用来支撑这次提及。
- 关注方差，而不只是均值。 一个品牌在某个模型上被提及的比例是 90%，在另一个模型上只有 10%，这并不是一个"50%"的问题。这是两个不同的问题。
- 你需要一个对照组。 否则你无法分辨，是你的内容起了作用，还是模型恰好在周二更新了。
这就是整个品类的分析骨架：抽样设计、聚类、归因、置信区间。它更接近于调查研究，而不是 SEO。
—
n = 0 · mentioned 0
Run the prompt. One answer is an anecdote.
真正派上用场的数学
这里有四个工具承担了大部分工作。
Wilson 得分区间：回答"我们有把握吗？" 提及率是一个比例。当样本量 n 较小，或者比例接近 0 或 1 时，正态近似会失效。而品牌恰恰就处于这样的区间。Wilson 区间不会失效。它还能提前告诉你需要多大的样本量：要在 95% 置信度下把提及率的误差控制在 ±5 个百分点，这一提示词簇大约需要运行 400 次。要控制在 ±10 个百分点，大约 100 次即可。如果你的仪表盘用 20 次运行的结果报数字，那它报告的就是噪声。
Beta-二项式更新：回答"它变了吗？" 将每个提示词簇的提及率建模为 Beta 后验分布。先验来自上个月，似然来自本周的运行结果，输出则是后验分布。它能诚实地处理小样本，随时间累积证据，而不是把上周的数据扔掉。它还能直接给出"提及率上升的概率"，而不是一个没人能解读的 p 值。
贝叶斯：回答"是哪个杠杆起了作用？" 这是最容易被跳过的一步。你观察到一次提及。你真正想知道的是 P(我们的新页面导致了这次提及 | 出现了提及)，而你能测量的是 P(出现提及 | 页面被引用)。贝叶斯公式把两者互换，先验就是在完全没有这个页面时的基础提及率。算一遍，大多数"我们的内容起作用了"的结论都会站不住，因为基础提及率本来就很高，只是没有人去核对。同样的方法也可以用于信源链：在出现提及的前提下，判断你的哪一项资产被引用了，并按该资产整体被引用的频率加权。
KL 散度：回答"我们的合成集离现实有多远？" 将提示词按意图分组，分别得到合成集在各组上的分布，以及真实流量在各组上的分布，然后测量两者之间的差距。KL 散度（或 Jensen-Shannon 散度，它是对称且有界的，因此更便于汇报）能给出一个数字，说明你模拟的提示词集有多不准确。如果没有真实提示词，根本无法计算这个数字。这正是每一个纯合成数据平台都隐藏着的问题：它们无法测量自身的误差。
另外简单提两点：一是以竞品品牌作为对照组做双重差分，这样模型在周二的更新就不会被记成你的功劳；二是多重比较校正，因为如果你在 200 个提示词簇上都用 p<0.05 做检验，仅凭运气就会得出十个"显著"的结果。
我在市场上发现了什么
这十天里，我真正去和人交谈。接触了有这个问题的公司，也接触了卖解决方案的公司。其中包括 Profound 以及那一批同类公司。
这个市场是真实的，痛点也是真实的。品牌正在关注一个它们看不见的渠道，而这个渠道还在不断扩大。
但几乎所有人都在使用合成提示词。模型生成一份客户"可能会问"的问题清单，平台再对这些问题进行测量。这种做法很聪明，也足以卖出去。我自己也用合成数据做过原型，很快就得到了有用的信号。
但它终究只是一种猜测，一种对人类实际会输入什么内容的、包装得很体面的猜测。而第二个问题更加严重：即便提示词完美无缺，你看到的也只是输入和输出。中间环节依然是黑的。你拿不到子问题，拿不到实际触发的查询，也拿不到那些被考虑过又被丢弃的信源。
把这个闭环画出来，你就能看到它断在哪里。
The working loop
The loop everyone runs
这里有两处断点，而且它们会相互叠加。断点一意味着，你是在为没有人问过的问题做优化。断点二意味着，即便你赢了，也说不清是哪一项改动起了作用，因此下一次决策依然是猜的。没有清晰反馈的闭环，就不是真正的闭环。它更像一台装了仪表盘的跑步机。
真正的宝贵之处在于原始数据。真实的提示词、真实的会话、真实的中间步骤。谁掌握了这些，谁就不必去猜中间发生了什么，因为他们能够看到。
GEO 公司在技术栈中究竟处于哪一层
每一个数据行业最终都会形成相同的三层结构，搞清楚自己处于哪一层很有价值。
第一层：采集。 在源头拥有原始数据。包括样本小组、爬虫、点击流、消费小票和电信日志。建设周期长、成本高，也不起眼。利润率最好，同时也最难被复制。
第二层：分析。 授权或购买原始数据，进行清洗和标准化，转化为指标和基准，然后出售一个仪表盘。大多数初创公司都身处这一层，因为这里最容易起步。
第三层：执行。 拿到指标，并据此开展工作。包括代理机构、工具和内容工作室。它离客户的预算最近，利润率却最低。
在第一层和第二层之间，通常还有一个中间商，比如 LiveRamp、Snowflake Marketplace，或者那些转售卡数据的公司。它们唯一的工作，就是把数据从拥有数据的人那里转移到需要数据的人手中。
传统 SEO 可以很清楚地映射到这个框架上。采集层就是爬虫，加上浏览器插件和网络服务商悄悄出售的点击流样本。分析层是 Semrush 和 Ahrefs。注意，它们自己建有爬虫，因此同时掌握第一层和第二层，这正是它们能够做大的原因。执行层则是全世界所有的 SEO 代理机构。
由此可以推出两条决定谁能生存下来的规则：
- 只做第二层的生意会被商品化。 如果十家公司都授权同一个数据源，它们报告的数字就完全一样，最后只能在界面和价格上竞争。
- 第一层随时可以向上延伸到第二层和第三层，但反过来永远不行。
再来看今天的 GEO。几乎每一个玩家都是只做第二层、底下却没有第一层的生意。没有可以授权的数据源，因为数据都存在于别人的对话日志之中。于是他们自己生造出缺失的输入，也就是合成提示词，然后在这些凭空编造的数据之上销售分析服务。
真实的提示词和真实的会话，正是这个行业的第一层。而目前还没有人占据它。
- Layer 3 · Activationagencies, tools, content shops
- Layer 2 · Analyticsalmost every GEO player, on synthetic prompts
- ↕ brokerLiveRamp, Snowflake Marketplace, card-data resellers
- Layer 1 · Collectionreal prompts and real sessions: nobody owns it yet
那么，为什么会有人把数据交给你？
不会有人交给你。这正是整个游戏的核心，也是这个领域中大多数想法悄然夭折的地方。
没有人会一觉醒来，就想把自己的提示词历史卖给你。诚实的途径只有两条：
- 做出一个人们出于完全不同的理由也想要的东西。 一个能够独立成立的服务，即使你从不触碰他们的数据，他们也会使用它。数据只是你已经交付的价值的副产品。所有曾经成功运转的数据生意，都是这样起步的。
- 付费购买。 直截了当。向拥有数据的人购买，并且清楚地说明你买的是什么，以及为什么要买。
除此之外的办法，要么是隐私问题，要么只是一厢情愿。
这一约束并不是这门生意的脚注，它就是这门生意本身。任何一家 GEO 公司，如果能比竞争对手更早拿到真实的行为数据，赢的就不是 10%。而是在别人仍在猜测的时候，它已经不必再猜了。
为什么我仍然认为这是最值得待的地方之一
智能体已经能够从你的提示词中提炼意图。它已经能够决定搜索什么，也已经能够决定保留什么。这套机制正在被所有人以极快的速度搭建起来。
理解提示词与答案之间发生了什么，哪些动作导向哪种答案，并且用真实数据而不是模拟数据来理解这一切，对每一家卖东西的公司都会变得至关重要。
接下来，说说大多数在这个领域里卖东西的人都不愿意说的那一部分。这是一个好地方，但只在有限的时间内如此。
有两件事会关上这扇窗。
第一件是法律。数据权利正在各个司法辖区同时发生变化，而且方向完全一致。收集行为数据、使用行为数据、转售行为数据，每一步都会变得更加困难、更加缓慢、更加昂贵。一家生意如果全部优势都建立在掌握真实提示词和真实会话之上，那么只需一条法规，它的优势就会变成负担。
第二件是数据本身将不再特殊。我前面说过，合成提示词是一种包装得很体面的猜测。这句话今天依然成立，但每过一个季度，它就会变得越来越不成立。回头看看中间环节的解剖图：意图提炼、任务分解、检索、筛选。每一步都是模型执行的一个动作，这意味着，模型可以被要求按需再次执行这些动作。一旦模型能够重建人们实际会问什么的真实分布，"曾经观测过"这件事本身所带来的溢价就会迅速崩塌。
与此同时，自己动手去做这件事的成本也在下降。把一个提示词簇运行几百次，再对结果做统计，并不是什么昂贵的计算，而且每年都在变得更便宜。如今，你需要为此购买一个平台。但很快，它就会变成你自己技术栈中的一个定时任务。没有人会为一个定时任务去购买仪表盘。
最后是一道挤压，也是我会重点关注的那一道。在这整件事中，真正无法被观测的部分，是掌握在大模型实验室手中的。随着模型本身被商品化，而它确实正在被商品化，这些实验室需要 token 之外的收入。把提示词与答案之间发生的事情，打包成结构化的可见性服务对外出售，是显而易见的多元化方向。而它们也是唯一能够在不必征得任何人许可的情况下出售这类服务的主体。到了那一天，每一家独立的 GEO 公司卖的，都是它们的上游供应商可以直接提供的东西。
所以，要预期到噪音的出现：大额融资，响亮的头衔，以及一个看起来会在大约三年里成为下一个 Semrush 的赛道。这些钱里有一部分是真的。但大多数所谓的护城河并不是。
我仍然认为，这是最值得待的地方之一。但我不太确定，它是否是一个值得长久停留的地方。
是时候说明这一切是真实的了
所有这些，都是我在 Hexa 孵化器的十天里发现的。你到场之后，他们会给你一个问题，而你的任务是证明他们的想法有价值。这就是约定。
这不是一场思想实验。这个想法在那十天里形成之后，已经足够扎实，Hexa 会为此投入大约 €750,000 来将其构建出来，并且正与我的合伙人一起推进。
我没有被选中继续参与，但这依然是我很久以来经历过的最好的十天之一。真实的问题，电话那头真实的用户，真实的市场，没有任何表演成分。这项工作经得起检验。
如果让我再来一次，我明天还会去做，只不过这一次会去 YC 🤣。