2026年8月17日 · 1 min read
LLMの、誰にも見られていない知能
誰もが質問と答えばかり見ている。知能はその間にあるのに、誰もそこを見ていない。 Hexaでの10日間、本物の市場、そしてまだ誰も所有していないスタックの層について。
LLMの、誰にも見られていない知能
ブランドは今、機械によって顧客に説明されている。ブランド自身が書かれるところを見たこともない段落で、自分たちが選んだわけでもない情報源から組み立てられて。多くのブランドは今、これを測定するために誰かにお金を払っている。
誰もが質問と答えばかりを見ている。知能はその間にあるのに、誰もそこを見ていない。
問題：真ん中で何が起きているか、誰も知らない
かつて人々は検索ボックスにキーワードを打ち込み、10本の青いリンクを受け取っていた。それなら測定できた。「ランニングシューズ」で3位、「トレイルランニングシューズ」で8位。退屈だが、正直だった。
今は人々は文章を打ち込む。モデルはそれを読み、本当は何を意味していたのかを判断し、いくつかの断片に分解し、あちこち探しに行き、そのほとんどを捨て、一つの段落を書く。ブランドはその段落に現れるか、現れないかのどちらかだ。
重要なことはすべて、その真ん中で起きている。そして真ん中はブラックボックスだ。
Prompt
best CRM for a small team
Intent distilling
What do they actually want? A CRM recommendation for a team of a few people.
Decomposition
- best CRM small team
- what CRM should a 5 person startup use
- CRM price per seat
Retrieval
- review site · A
- forum thread · B
- vendor page · A
- listicle · B C
- news · C
- comparison · A B
Selection & ranking
- review site · A
- forum thread · B
- vendor page · A
- listicle · B C
- news · C
- comparison · A B
Synthesis
Writes one paragraph from what was kept. Brand B was in the sources. It is not in the paragraph.
Answer
For a small team, Brand A is a strong pick…
What happens between the prompt and the answer: intent distilling, decomposition, retrieval, selection and ranking, synthesis. Only the prompt and the answer are observable.
それぞれの矢印は、ブランドが入り込む場所であり、弾かれる場所でもある。今日GEOを売っている誰も、どの矢印があなたを殺したのかを教えてはくれない。彼らに言えるのは、あなたが最終的な段落に入っていなかったということだけだ。
これは統計の問題であって、ランキングの問題ではない
SEO出身の人間の頭を壊すのは、これだ。
同じ質問を2回すれば、2つの違う答えが返ってくる。少し違う聞き方をすれば、違う情報源の組み合わせが返ってくる。明日聞けば、また違う。3位という順位は存在しない。あるのは分布だけだ。
だから、この仕事はサンプリングの仕事になる。
- プロンプトは1回実行しない。n回実行する。 答えが1つならそれは逸話だ。答えが100あれば、それは測定だ。言及率34%±6には意味がある。「うちが出てきた」には意味がない。
- プロンプトは文字列ではなく、意図でクラスタリングする。 「小さなチームに最適なCRM」と「5人のスタートアップはどのCRMを使うべきか」は、服を着替えただけの同じ質問だ。これを2つのキーワードとして扱えば、二重に数えて自分を欺くことになる。
- 測定するのは存在の有無だけではない。 言及率。名指しされた競合に対するシェア・オブ・ボイス。答えの中での位置。言及されたときの感情。その言及を裏づけるために引用された情報源。
- 平均だけでなく、分散を見る。 あるモデルでは90%の頻度で言及され、別のモデルでは10%しか言及されないブランドは、「50%問題」を抱えているのではない。2つのまったく違う問題を抱えているのだ。
- 対照群が必要だ。 そうでなければ、自分のコンテンツが何かを変えたのか、それとも火曜日にモデルが更新されただけなのか、見分けがつかない。
これが、このカテゴリー全体の分析の背骨だ。サンプリング設計、クラスタリング、アトリビューション、信頼区間。SEOよりも、世論調査のリサーチに近い。
—
n = 0 · mentioned 0
Run the prompt. One answer is an anecdote.
実際に役に立つ数学
ここでは4つの道具が、仕事のほとんどを担っている。
ウィルソンスコア区間——「本当に確かなのか?」のための道具 言及率は割合であり、正規近似はnが小さいときや、比率が0や1に近いときに破綻する。そしてそここそが、ブランドの生息域だ。ウィルソン区間は破綻しない。おまけに必要なサンプルサイズも先に教えてくれる。95%信頼度で言及率を±5ポイントの精度まで測るには、そのプロンプトクラスターにつきおよそ400回の実行が必要だ。±10ポイントなら約100回。ダッシュボードが20回の実行から出した数字を報告しているなら、それはノイズを報告しているにすぎない。
ベータ二項分布による更新——「動いたのか?」のための道具 各プロンプトクラスターの言及率を、ベータ分布の事後分布としてモデル化する。事前分布は先月のデータ、尤度は今週の実行結果、そこから事後分布が出てくる。これは小さなサンプルを正直に扱い、先週のデータを捨てるのではなく時間をかけて証拠を積み上げていき、誰も解釈できないp値の代わりに、率が上昇した確率P(rate went up)をそのまま教えてくれる。
ベイズ——「どのレバーが動かしたのか?」のための道具 これは誰もが飛ばしてしまうものだ。言及を一つ観測したとする。あなたが本当に知りたいのはP(このページが原因でこの言及が起きた | 言及があった)であり、実際に測れるのはP(言及がある | そのページが引用されている)だ。ベイズはこれをひっくり返す。そして事前分布とは、そのページがまったくなくても言及される基礎率のことだ。実際にやってみると、「うちのコンテンツが効いた」という主張のほとんどが崩れる。基礎率がすでに高かっただけで、誰も確認していなかったのだ。情報源の連鎖についても同じ手が使える。言及があったとき、自社のどのプロパティが引用されたか、そしてそのプロパティがそもそもどれくらいの頻度で引用されるかで重みづけする。
KLダイバージェンス——「合成データセットは現実からどれだけ離れているか?」のための道具 プロンプトを意図でクラスタリングし、自分の合成プロンプトセットのクラスター分布と、実際のトラフィックのクラスター分布を求め、そのギャップを測る。KLダイバージェンス(あるいは対称かつ有界で報告しやすいJensen-Shannonダイバージェンス)は、自分のシミュレーションしたプロンプトセットがどれだけ間違っているかを、一つの数字にしてくれる。実際のプロンプトがなければ、これは計算すらできない。それが、合成データだけに頼るあらゆるプラットフォームが抱える静かな問題だ。彼らは自分自身の誤差を測定できない。
あと2つ、手短に。競合ブランドの対照群に対する差分の差分分析(difference-in-differences)。火曜日のモデル更新を自分の勝利として記録しないために。そして多重比較補正。200個のプロンプトクラスターをp<0.05で検定すれば、純粋な偶然だけで10個の「有意」な結果が出てしまうからだ。
市場で見つけたもの
10日間を、実際に人と話すことに使った。この問題を抱える企業と、その治療薬を売る企業。Profoundをはじめとする、その界隈の面々だ。
市場は本物だ。痛みも本物だ。ブランドは自分たちに見えないチャネルを見つめていて、それは拡大し続けている。
だがほぼ全員が合成プロンプトの上で動いている。モデルが顧客が「聞きそうな」質問のリストを生成し、プラットフォームはそれを測定する。賢いやり方だ。売れる程度にはうまく機能する。私も合成データで作ってみて、素早く有用なシグナルを得られた。
それでも推測は推測だ。人間が実際に何を打ち込むかについての、とてもよく着飾った推測にすぎない。そして2つ目の問題はもっと深刻だ。完璧なプロンプトがあったとしても、見ているのは入力と出力だけだ。真ん中は依然として暗闇のままだ。サブクエスチョンは手に入らない。実行された検索クエリも手に入らない。検討されて捨てられた情報源も手に入らない。
このループを描いてみれば、どこで切れているかが見えてくる。
The working loop
The loop everyone runs
2つの断絶があり、それらは重なり合って悪化する。断絶1は、誰も聞いていない質問に向けて最適化していることを意味する。断絶2は、たとえ勝ったとしても、自分のどの変更がそれをもたらしたのか言えないことを意味する。だから次の意思決定もまた推測になる。きれいなフィードバックのないループは、ループではない。ダッシュボードを取りつけたトレッドミルだ。
本当の賞品は、生データだ。実際のプロンプト、実際のセッション、実際の中間ステップ。それを持つ者は、真ん中について推測する必要がない。見えるのだから。
GEO企業は実際、スタックのどこに座っているのか
あらゆるデータ産業は最終的に同じ3つの層に行き着く。自分がどの層にいるのかを知っておく価値はある。
レイヤー1: 収集。 情報源で生データを所有する層。パネル調査、クローラー、クリックストリーム、レシート、通信ログ。構築には時間がかかり、コストが高く、地味だ。マージンは最も高く、真似するのは最も難しい。
レイヤー2: 分析。 生データをライセンスするか買い取り、クリーニングし、正規化し、指標やベンチマークに変え、ダッシュボードとして売る。ほとんどのスタートアップはここに住んでいる。始めるのに一番簡単な場所だからだ。
レイヤー3: 実行。 指標を受け取り、実作業をする層。代理店、ツール、コンテンツ制作会社。顧客の予算に最も近く、マージンは最も低い。
たいてい、レイヤー1と2の間にはブローカーも座っている。LiveRamp、Snowflake Marketplace、カードデータの再販業者たち。彼らの仕事はただ一つ、データを持っている人から欲しい人へと動かすことだ。
旧来のSEOは、これにきれいに当てはまる。収集は、クローラーと、ブラウザ拡張機能やISPがひそかに売っていたクリックストリームパネルだった。分析はSemrushとAhrefs。そして注目すべきは、彼らが自前のクローラーを構築したことだ。つまりレイヤー1と2の両方を所有していた。だからこそ彼らは大きくなれた。実行は、地球上のあらゆるSEO代理店だった。
ここから2つのルールが導かれ、それが誰が生き残るかを決める。
- レイヤー2は単独ではコモディティ化する。 10社が同じフィードをライセンスすれば、全員が同じ数字を報告することになり、結局UIと価格で競争するはめになる。
- レイヤー1はいつでも好きなときに2と3へ登っていける。逆方向には決して働かない。
では今日のGEOを見てみよう。ほぼすべてのプレイヤーが、下にレイヤー1を持たないレイヤー2のビジネスだ。ライセンスできるフィードは存在しない。データは他人のチャットログの中に住んでいるからだ。だから彼らは、欠けている入力、つまり合成プロンプトを自分で作り出し、自分たちが発明したデータの上に分析を乗せて売る。
実際のプロンプトと実際のセッションこそが、この産業のレイヤー1だ。そして、まだ誰もそれを所有していない。
- Layer 3 · Activationagencies, tools, content shops
- Layer 2 · Analyticsalmost every GEO player, on synthetic prompts
- ↕ brokerLiveRamp, Snowflake Marketplace, card-data resellers
- Layer 1 · Collectionreal prompts and real sessions: nobody owns it yet
では、なぜ誰かがあなたにデータをくれるのか?
くれない。それがこのゲームのすべてであり、この分野のほとんどのアイデアが静かに死んでいく場所だ。
朝起きて、自分のプロンプト履歴をあなたに売りたいと思う人などいない。正直なやり方は2つしかない。
- まったく別の理由で人々が欲しがるものを作る。 それ自体で成立するサービス、データに一切触れなくても人々が使うようなもの。データは、あなたがすでに届けた価値の副産物になる。これまで機能したあらゆるデータビジネスは、こうやって機能してきた。
- お金を払う。 単純な話だ。データを所有している人から買い取り、何を、なぜ買っているのかを明確にする。
それ以外はすべて、プライバシーの問題か、願望にすぎない。
この制約は、ビジネスの脚注ではない。これこそがビジネスそのものだ。競合より先に本物の行動データにたどり着いたGEO企業は、10%勝つのではない。他の全員がまだ推測を続けている間に、推測をやめるのだ。
それでも私がここを最良の場所の一つだと思う理由
エージェントはすでに、あなたのプロンプトから意図を蒸留している。すでに何を検索するかを決めている。すでに何を残すかを決めている。その機構は今まさに、誰の手によっても、非常な速さで作られている最中だ。
プロンプトと答えの間で何が起きているのか、どの行動がどの答えにつながるのかを理解すること。それをシミュレーションデータではなく実データから得ること。これは、何かを売るすべての企業にとって重要になっていく。
そしてここからは静かな部分だ。この分野を売り込んでいるほとんどの人間は、これを口にしない。ここは、期間限定でいい場所だ。
窓を閉じるものが、二つある。
一つ目は法律だ。データに関する権利は、あらゆる法域で同時に動いていて、しかもすべて同じ方向に動いている。行動データを収集すること、使うこと、再販することは、それぞれがより難しく、より遅く、より高くつくようになっていく。強みのすべてが実際のプロンプトと実際のセッションを持っていることにあるビジネスは、その強みのすべてが、規制ひとつでそのまま負債に変わるビジネスでもある。
二つ目は、データが特別でなくなることだ。私が先に言ったこと、つまり合成プロンプトはよく着飾った推測だということは、今日は真実でも、四半期ごとに真実味を失っていく。真ん中の構造を思い出してほしい。意図の蒸留、分解、検索、選択。そのどれもが、モデルが実行するステップだ。つまり、モデルに何度でも実行させられるステップだということだ。人々が実際に何を尋ねるかの、現実的な分布をモデルが再構築できるようになれば、それを観測していたことのプレミアムは消える。
同時に、自分でやることのコストも下がっていく。プロンプトクラスターを数百回実行し、その統計を取ることは、高くつく計算ではないし、毎年さらに安くなっていく。今日はそのためにプラットフォームを買う。だがまもなく、それは自分のスタックの中のスケジュールジョブになる。そしてスケジュールジョブのためにダッシュボードを買う者はいない。
そして最後の締め付けが来る。私が最も注視しているものだ。研究所だけが、この中で本当に観測不能な唯一の部分を所有している。モデルそのものがコモディティ化していくにつれて、そして実際にコモディティ化している。彼らはトークンではない収益源を必要とするようになる。プロンプトと答えの間で起きたことへの、構造化された可視性を売ることは、明白な多角化の道だ。そしてそれを、誰の許可を求めることもなく売れるのは、彼らだけだ。その日が来れば、あらゆる独立系GEO企業は、自社の仕入れ先がじかに提供できるものを、転売しているにすぎなくなる。
だから、ノイズを覚悟しておこう。大型の資金調達、仰々しい肩書き、3年ほどは次のSemrushに見えるカテゴリー。その資金の一部は本物だ。だが堀のほとんどは本物ではない。
私は今でも、これが最良の場所の一つだと思っている。だが、留まるにもいい場所かどうかは、確信が持てない。
これが実話だと伝える箇所
これらすべてを見つけたのは、Hexaインキュベーターでの10日間だった。行けば問題を手渡され、仕事はそのアイデアに価値があると証明することだ。それが取り決めだ。
これは思考実験ではない。このアイデアは、その10日間から、Hexaが構築のために約75万ユーロを投じるだけの裏づけを持って生まれ、私のパートナーとともに前へ進められている。
私自身は続投を選ばれなかったが、それでもここ長らくで最高の10日間の一つだった。本物の問題、電話の向こうの本物のユーザー、本物の市場、演技なし。この仕事はきちんと立っていた。
明日にでも、また同じことをやりたい（ただし今度はYCで🤣）。