17. August 2026 · 7 min read
Die unbeobachtete Intelligenz von LLMs
Alle schauen auf Frage und Antwort. Die Intelligenz liegt dazwischen, und niemand schaut hin. Zehn Tage bei Hexa, einem echten Markt, und die Schicht des Stacks, die noch niemandem gehört.
Die unbeobachtete Intelligenz von LLMs
Marken werden ihren Kunden von einer Maschine beschrieben, in einem Absatz, den sie nie geschrieben sehen, aus Quellen, die sie nie gewählt haben. Die meisten bezahlen inzwischen jemanden dafür, das zu messen.
Alle schauen auf die Frage und die Antwort. Die Intelligenz liegt dazwischen, und niemand schaut hin.
Das Problem: Niemand weiß, was in der Mitte passiert
Früher haben Leute Stichwörter in ein Feld getippt und zehn blaue Links bekommen. Das konntest du messen. Rang 3 für „Laufschuhe“, Rang 8 für „Trailrunning-Schuhe“. Langweilig, aber ehrlich.
Heute tippen Leute einen ganzen Satz. Ein Modell liest ihn, entscheidet, was sie tatsächlich meinten, zerlegt ihn in Teile, sucht nach Dingen, wirft das meiste wieder weg und schreibt einen Absatz. Die Marke steht in diesem Absatz oder sie steht nicht drin.
Alles, was zählt, passiert in der Mitte. Und die Mitte ist eine Blackbox.
Prompt
best CRM for a small team
Intent distilling
What do they actually want? A CRM recommendation for a team of a few people.
Decomposition
- best CRM small team
- what CRM should a 5 person startup use
- CRM price per seat
Retrieval
- review site · A
- forum thread · B
- vendor page · A
- listicle · B C
- news · C
- comparison · A B
Selection & ranking
- review site · A
- forum thread · B
- vendor page · A
- listicle · B C
- news · C
- comparison · A B
Synthesis
Writes one paragraph from what was kept. Brand B was in the sources. It is not in the paragraph.
Answer
For a small team, Brand A is a strong pick…
What happens between the prompt and the answer: intent distilling, decomposition, retrieval, selection and ranking, synthesis. Only the prompt and the answer are observable.
Jeder dieser Pfeile ist eine Stelle, an der eine Marke hineinkommt oder herausfällt. Heute kann kein GEO-Anbieter sagen, welcher Pfeil dich erledigt hat. Sie können nur sagen, dass du nicht im letzten Absatz standst.
Das ist ein Statistikproblem, kein Ranking-Problem
Hier ist, was Leute aus dem SEO-Bereich zuerst irritiert.
Stell dieselbe Frage zweimal, und du bekommst zwei verschiedene Antworten. Stell sie etwas anders, und du bekommst eine andere Menge an Quellen. Frag morgen, wieder anders. Es gibt keinen Rang 3. Es gibt eine Verteilung.
Also ist die Arbeit Stichprobenarbeit:
- Du führst einen Prompt nicht einmal aus, sondern n-mal. Eine Antwort ist eine Anekdote. Hundert Antworten sind eine Messung. Eine Erwähnungsrate von 34 % ± 6 bedeutet etwas. „Wir sind aufgetaucht“ bedeutet nichts.
- Du gruppierst Prompts nach Absicht, nicht nach Wortlaut. „Bestes CRM für ein kleines Team“ und „welches CRM sollte ein Startup mit 5 Leuten nehmen“ sind dieselbe Frage in anderen Worten. Wenn du sie als zwei Stichwörter behandelst, zählst du doppelt und täuschst dich selbst.
- Du misst mehr als Präsenz. Erwähnungsrate. Share of Voice gegenüber benannten Wettbewerbern. Position im Absatz. Stimmung, wenn du erwähnt wirst. Welche Quelle als Beleg für die Erwähnung zitiert wurde.
- Du achtest auf die Streuung, nicht nur auf den Mittelwert. Eine Marke, die auf einem Modell in 90 % und auf einem anderen in 10 % der Fälle erwähnt wird, hat nicht ein Problem von 50 %. Sie hat zwei verschiedene Probleme.
- Du brauchst eine Kontrollgruppe. Sonst kannst du nicht unterscheiden, ob dein Inhalt etwas bewirkt hat oder ob das Modell am Dienstag einfach aktualisiert wurde.
Das ist das analytische Rückgrat der ganzen Kategorie: Stichprobendesign, Clustering, Zuordnung, Konfidenzintervalle. Es ist näher an der Umfrageforschung als an SEO.
—
n = 0 · mentioned 0
Run the prompt. One answer is an anecdote.
Die Mathe, die sich wirklich lohnt
Vier Werkzeuge erledigen hier fast die ganze Arbeit.
Wilson-Score-Intervall, für „Sind wir sicher?“ Die Erwähnungsrate ist ein Anteil, und die Normalverteilungs-Näherung bricht bei kleinen n und bei Raten nahe 0 oder 1 zusammen. Genau dort liegen Marken. Wilson bricht nicht zusammen. Außerdem sagt es dir die Stichprobengröße im Voraus: Um eine Erwähnungsrate auf ±5 Punkte genau bei 95 % Konfidenz zu messen, brauchst du etwa 400 Läufe dieses Prompt-Clusters. Bei ±10 Punkten etwa 100. Wenn dein Dashboard eine Zahl aus 20 Läufen zeigt, zeigt es Rauschen.
Beta-Binomial-Aktualisierung, für „Hat es sich bewegt?“ Modelliere die Erwähnungsrate jedes Prompt-Clusters als Beta-Posterior. Prior aus dem letzten Monat, Likelihood aus den Läufen dieser Woche, Posterior als Ergebnis. Das geht ehrlich mit kleinen Stichproben um, sammelt Evidenz über die Zeit, statt letzte Woche wegzuwerfen, und gibt dir direkt P(Rate ist gestiegen), statt eines p-Werts, den niemand richtig deuten kann.
Bayes, für „Welcher Hebel hat es bewegt?“ Diesen Schritt überspringen die meisten. Du beobachtest eine Erwähnung. Was du willst, ist P(unsere neue Seite hat das verursacht | Erwähnung). Gemessen werden kann aber nur P(Erwähnung | Seite wird zitiert). Bayes dreht das um, und der Prior ist die Grundrate der Erwähnung ohne die Seite überhaupt. Rechne das durch, und die meisten Behauptungen „unser Inhalt hat funktioniert“ brechen zusammen. Die Grundrate war schon hoch, und niemand hat nachgesehen. Derselbe Trick gilt für die Quellenkette: Gegeben eine Erwähnung, welche deiner Seiten wurde zitiert, gewichtet mit der Häufigkeit, mit der diese Seite überhaupt zitiert wird.
KL-Divergenz, für „Wie weit ist unser synthetisches Set von der Realität entfernt?“ Gruppiere Prompts nach Absicht, bilde eine Verteilung über die Cluster für dein synthetisches Set und eine für echten Traffic, und miss die Lücke. KL (oder Jensen–Shannon, das symmetrisch und nach oben begrenzt ist und sich deshalb leichter berichten lässt) gibt dir eine einzige Zahl dafür, wie falsch dein simuliertes Prompt-Set ist. Ohne echte Prompts lässt sich das gar nicht berechnen. Das ist das stille Problem jeder Plattform, die nur mit synthetischen Daten arbeitet. Sie können ihren eigenen Fehler nicht messen.
Zwei weitere, kurz: Difference-in-Differences gegenüber einer Kontrollgruppe aus Wettbewerbermarken, damit ein Modell-Update am Dienstag nicht als dein Erfolg verbucht wird. Und eine Korrektur für multiple Vergleiche, denn wenn du 200 Prompt-Cluster bei p<0.05 testest, bekommst du zehn „signifikante“ Ergebnisse durch reinen Zufall.
Was ich auf dem Markt gefunden habe
Ich habe die zehn Tage genutzt, um wirklich mit Leuten zu reden. Firmen mit dem Problem und Firmen, die die Lösung verkaufen. Profound und der Rest dieser Szene.
Der Markt ist echt. Der Schmerz ist echt. Marken beobachten einen Kanal, den sie nicht sehen können, und er wächst.
Aber fast alle arbeiten mit synthetischen Prompts. Ein Modell erzeugt eine Liste von Fragen, die Kunden „vielleicht“ stellen, und die Plattform misst diese. Das ist clever. Es funktioniert gut genug, um sich zu verkaufen. Ich habe auch mit synthetischen Daten gebaut und schnell brauchbare Signale bekommen.
Trotzdem bleibt es eine Vermutung. Eine sehr gut gekleidete Vermutung darüber, was Menschen tatsächlich eintippen. Und das zweite Problem ist schlimmer: Selbst mit perfekten Prompts beobachtest du nur Eingabe und Ausgabe. Die Mitte bleibt dunkel. Du bekommst die Unterfragen nicht. Du bekommst die Suchanfragen nicht, die ausgelöst wurden. Du bekommst die Quellen nicht, die in Betracht gezogen und wieder verworfen wurden.
Zeichne die Schleife, dann siehst du, wo sie bricht.
The working loop
The loop everyone runs
Zwei Brüche, und sie verstärken sich. Bruch 1 heißt: Du optimierst für Fragen, die niemand gestellt hat. Bruch 2 heißt: Selbst wenn du gewinnst, kannst du nicht sagen, welche deiner Änderungen es bewirkt hat, also ist auch die nächste Entscheidung eine Vermutung. Eine Schleife ohne sauberes Feedback ist keine Schleife. Es ist ein Laufband mit einem angeschraubten Dashboard.
Der Preis sind die Rohdaten. Echte Prompts, echte Sitzungen, echte Zwischenschritte. Wer die hat, rät nicht über die Mitte. Er kann sie sehen.
Wo GEO-Firmen im Stack eigentlich stehen
Jede Datenbranche landet bei denselben drei Schichten, und es lohnt sich zu wissen, in welcher du stehst.
Schicht 1: Erfassung. Besitzt die Rohdaten an der Quelle. Panels, Crawler, Clickstreams, Kassenbons, Telekom-Logs. Langsam aufzubauen, teuer, unspektakulär. Die besten Margen, am schwersten zu kopieren.
Schicht 2: Analyse. Lizenziert oder kauft Rohdaten, bereinigt sie, normalisiert sie, macht daraus Kennzahlen und Benchmarks und verkauft ein Dashboard. Die meisten Startups sitzen hier, weil es der einfachste Einstieg ist.
Schicht 3: Aktivierung. Nimmt die Kennzahlen und macht die Arbeit. Agenturen, Werkzeuge, Content-Studios. Am nächsten am Budget des Kunden, mit der niedrigsten Marge.
Zwischen Schicht 1 und 2 sitzt meist noch ein Broker, etwa LiveRamp, Snowflake Marketplace oder die Kartendaten-Händler. Seine einzige Aufgabe ist, Daten von denen, die sie haben, zu denen zu bringen, die sie wollen.
Das alte SEO passt sauber in dieses Modell. Erfassung waren Crawler und Clickstream-Panels, still verkauft von Browser-Erweiterungen und Providern. Analyse waren Semrush und Ahrefs, und beachte: Sie haben eigene Crawler gebaut und besitzen deshalb die Schichten 1 und 2. Genau deshalb sind sie groß geworden. Aktivierung war jede SEO-Agentur der Welt.
Daraus folgen zwei Regeln, und sie entscheiden, wer überlebt:
- Schicht 2 allein wird zur Ware. Wenn zehn Firmen dieselbe Quelle lizenzieren, melden sie alle dieselben Zahlen und konkurrieren nur noch über Oberfläche und Preis.
- Schicht 1 kann jederzeit nach oben in 2 und 3 gehen. Umgekehrt funktioniert es nie.
Schau dir jetzt GEO an. Fast jeder Anbieter ist ein Geschäft der Schicht 2 ohne Schicht 1 darunter. Es gibt keine Quelle zum Lizenzieren, weil die Daten in den Chat-Logs eines anderen liegen. Also erzeugen sie den fehlenden Input selbst, synthetische Prompts, und verkaufen Analysen auf Daten, die sie erfunden haben.
Echte Prompts und echte Sitzungen sind die Schicht 1 dieser Branche, und sie gehört noch niemandem.
- Layer 3 · Activationagencies, tools, content shops
- Layer 2 · Analyticsalmost every GEO player, on synthetic prompts
- ↕ brokerLiveRamp, Snowflake Marketplace, card-data resellers
- Layer 1 · Collectionreal prompts and real sessions: nobody owns it yet
Warum sollte dir überhaupt jemand seine Daten geben?
Niemand tut das. Das ist das ganze Spiel, und hier sterben die meisten Ideen in diesem Feld leise.
Niemand wacht auf und will dir seine Prompt-Historie verkaufen. Es gibt nur zwei ehrliche Wege hinein:
- Bau etwas, das Leute aus einem ganz anderen Grund wollen. Ein Dienst, der für sich allein steht, den sie auch dann nutzen würden, wenn du die Daten nie angerührt hättest. Die Daten sind ein Nebenprodukt des Nutzens, den du schon geliefert hast. So haben alle Datengeschäfte funktioniert, die jemals funktioniert haben.
- Bezahle dafür. Direkt. Kauf die Daten von denen, die sie besitzen, und sei klar darüber, was du kaufst und warum.
Alles andere ist entweder ein Datenschutzproblem oder ein Wunsch.
Diese Einschränkung ist keine Fußnote des Geschäfts. Sie ist das Geschäft. Jedes GEO-Unternehmen, das vor seinen Wettbewerbern an echte Verhaltensdaten kommt, gewinnt nicht um 10 %. Es hört auf zu raten, während alle anderen noch raten.
Warum ich trotzdem glaube, dass dies einer der besten Orte ist
Der Agent destilliert bereits die Absicht aus deinem Prompt. Er entscheidet bereits, was er sucht. Er entscheidet bereits, was er behält. Diese Maschinerie wird gerade von allen gebaut, und zwar sehr schnell.
Zu verstehen, was zwischen Prompt und Antwort passiert, welche Aktionen zu welcher Antwort führen, und das aus echten Daten statt aus simulierten zu lernen, wird für jede Firma wichtig sein, die irgendetwas verkauft.
Und jetzt der stille Teil, denn die meisten, die in diesem Feld verkaufen, sagen ihn nicht: Das ist ein guter Ort, um für begrenzte Zeit zu sein.
Zwei Dinge schließen das Fenster.
Das erste ist das Recht. Die Datenrechte bewegen sich gerade in allen Rechtsräumen gleichzeitig, und alle in dieselbe Richtung. Verhaltensdaten zu sammeln, zu nutzen und weiterzuverkaufen, wird überall schwerer, langsamer und teurer. Ein Geschäft, dessen ganzer Vorteil darin besteht, echte Prompts und echte Sitzungen zu halten, ist ein Geschäft, dessen ganzer Vorteil eine Regulierung davon entfernt ist, eine Haftung zu werden.
Das zweite: Die Daten hören auf, etwas Besonderes zu sein. Was ich vorhin gesagt habe, dass synthetische Prompts eine gut gekleidete Vermutung sind, stimmt heute und stimmt jedes Quartal weniger. Schau dir noch einmal die Anatomie der Mitte an. Absichtsdestillation, Zerlegung, Abruf, Auswahl. Jeder dieser Schritte führt ein Modell aus, und das heißt: Man kann ein Modell bitten, ihn bei Bedarf wieder auszuführen. Sobald ein Modell eine realistische Verteilung dessen rekonstruieren kann, was Menschen tatsächlich fragen, fällt der Wert, es beobachtet zu haben, in sich zusammen.
Die Kosten, es selbst zu machen, sinken gleichzeitig. Einen Prompt-Cluster ein paar hundert Mal laufen zu lassen und die Statistik dazu zu rechnen, ist keine teure Berechnung, und sie wird jedes Jahr billiger. Heute kauft man dafür eine Plattform. Bald ist es ein geplanter Job im eigenen Stack, und niemand kauft ein Dashboard für einen geplanten Job.
Dann kommt der letzte Druck, und das ist der, den ich im Auge behalten würde. Die Labore besitzen den einzigen wirklich unbeobachtbaren Teil dieses Feldes. Während das Modell selbst zur Ware wird, und das passiert, brauchen sie Umsatz, der nicht aus Tokens besteht. Strukturierte Sichtbarkeit in das, was zwischen Prompt und Antwort passiert ist, zu verkaufen, ist die naheliegende Diversifizierung. Und sie sind die Einzigen, die das verkaufen können, ohne jemanden um Erlaubnis zu bitten. An diesem Tag verkauft jedes unabhängige GEO-Unternehmen etwas weiter, das sein eigener Lieferant direkt anbieten kann.
Also erwarte Rauschen. Große Finanzierungsrunden, große Titel, eine Kategorie, die etwa drei Jahre lang aussieht wie das nächste Semrush. Ein Teil dieses Geldes ist echt. Die meisten Burggräben sind es nicht.
Ich halte es trotzdem für einen der besten Orte, an denen man sein kann. Ich bin mir weniger sicher, ob es ein guter Ort ist, um dort zu bleiben.
Der Teil, in dem ich dir sage, dass das echt ist
Ich habe all das in zehn Tagen im Inkubator Hexa gefunden. Du kommst hin, sie geben dir ein Problem, und deine Aufgabe ist zu beweisen, dass ihre Idee Substanz hat. Das ist der Deal.
Es war kein Gedankenexperiment. Die Idee kam aus diesen zehn Tagen mit genug Substanz heraus, dass Hexa etwa 750.000 € in den Aufbau stecken wird und es zusammen mit meinem Partner weiterführt.
Ich wurde nicht ausgewählt, um weiterzumachen. Trotzdem waren es eine der besten zehn Tage, die ich seit langem hatte. Echtes Problem, echte Nutzer am Telefon, echter Markt, kein Theater. Die Arbeit hat standgehalten.
Ich würde es morgen wieder tun (aber diesmal mit YC 🤣).