17 août 2026 · 9 min read
L'intelligence non observée des LLM
Tout le monde regarde la question et la réponse. L'intelligence se trouve entre les deux, et personne ne la regarde. Dix jours chez Hexa, un vrai marché, et la couche de la pile que personne ne possède encore.
L'intelligence non observée des LLM
Des marques sont décrites à leurs clients par une machine, dans un paragraphe qu'elles ne voient jamais s'écrire, construit à partir de sources qu'elles n'ont jamais choisies. La plupart d'entre elles paient aujourd'hui quelqu'un pour mesurer ça.
Tout le monde regarde la question et la réponse. L'intelligence se trouve entre les deux, et personne ne la regarde.
Le problème : personne ne sait ce qui se passe au milieu
Avant, les gens tapaient des mots-clés dans une case et obtenaient dix liens bleus. Ça, on pouvait le mesurer. Position 3 pour « chaussures de running », position 8 pour « chaussures de trail ». Ennuyeux, mais honnête.
Maintenant, les gens tapent une phrase. Un modèle la lit, décide ce qu'ils voulaient vraiment dire, la découpe en morceaux, part chercher des choses, en jette la plupart, et écrit un paragraphe. La marque apparaît dans ce paragraphe, ou elle n'y apparaît pas.
Tout ce qui compte se passe au milieu. Et le milieu est une boîte noire.
Prompt
best CRM for a small team
Intent distilling
What do they actually want? A CRM recommendation for a team of a few people.
Decomposition
- best CRM small team
- what CRM should a 5 person startup use
- CRM price per seat
Retrieval
- review site · A
- forum thread · B
- vendor page · A
- listicle · B C
- news · C
- comparison · A B
Selection & ranking
- review site · A
- forum thread · B
- vendor page · A
- listicle · B C
- news · C
- comparison · A B
Synthesis
Writes one paragraph from what was kept. Brand B was in the sources. It is not in the paragraph.
Answer
For a small team, Brand A is a strong pick…
What happens between the prompt and the answer: intent distilling, decomposition, retrieval, selection and ranking, synthesis. Only the prompt and the answer are observable.
Chacune de ces flèches est un endroit où une marque entre, ou se fait éliminer. Personne, aujourd'hui, dans la vente de GEO, ne peut te dire quelle flèche t'a tué. On peut juste te dire que tu n'étais pas dans le paragraphe final.
C'est un problème de statistique, pas de classement
Voici ce qui casse le cerveau des gens qui viennent du SEO.
Pose la même question deux fois, tu obtiens deux réponses différentes. Pose-la un peu différemment, tu obtiens un jeu de sources différent. Pose-la demain, encore différent. Il n'y a pas de position 3. Il y a une distribution.
Donc le travail, c'est du travail d'échantillonnage :
- Tu ne lances pas un prompt. Tu le lances n fois. Une réponse est une anecdote. Cent réponses, c'est une mesure. Un taux de mention de 34 % ± 6 veut dire quelque chose. « On est apparus » ne veut rien dire.
- Tu regroupes les prompts par intention, pas par chaîne de texte. « Meilleur CRM pour une petite équipe » et « quel CRM pour une startup de 5 personnes » sont la même question habillée différemment. Si tu les traites comme deux mots-clés, tu comptes en double et tu te trompes toi-même.
- Tu mesures plus que la présence. Taux de mention. Part de voix face aux concurrents nommés. Position dans la réponse. Sentiment quand la marque est mentionnée. Quelle source a été citée pour justifier la mention.
- Tu surveilles la variance, pas seulement la moyenne. Une marque mentionnée 90 % du temps sur un modèle et 10 % sur un autre n'a pas un problème à 50 %. Elle a deux problèmes différents.
- Il te faut un groupe témoin. Sinon, impossible de savoir si ton contenu a fait quelque chose ou si le modèle a juste été mis à jour un mardi.
C'est la colonne vertébrale analytique de toute la catégorie : plan d'échantillonnage, clustering, attribution, intervalles de confiance. C'est plus proche des études d'opinion que du SEO.
—
n = 0 · mentioned 0
Run the prompt. One answer is an anecdote.
Les maths qui servent vraiment à quelque chose
Quatre outils font l'essentiel du travail ici.
L'intervalle de score de Wilson, pour « est-ce qu'on est sûrs ? » Le taux de mention est une proportion, et l'approximation normale s'effondre pour les petits n et pour les taux proches de 0 ou de 1, exactement là où vivent les marques. Wilson, lui, tient. Et il te donne ta taille d'échantillon d'entrée de jeu : pour mesurer un taux de mention à ±5 points près avec 95 % de confiance, il faut environ 400 exécutions de ce cluster de prompts. À ±10 points, une centaine. Si ton dashboard affiche un chiffre calculé sur 20 exécutions, il affiche du bruit.
La mise à jour Beta-Binomiale, pour « est-ce que ça a bougé ? » Modélise le taux de mention de chaque cluster de prompts comme une postérieure Beta. Prior du mois dernier, vraisemblance des exécutions de cette semaine, postérieure en sortie. Ça gère les petits échantillons honnêtement, ça accumule les preuves au fil du temps au lieu de jeter la semaine dernière, et ça donne directement P(le taux a augmenté) au lieu d'une p-value que personne ne sait interpréter.
Bayes, pour « quel levier a fait bouger ça ? » C'est celui que tout le monde saute. Tu observes une mention. Ce que tu veux, c'est P(notre nouvelle page a causé ça | mention), et ce que tu peux mesurer, c'est P(mention | la page est citée). Bayes inverse ça, et le prior, c'est le taux de base d'être mentionné sans la page du tout. Applique-le, et la plupart des affirmations « notre contenu a marché » s'effondrent : le taux de base était déjà élevé et personne ne l'avait vérifié. Même astuce pour la chaîne des sources : étant donné une mention, laquelle de tes propriétés a été citée, pondérée par la fréquence à laquelle cette propriété est citée en général.
La divergence KL, pour « à quelle distance notre jeu synthétique est-il de la réalité ? » Regroupe les prompts par intention, obtiens une distribution sur les clusters pour ton jeu synthétique et une distribution sur les clusters pour le trafic réel, et mesure l'écart. KL (ou Jensen-Shannon, qui est symétrique et bornée, donc plus facile à communiquer) te donne un seul chiffre pour dire à quel point ton jeu de prompts simulé se trompe. Sans prompts réels, tu ne peux pas la calculer du tout : c'est le problème silencieux de toute plateforme qui ne tourne que sur du synthétique. Elle ne peut pas mesurer sa propre erreur.
Deux autres, en bref : la différence de différences face à un groupe témoin de marques concurrentes, pour qu'une mise à jour de modèle un mardi ne soit pas comptabilisée comme ta victoire ; et une correction pour comparaisons multiples, parce que si tu testes 200 clusters de prompts à p<0.05, tu obtiens dix résultats « significatifs » par pur hasard.
Ce que j'ai trouvé sur le marché
J'ai utilisé ces dix jours pour vraiment parler aux gens. Des entreprises qui ont le problème, et des entreprises qui vendent le remède. Profound et le reste de cette bande.
Le marché est réel. La douleur est réelle. Les marques surveillent un canal qu'elles ne peuvent pas voir, et il grandit.
Mais presque tout le monde tourne sur des prompts synthétiques. Un modèle génère une liste de questions que les clients « pourraient » poser, et la plateforme mesure ça. C'est malin. Ça marche assez bien pour se vendre. J'ai construit avec des données synthétiques moi aussi, et j'ai obtenu un signal utile rapidement.
Ça reste une supposition. Une supposition très bien habillée sur ce que les humains tapent vraiment. Et le deuxième problème est pire : même avec des prompts parfaits, tu ne regardes que l'entrée et la sortie. Le milieu reste dans le noir. Tu n'as pas les sous-questions. Tu n'as pas les requêtes qui se sont déclenchées. Tu n'as pas les sources qui ont été envisagées puis écartées.
Dessine la boucle et tu vois où elle casse.
The working loop
The loop everyone runs
Deux ruptures, et elles s'additionnent. La rupture 1 veut dire que tu optimises pour des questions que personne n'a posées. La rupture 2 veut dire que même quand tu gagnes, tu ne peux pas dire laquelle de tes modifications a fait le coup, donc la prochaine décision est aussi une supposition. Une boucle sans retour propre n'est pas une boucle. C'est un tapis de course avec un dashboard boulonné dessus.
Le vrai prix, c'est la donnée brute. Des prompts réels, des sessions réelles, des étapes intermédiaires réelles. Celui qui a ça ne devine pas ce qui se passe au milieu. Il le voit.
Où les entreprises de GEO se situent vraiment dans la pile
Toute industrie de la donnée finit par se structurer en trois mêmes couches, et ça vaut le coup de savoir dans laquelle tu es.
Couche 1 : collecte. Possède la donnée brute à la source. Panels, crawlers, clickstream, tickets de caisse, logs télécom. Longue à construire, chère, pas glamour. Les meilleures marges, la plus dure à copier.
Couche 2 : analytique. Achète ou licencie la donnée brute, la nettoie, la normalise, en fait des métriques et des benchmarks, vend un dashboard. La plupart des startups vivent ici parce que c'est l'endroit le plus facile pour démarrer.
Couche 3 : activation. Prend les métriques et fait le travail. Agences, outils, boîtes de contenu. La plus proche du budget du client, la marge la plus faible.
Il y a en général aussi un courtier entre 1 et 2 : LiveRamp, Snowflake Marketplace, les revendeurs de données de carte bancaire, dont le seul travail est de faire circuler la donnée depuis ceux qui l'ont vers ceux qui la veulent.
L'ancien SEO se cale parfaitement là-dessus. La collecte, c'étaient les crawlers plus les panels de clickstream vendus discrètement par des extensions de navigateur et des FAI. L'analytique, c'était Semrush et Ahrefs. Remarque qu'ils ont construit leurs propres crawlers, donc ils possèdent les couches 1 et 2, ce qui explique exactement pourquoi ils sont devenus gros. L'activation, c'était toutes les agences SEO de la planète.
Deux règles en découlent, et ce sont elles qui décident qui survit :
- La couche 2 seule finit toujours par se banaliser. Si dix entreprises licencient le même flux, elles rapportent toutes les mêmes chiffres et finissent par se faire concurrence sur l'interface et le prix.
- La couche 1 peut remonter vers 2 et 3 quand elle veut. Ça ne marche jamais dans l'autre sens.
Regarde maintenant le GEO aujourd'hui. Presque tous les acteurs sont des entreprises de couche 2 sans couche 1 en dessous. Il n'y a pas de flux à licencier, parce que la donnée vit dans les logs de chat de quelqu'un d'autre. Alors ils fabriquent l'entrée manquante, des prompts synthétiques, et vendent de l'analytique sur des données qu'ils ont inventées.
Les prompts réels et les sessions réelles sont la couche 1 de cette industrie, et personne ne la possède encore.
- Layer 3 · Activationagencies, tools, content shops
- Layer 2 · Analyticsalmost every GEO player, on synthetic prompts
- ↕ brokerLiveRamp, Snowflake Marketplace, card-data resellers
- Layer 1 · Collectionreal prompts and real sessions: nobody owns it yet
Alors pourquoi quelqu'un te donnerait-il ses données ?
Personne ne le ferait. C'est tout le jeu, et c'est là que la plupart des idées de ce secteur meurent en silence.
Personne ne se réveille en voulant te vendre son historique de prompts. Il n'y a que deux façons honnêtes d'y arriver :
- Construire quelque chose que les gens veulent pour une raison complètement différente. Un service qui tient debout tout seul, qu'ils utiliseraient même si tu ne touchais jamais à la donnée. La donnée est un sous-produit d'une valeur que tu as déjà livrée. C'est comme ça que toute entreprise de la donnée qui a jamais marché a marché.
- Payer pour ça. Tout simplement. Acheter la donnée à ceux qui la possèdent, et être clair sur ce que tu achètes et pourquoi.
Tout le reste est soit un problème de vie privée, soit un vœu pieux.
Cette contrainte n'est pas une note de bas de page sur le business. C'est le business. Toute entreprise de GEO qui accède à des données comportementales réelles avant ses concurrents ne gagne pas 10 %. Elle arrête de deviner pendant que tout le monde continue de deviner.
Pourquoi je pense toujours que c'est l'un des meilleurs endroits où être
L'agent distille déjà l'intention de ton prompt. Il décide déjà quoi chercher. Il décide déjà quoi garder. Cette mécanique est en train d'être construite en ce moment même, par tout le monde, très vite.
Comprendre ce qui se passe entre le prompt et la réponse, quelles actions mènent à quelle réponse, et l'obtenir à partir de données réelles plutôt que de données simulées, ça va compter pour toute entreprise qui vend quoi que ce soit.
Et maintenant la partie discrète, parce que la plupart des gens qui vendent dans cet espace ne la diront pas. C'est un bon endroit où être, pour un temps limité.
Deux choses referment la fenêtre.
La première, c'est la loi. Les droits sur la donnée bougent dans toutes les juridictions à la fois, et ils bougent tous dans le même sens. Collecter de la donnée comportementale, l'utiliser, et la revendre deviennent chacun plus dur, plus lent et plus cher. Une entreprise dont tout l'avantage est de détenir de vrais prompts et de vraies sessions est une entreprise dont tout l'avantage est à une régulation de devenir un passif.
La deuxième, c'est que la donnée arrête d'être spéciale. Ce que j'ai dit plus tôt, que les prompts synthétiques sont une supposition bien habillée, est vrai aujourd'hui et le sera de moins en moins chaque trimestre. Reviens à l'anatomie du milieu. Distillation de l'intention, décomposition, récupération, sélection. Chacune de ces étapes est une étape qu'un modèle exécute, ce qui veut dire que c'est une étape qu'on peut demander à un modèle d'exécuter à nouveau, à la demande. Une fois qu'un modèle peut reconstruire une distribution réaliste de ce que les gens demandent vraiment, la prime sur le fait de l'avoir observé s'effondre.
Le coût de le faire soi-même baisse en même temps. Lancer un cluster de prompts quelques centaines de fois et en faire les statistiques n'est pas un calcul coûteux, et ça devient moins cher chaque année. Aujourd'hui, tu achètes une plateforme pour ça. Bientôt, c'est une tâche planifiée à l'intérieur de ta propre pile, et personne n'achète un dashboard pour une tâche planifiée.
Puis vient la dernière pression, et c'est celle que je surveillerais. Les labos possèdent la seule partie vraiment inobservable de tout ça. À mesure que le modèle lui-même se banalise, et il se banalise, ils ont besoin d'un revenu qui ne soit pas des tokens. Vendre de la visibilité structurée sur ce qui s'est passé entre le prompt et la réponse est la diversification évidente, et ils sont les seuls à pouvoir la vendre sans demander la permission à qui que ce soit. Ce jour-là, chaque entreprise de GEO indépendante revend quelque chose que son propre fournisseur peut offrir directement.
Alors attends-toi à du bruit. De grosses levées, de gros titres, une catégorie qui ressemble au prochain Semrush pendant environ trois ans. Une partie de cet argent est réel. La plupart des fossés défensifs ne le sont pas.
Je pense toujours que c'est l'un des meilleurs endroits où être. Je suis moins sûr que ce soit un bon endroit où rester.
Le passage où je te dis que c'est réel
J'ai trouvé tout ça pendant dix jours à l'incubateur Hexa. Tu débarques, ils te donnent un problème, et ton travail consiste à prouver que leur idée a du mérite. C'est le deal.
Ce n'est pas une expérience de pensée. L'idée est ressortie de ces dix jours avec assez de substance pour qu'Hexa mette environ 750 000 € dans sa construction, et la porte plus loin avec mon associé.
Je n'ai pas été sélectionné pour continuer, mais ça reste l'un des meilleurs dix jours que j'ai passés depuis longtemps. Vrai problème, vrais utilisateurs au téléphone, vrai marché, aucun théâtre. Le travail a tenu debout.
Je recommencerais demain (mais cette fois avec YC 🤣).