17 de agosto de 2026 · 8 min read
La inteligencia no observada de los LLM
Todo el mundo mira la pregunta y la respuesta. La inteligencia está en medio, y nadie la mira. Diez días en Hexa, un mercado real, y la capa de la pila que todavía no tiene dueño.
La inteligencia no observada de los LLM
Una máquina describe las marcas a sus clientes en un párrafo que ellos nunca ven escrito, a partir de fuentes que nunca eligieron. La mayoría de esas marcas ya paga a alguien para medirlo.
Todo el mundo mira la pregunta y la respuesta. La inteligencia está en medio, y nadie la mira.
El problema: nadie sabe qué pasa en el medio
Antes, la gente escribía palabras clave en un cuadro de búsqueda y recibía diez enlaces azules. Eso se podía medir. Posición 3 para "zapatillas de correr", posición 8 para "zapatillas de correr de montaña". Aburrido, pero honesto.
Ahora la gente escribe una frase. Un modelo la lee, decide qué quiso decir realmente, la divide en partes, busca cosas, descarta la mayoría y escribe un párrafo. La marca aparece en ese párrafo o no aparece.
Todo lo que importa ocurre en el medio. Y el medio es una caja negra.
Prompt
best CRM for a small team
Intent distilling
What do they actually want? A CRM recommendation for a team of a few people.
Decomposition
- best CRM small team
- what CRM should a 5 person startup use
- CRM price per seat
Retrieval
- review site · A
- forum thread · B
- vendor page · A
- listicle · B C
- news · C
- comparison · A B
Selection & ranking
- review site · A
- forum thread · B
- vendor page · A
- listicle · B C
- news · C
- comparison · A B
Synthesis
Writes one paragraph from what was kept. Brand B was in the sources. It is not in the paragraph.
Answer
For a small team, Brand A is a strong pick…
What happens between the prompt and the answer: intent distilling, decomposition, retrieval, selection and ranking, synthesis. Only the prompt and the answer are observable.
Cada una de esas flechas es un punto donde una marca entra o queda fuera. Nadie que venda GEO hoy puede decirte qué flecha te eliminó. Solo puede decirte que no estabas en el párrafo final.
Esto es un problema de estadística, no de posicionamiento
Esto es lo que descoloca a quien viene del SEO.
Haz dos veces la misma pregunta y obtendrás dos respuestas distintas. Hazla de otra forma y obtendrás otro conjunto de fuentes. Mañana, otra vez distinto. No hay posición 3. Hay una distribución.
Así que el trabajo es de muestreo:
- No ejecutas un prompt. Lo ejecutas n veces. Una respuesta es una anécdota. Cien respuestas son una medición. Una tasa de mención del 34 % ± 6 significa algo. "Aparecimos" no significa nada.
- Agrupas los prompts por intención, no por cadena de texto. "Mejor CRM para un equipo pequeño" y "qué CRM debería usar una startup de 5 personas" son la misma pregunta con otra ropa. Si los tratas como dos palabras clave, contarás dos veces y te engañarás.
- Mides más que la presencia. Tasa de mención. Cuota de voz frente a competidores nombrados. Posición en la respuesta. Sentimiento cuando aparece. Qué fuente se citó para justificar la mención.
- Vigilas la varianza, no solo la media. Una marca mencionada el 90 % de las veces en un modelo y el 10 % en otro no tiene un problema del 50 %. Tiene dos problemas distintos.
- Necesitas un control. Si no, no puedes saber si tu contenido hizo algo o si el modelo simplemente se actualizó el martes.
Esa es la columna analítica de toda la categoría: diseño de muestreo, agrupación, atribución e intervalos de confianza. Se parece más a la investigación por encuestas que al SEO.
—
n = 0 · mentioned 0
Run the prompt. One answer is an anecdote.
Las matemáticas que de verdad se ganan su sitio
Cuatro herramientas hacen la mayor parte del trabajo aquí.
Intervalo de Wilson, para "¿estamos seguros?" La tasa de mención es una proporción, y la aproximación normal se rompe con muestras pequeñas y con tasas cercanas a 0 o 1, que es justo donde viven las marcas. Wilson no se rompe. Además, te dice de antemano el tamaño de muestra: para medir una tasa de mención con ±5 puntos y un 95 % de confianza, necesitas unas 400 ejecuciones de ese grupo de prompts. Con ±10 puntos, unas 100. Si tu panel informa un número basado en 20 ejecuciones, está informando ruido.
Actualización Beta-Binomial, para "¿se movió?" Modela la tasa de mención de cada grupo de prompts como una posterior Beta. Prior del mes pasado, verosimilitud de las ejecuciones de esta semana, posterior a la salida. Maneja bien las muestras pequeñas, acumula evidencia a lo largo del tiempo en lugar de tirar la semana anterior, y te da directamente P(la tasa subió), en lugar de un valor p que nadie puede interpretar.
Bayes, para "¿qué palanca lo movió?" Es el que la gente se salta. Observas una mención. Lo que quieres saber es P(nuestra nueva página causó esto | mención), y lo que puedes medir es P(mención | la página está citada). Bayes invierte la condición, y el prior es la tasa base de ser mencionado sin la página. Hazlo y la mayoría de las afirmaciones de "nuestro contenido funcionó" se vienen abajo. La tasa base ya era alta y nadie lo comprobó. Lo mismo para la cadena de fuentes: dada una mención, ¿cuál de tus propiedades fue citada, ponderada por la frecuencia con que esa propiedad es citada en general?
Divergencia KL, para "¿qué tan lejos está nuestro conjunto sintético de la realidad?" Agrupa los prompts por intención, obtén una distribución sobre los grupos para tu conjunto sintético y otra para el tráfico real, y mide la diferencia. KL (o Jensen-Shannon, que es simétrica y acotada, así que es más fácil de informar) te da un solo número de cuánto se equivoca tu conjunto de prompts simulado. Sin prompts reales, no puedes calcularlo en absoluto. Ese es el problema silencioso de toda plataforma solo sintética: no pueden medir su propio error.
Dos más, brevemente: diferencia en diferencias frente a un conjunto de control de marcas competidoras, para que una actualización del modelo el martes no se registre como tu victoria; y una corrección por comparaciones múltiples, porque si pruebas 200 grupos de prompts con p<0,05, obtienes diez resultados "significativos" por puro azar.
Lo que encontré en el mercado
Usé los diez días para hablar de verdad con gente. Empresas con el problema y empresas que venden la solución. Profound y el resto de ese grupo.
El mercado es real. El dolor es real. Las marcas miran un canal que no pueden ver, y ese canal crece.
Pero casi todos funcionan con prompts sintéticos. Un modelo genera una lista de preguntas que los clientes "podrían" hacer, y la plataforma mide esas preguntas. Es ingenioso. Funciona lo bastante bien como para venderse. Yo también construí con datos sintéticos y obtuve señal útil rápido.
Sigue siendo una suposición. Una suposición muy bien vestida sobre lo que los humanos escriben de verdad. Y el segundo problema es peor: incluso con prompts perfectos, solo observas la entrada y la salida. El medio sigue a oscuras. No obtienes las subpreguntas. No obtienes las consultas que se dispararon. No obtienes las fuentes que se consideraron y se descartaron.
Dibuja el bucle y verás dónde se rompe.
The working loop
The loop everyone runs
Dos roturas, y se agravan entre sí. La rotura 1 significa que optimizas para preguntas que nadie hizo. La rotura 2 significa que, incluso cuando ganas, no puedes decir qué cambio lo causó, así que la siguiente decisión también es una suposición. Un bucle sin retroalimentación limpia no es un bucle. Es una cinta de correr con un panel atornillado.
El premio son los datos en bruto. Prompts reales, sesiones reales, pasos intermedios reales. Quien los tenga no adivina lo que pasa en el medio. Puede verlo.
Dónde están realmente las empresas de GEO en la pila
Toda industria de datos acaba con las mismas tres capas, y conviene saber en cuál estás.
Capa 1: recogida. Es dueña de los datos en bruto en la fuente. Paneles, rastreadores, flujos de clics, tickets, registros de telefonía. Lenta de construir, cara y poco vistosa. Los mejores márgenes y lo más difícil de copiar.
Capa 2: analítica. Licencia o compra datos en bruto, los limpia, los normaliza, los convierte en métricas y referencias, y vende un panel. La mayoría de las startups viven aquí porque es el sitio más fácil para empezar.
Capa 3: activación. Toma las métricas y hace el trabajo. Agencias, herramientas, talleres de contenido. Lo más cercano al presupuesto del cliente, y con el margen más bajo.
Normalmente también hay un intermediario entre la 1 y la 2, como LiveRamp, Snowflake Marketplace o los revendedores de datos de tarjetas, cuyo único trabajo es trasladar datos de quien los tiene a quien los quiere.
El SEO antiguo encaja limpiamente en esto. La recogida eran los rastreadores más los paneles de flujos de clics que vendían en silencio las extensiones de navegador y los proveedores de internet. La analítica eran Semrush y Ahrefs, y fíjate en que construyeron sus propios rastreadores, así que dominan las capas 1 y 2, que es precisamente la razón por la que crecieron tanto. La activación era cada agencia de SEO del planeta.
De esto se desprenden dos reglas, y deciden quién sobrevive:
- La capa 2 por sí sola se convierte en mercancía. Si diez empresas licencian el mismo flujo, todas informan los mismos números y acaban compitiendo en interfaz y precio.
- La capa 1 puede subir a la 2 y a la 3 cuando quiera. Nunca funciona al revés.
Ahora mira el GEO de hoy. Casi todos los jugadores son negocios de capa 2 sin capa 1 debajo. No hay un flujo que licenciar, porque los datos viven dentro de los registros de chat de otra empresa. Así que fabrican la entrada que falta, los prompts sintéticos, y venden analítica encima de datos que ellos mismos inventaron.
Los prompts reales y las sesiones reales son la capa 1 de esta industria, y todavía no tiene dueño.
- Layer 3 · Activationagencies, tools, content shops
- Layer 2 · Analyticsalmost every GEO player, on synthetic prompts
- ↕ brokerLiveRamp, Snowflake Marketplace, card-data resellers
- Layer 1 · Collectionreal prompts and real sessions: nobody owns it yet
Entonces, ¿por qué alguien te daría sus datos?
No lo harían. Ese es todo el juego, y ahí es donde mueren en silencio la mayoría de las ideas de este espacio.
Nadie se despierta con ganas de venderte su historial de prompts. Solo hay dos formas honestas de entrar:
- Construir algo que la gente quiera por un motivo completamente distinto. Un servicio que se sostenga por sí mismo, que usarían aunque nunca tocaras sus datos. Los datos son un subproducto del valor que ya entregaste. Así han funcionado todos los negocios de datos que han funcionado.
- Pagar por ellos. Sin rodeos. Compra los datos a quienes los poseen, y sé claro sobre qué compras y por qué.
Todo lo demás es un problema de privacidad o un deseo.
Esa restricción no es una nota al pie del negocio. Es el negocio. Cualquier empresa de GEO que llegue a datos de comportamiento reales antes que sus competidores no gana por un 10 %. Deja de adivinar mientras todos los demás siguen adivinando.
Por qué sigo pensando que este es uno de los mejores sitios donde estar
El agente ya destila la intención de tu prompt. Ya decide qué buscar. Ya decide qué conservar. Esa maquinaria se está construyendo ahora mismo, por todos, muy deprisa.
Entender qué ocurre entre el prompt y la respuesta, qué acciones llevan a qué respuesta, y obtener eso de datos reales en lugar de datos simulados, va a importar a toda empresa que venda cualquier cosa.
Y ahora la parte silenciosa, porque la mayoría de quienes venden en este espacio no la dirán. Este es un buen sitio para estar durante un tiempo limitado.
Dos cosas cierran la ventana.
La primera es la ley. Los derechos sobre los datos se están moviendo en todas las jurisdicciones a la vez, y todas van en la misma dirección. Recopilar datos de comportamiento, usarlos y revenderlos se vuelve cada vez más difícil, lento y caro. Un negocio cuya ventaja entera es conservar prompts y sesiones reales es un negocio cuya ventaja entera está a una regulación de convertirse en un pasivo.
La segunda es que los datos dejan de ser especiales. Lo que dije antes, que los prompts sintéticos son una suposición bien vestida, es cierto hoy y lo es cada vez menos cada trimestre. Mira otra vez la anatomía del medio. Destilar la intención, descomponer, recuperar, seleccionar. Cada uno de esos pasos lo realiza un modelo, lo que significa que es un paso que se le puede pedir que vuelva a realizar, a demanda. Cuando un modelo puede reconstruir una distribución realista de lo que la gente pregunta de verdad, el valor de haberlo observado se desploma.
El coste de hacerlo tú mismo baja al mismo tiempo. Ejecutar un grupo de prompts unos cientos de veces y hacer la estadística no es un cálculo caro, y cada año es más barato. Hoy compras una plataforma para eso. Pronto será un trabajo programado dentro de tu propia pila, y nadie compra un panel para un trabajo programado.
Luego viene el último apretón, y es el que vigilaría. Los laboratorios son dueños de la única parte realmente no observable de todo esto. A medida que el propio modelo se convierte en mercancía, y lo está haciendo, necesitan ingresos que no sean tokens. Vender visibilidad estructurada sobre lo que ocurrió entre el prompt y la respuesta es la diversificación obvia, y son los únicos que pueden venderla sin pedir permiso a nadie. Ese día, cada empresa independiente de GEO estará revendiendo algo que su propio proveedor puede ofrecer directamente.
Así que espera ruido. Rondas grandes, cargos grandes, una categoría que parece el próximo Semrush durante unos tres años. Parte de ese dinero es real. La mayoría de los fosos defensivos no lo son.
Sigo pensando que es uno de los mejores sitios donde estar. Tengo menos claro que sea un buen sitio para quedarse.
La parte en la que te digo que esto es real
Descubrí todo esto durante diez días en la incubadora Hexa. Llegas, te dan un problema, y tu trabajo es demostrar que su idea tiene mérito. Ese es el trato.
No es un experimento mental. La idea salió de esos diez días con suficiente base como para que Hexa invierta alrededor de 750.000 € en construirla, y la lleve adelante junto con mi socio.
No me seleccionaron para seguir, pero aun así fueron de los mejores diez días que he tenido en mucho tiempo. Problema real, usuarios reales al teléfono, mercado real, sin teatro. El trabajo se sostuvo.
Lo volvería a hacer mañana (pero esta vez con YC 🤣).