2026년 8월 17일 · 5 min read
LLM의 관찰되지 않는 지능
다들 질문과 답만 본다. 지능은 그 사이에 있는데, 아무도 거기를 보지 않는다. Hexa에서 보낸 열흘, 진짜 시장, 그리고 아직 아무도 소유하지 않은 스택의 층.
LLM의 관찰되지 않는 지능
브랜드는 이제 기계가 고객에게 설명해 준다. 자기가 쓰이는 걸 본 적 없는 문단으로, 자기가 고른 적 없는 출처들로 만들어진 문단으로. 요즘은 대부분의 브랜드가 이걸 측정해 줄 사람에게 돈을 낸다.
다들 질문과 답만 본다. 지능은 그 사이에 있는데, 아무도 거기를 보지 않는다.
문제: 중간에서 무슨 일이 일어나는지 아무도 모른다
예전엔 사람들이 검색창에 키워드를 치고 파란 링크 열 개를 받았다. 그건 측정할 수 있었다. "러닝화"는 3위, "트레일 러닝화"는 8위. 지루하지만 정직했다.
이제 사람들은 문장을 친다. 모델이 그것을 읽고, 진짜 뜻이 무엇인지 판단하고, 조각으로 쪼개고, 무언가를 찾으러 가고, 대부분을 버리고, 문단을 쓴다. 브랜드는 그 문단에 나오거나, 나오지 않거나 둘 중 하나다.
중요한 일은 전부 그 중간에서 일어난다. 그리고 그 중간은 블랙박스다.
Prompt
best CRM for a small team
Intent distilling
What do they actually want? A CRM recommendation for a team of a few people.
Decomposition
- best CRM small team
- what CRM should a 5 person startup use
- CRM price per seat
Retrieval
- review site · A
- forum thread · B
- vendor page · A
- listicle · B C
- news · C
- comparison · A B
Selection & ranking
- review site · A
- forum thread · B
- vendor page · A
- listicle · B C
- news · C
- comparison · A B
Synthesis
Writes one paragraph from what was kept. Brand B was in the sources. It is not in the paragraph.
Answer
For a small team, Brand A is a strong pick…
What happens between the prompt and the answer: intent distilling, decomposition, retrieval, selection and ranking, synthesis. Only the prompt and the answer are observable.
저 화살표 하나하나가 브랜드가 들어가거나 떨어져 나가는 지점이다. 오늘날 GEO를 파는 사람 중 어느 화살표가 당신을 떨어뜨렸는지 말해 줄 수 있는 사람은 없다. 최종 문단에 없었다는 것만 말할 수 있다.
이건 순위 문제가 아니라 통계 문제다
SEO 출신들이 여기서 머리가 깨지는 지점이 있다.
같은 질문을 두 번 하면 답이 두 개 다르게 나온다. 조금 다르게 물으면 출처 세트가 또 달라진다. 내일 물으면 또 다르다. 3위 같은 건 없다. 분포가 있을 뿐이다.
그래서 이 일은 샘플링 작업이다.
- 프롬프트를 한 번 돌리지 않는다. n번 돌린다. 답 하나는 일화다. 답 백 개는 측정치다. 언급률 34% ± 6은 무언가를 의미한다. "우리가 나왔다"는 아무것도 의미하지 않는다.
- 프롬프트는 문자열이 아니라 의도로 묶는다. "소규모 팀에 최적인 CRM"과 "5인 스타트업이 써야 할 CRM"은 옷만 다르게 입은 같은 질문이다. 둘을 별개의 키워드로 취급하면 중복 집계하고 스스로를 속이게 된다.
- 등장 여부만 재지 않는다. 언급률. 이름이 거론된 경쟁사 대비 점유율. 답 안에서의 위치. 언급될 때의 논조. 그 언급을 뒷받침하려고 인용된 출처.
- 평균만이 아니라 분산을 본다. 한 모델에서 90%, 다른 모델에서 10% 언급되는 브랜드는 50% 문제를 가진 게 아니다. 서로 다른 문제 두 개를 가진 것이다.
- 대조군이 필요하다. 그렇지 않으면 내 콘텐츠가 무언가를 한 것인지, 아니면 그냥 화요일에 모델이 업데이트된 것인지 구분할 수 없다.
이게 이 업종 전체를 떠받치는 분석의 척추다. 샘플링 설계, 클러스터링, 귀속, 신뢰구간. SEO보다는 설문조사 연구에 더 가깝다.
—
n = 0 · mentioned 0
Run the prompt. One answer is an anecdote.
정말로 제 밥값을 하는 수학
여기서는 도구 네 개가 일의 대부분을 한다.
Wilson score interval: "확실한가?"를 위해 언급률은 비율이고, 정규근사는 n이 작거나 비율이 0이나 1 근처일 때 무너진다. 그런데 그게 바로 브랜드가 사는 자리다. Wilson은 무너지지 않는다. 게다가 필요한 표본 크기를 미리 알려 준다. 95% 신뢰수준에서 언급률을 ±5포인트로 재려면 그 프롬프트 클러스터를 대략 400번 돌려야 한다. ±10포인트면 100번쯤. 대시보드가 20번 돌린 결과로 숫자를 낸다면, 그건 노이즈를 보고하는 것이다.
Beta-Binomial updating: "움직였나?"를 위해 각 프롬프트 클러스터의 언급률을 베타 사후분포로 모델링한다. 지난달 데이터가 사전분포, 이번 주 실행이 가능도, 그리고 그 결과로 나오는 것이 사후분포다. 작은 표본도 정직하게 다루고, 지난주 데이터를 버리는 대신 시간이 지나며 증거를 쌓고, 아무도 해석하지 못하는 p-값 대신 P(비율이 올랐다)를 바로 알려 준다.
Bayes: "어느 레버가 움직였나?"를 위해 다들 건너뛰는 것이 이것이다. 언급이 관찰된다. 알고 싶은 것은 P(우리 새 페이지가 이걸 일으켰다 | 언급)이고, 잴 수 있는 것은 P(언급 | 페이지가 인용됨)이다. Bayes가 이것을 뒤집어 주고, 사전확률은 그 페이지 없이도 언급되던 기본 비율이다. 이걸 돌려 보면 "우리 콘텐츠가 먹혔다"는 주장의 대부분이 무너진다. 기본 비율이 이미 높았는데 아무도 확인하지 않았던 것이다. 출처 체인도 같은 트릭이다. 언급이 주어졌을 때 어느 자산이 인용됐는지를, 그 자산이 애초에 얼마나 자주 인용되는지로 가중해서 본다.
KL divergence: "우리 합성 세트가 현실에서 얼마나 먼가?"를 위해 프롬프트를 의도별로 클러스터링해서, 합성 세트의 클러스터 분포와 실제 트래픽의 클러스터 분포를 각각 구하고, 그 차이를 잰다. KL(또는 대칭적이고 값이 한정되어 보고하기 쉬운 Jensen–Shannon)은 시뮬레이션한 프롬프트 세트가 얼마나 틀렸는지를 숫자 하나로 알려 준다. 실제 프롬프트가 없으면 이것은 아예 계산할 수가 없다. 이것이 합성 데이터만 쓰는 모든 플랫폼의 조용한 문제다. 자기 오차를 측정할 수가 없다.
짧게 두 가지 더. 경쟁 브랜드 대조군에 대한 difference-in-differences. 화요일의 모델 업데이트가 내 승리로 기록되지 않게 해 준다. 그리고 다중비교 보정. 프롬프트 클러스터 200개를 p<0.05로 검정하면, 순전히 우연으로도 "유의미한" 결과가 열 개 나온다.
시장에서 발견한 것
열흘 동안 실제로 사람들과 이야기했다. 이 문제를 가진 회사들, 그리고 해법을 파는 회사들. Profound와 그 무리들.
시장은 진짜다. 고통도 진짜다. 브랜드들은 자기 눈에 보이지 않는 채널을 지켜보고 있고, 그 채널은 커지고 있다.
하지만 거의 모두가 합성 프롬프트로 돌아간다. 모델이 고객이 물어볼 "법한" 질문 목록을 만들고, 플랫폼은 그것을 측정한다. 영리하다. 팔 수 있을 만큼은 작동한다. 나도 합성 데이터로 만들어 봤고, 유용한 신호를 빠르게 얻었다.
그래도 결국은 추측이다. 사람이 실제로 무엇을 입력하는지에 대한, 아주 잘 차려입은 추측. 그리고 두 번째 문제가 더 심각하다. 완벽한 프롬프트를 쓰더라도 입력과 출력만 보는 것이다. 중간은 여전히 어둡다. 하위 질문은 못 본다. 발사된 쿼리도 못 본다. 검토됐다가 버려진 출처도 못 본다.
루프를 그려 보면 어디서 끊어지는지 보인다.
The working loop
The loop everyone runs
끊어진 지점 두 개가 겹쳐서 복리로 작용한다. 끊김 1은 아무도 묻지 않은 질문에 최적화하고 있다는 뜻이다. 끊김 2는 이겨도 어느 변경이 원인인지 말할 수 없다는 뜻이다. 그러니 다음 결정도 또 추측이다. 깨끗한 피드백이 없는 루프는 루프가 아니다. 대시보드를 붙여 놓은 러닝머신이다.
진짜 상은 원본 데이터다. 진짜 프롬프트, 진짜 세션, 진짜 중간 단계들. 그걸 가진 사람은 중간을 추측하지 않는다. 볼 수 있다.
GEO 기업들이 실제로 스택 어디에 앉아 있는가
모든 데이터 산업은 결국 같은 세 개 층으로 정리된다. 내가 어느 층에 있는지 아는 것이 중요하다.
층 1: 수집. 원천에서 원본 데이터를 소유한다. 패널, 크롤러, 클릭스트림, 영수증, 통신사 로그. 만들기 느리고, 비싸고, 화려하지 않다. 마진이 가장 좋고, 베끼기가 가장 어렵다.
층 2: 분석. 원본 데이터를 라이선스로 받거나 사서, 정제하고, 정규화하고, 지표와 벤치마크로 바꾸어 대시보드를 판다. 대부분의 스타트업이 여기 산다. 시작하기 가장 쉬운 자리이기 때문이다.
층 3: 실행. 지표를 가져다 실제 작업을 한다. 에이전시, 툴, 콘텐츠 업체. 고객의 예산에 가장 가깝고, 마진은 가장 낮다.
보통 1과 2 사이에는 브로커도 하나 끼어 있다. LiveRamp, Snowflake Marketplace, 카드 데이터 재판매업체들. 이들의 일은 오직 데이터를 가진 사람에게서 원하는 사람에게로 옮기는 것뿐이다.
옛날 SEO도 여기에 깔끔하게 대응된다. 수집은 크롤러와, 브라우저 확장 프로그램과 ISP가 조용히 팔던 클릭스트림 패널이었다. 분석은 Semrush와 Ahrefs였다. 이들은 자체 크롤러를 만들었다는 점에 주목해야 한다. 그래서 층 1과 2를 둘 다 소유했고, 그것이 바로 이들이 커진 이유다. 실행은 지구상의 모든 SEO 에이전시였다.
여기서 규칙 두 개가 나오고, 이것이 누가 살아남을지를 결정한다.
- 층 2만 단독으로 있으면 상품화된다. 열 개 회사가 같은 피드를 라이선스받으면 다들 같은 숫자를 보고하게 되고, 결국 UI와 가격으로 경쟁하게 된다.
- 층 1은 언제든 2와 3으로 올라갈 수 있다. 역방향으로는 절대 안 된다.
이제 오늘날의 GEO를 보라. 거의 모든 플레이어가 밑에 층 1이 없는 층 2 사업이다. 라이선스받을 피드가 없다. 데이터가 남의 채팅 로그 안에 살고 있기 때문이다. 그래서 없는 입력값을 직접 만들어 낸다. 합성 프롬프트. 그리고 자기가 만들어 낸 데이터 위에 분석을 판다.
진짜 프롬프트와 진짜 세션이 이 업종의 층 1이고, 아직 아무도 소유하지 않았다.
- Layer 3 · Activationagencies, tools, content shops
- Layer 2 · Analyticsalmost every GEO player, on synthetic prompts
- ↕ brokerLiveRamp, Snowflake Marketplace, card-data resellers
- Layer 1 · Collectionreal prompts and real sessions: nobody owns it yet
그럼 왜 누가 당신에게 자기 데이터를 주겠는가?
주지 않는다. 그것이 이 게임의 전부이고, 이 분야의 아이디어 대부분이 조용히 죽는 지점이다.
아무도 아침에 일어나서 자기 프롬프트 기록을 팔고 싶어 하지 않는다. 정직한 길은 딱 두 가지뿐이다.
- 완전히 다른 이유로 사람들이 원하는 것을 만든다. 데이터를 건드리지 않아도 그들이 쓸, 그 자체로 서 있는 서비스. 데이터는 이미 전달한 가치의 부산물이다. 지금까지 성공한 모든 데이터 사업이 이런 식으로 작동했다.
- 돈을 낸다. 그냥 대놓고. 데이터를 소유한 사람에게서 사고, 무엇을 왜 사는지 분명히 밝힌다.
그 외의 모든 방법은 사생활 문제이거나 희망 사항이다.
이 제약은 사업의 각주가 아니다. 이게 사업 그 자체다. 경쟁사보다 먼저 실제 행동 데이터에 도달하는 GEO 회사는 10% 앞서는 것이 아니다. 다른 모두가 아직 추측하고 있을 때 추측을 멈추는 것이다.
그래도 왜 이곳이 최고의 자리 중 하나라고 생각하는가
에이전트는 이미 프롬프트에서 의도를 추출한다. 이미 무엇을 검색할지 정한다. 이미 무엇을 남길지 정한다. 그 기계 장치는 지금 이 순간, 모두에 의해, 아주 빠르게 만들어지고 있다.
프롬프트와 답 사이에서 무슨 일이 일어나는지, 어떤 행동이 어떤 답으로 이어지는지 이해하는 것. 그것도 시뮬레이션 데이터가 아니라 실제 데이터로 이해하는 것. 이것은 무엇이든 파는 모든 회사에게 중요해질 것이다.
이제 조용한 부분을 말할 차례다. 이 판에서 물건을 파는 사람 대부분은 이것을 말하지 않는다. 여기는 한정된 기간 동안만 좋은 자리다.
그 창을 닫는 것은 두 가지다.
첫 번째는 법이다. 데이터 권리는 모든 관할권에서 동시에 움직이고 있고, 방향은 모두 같다. 행동 데이터를 모으는 것, 쓰는 것, 되파는 것, 모두 더 어려워지고, 느려지고, 비싸진다. 강점 전부가 진짜 프롬프트와 진짜 세션을 쥐고 있다는 데서 나오는 사업은, 규제 하나로 그 강점 전부가 부채로 바뀌는 사업이기도 하다.
두 번째는 데이터가 특별하지 않게 된다는 것이다. 아까 내가 한 말, 합성 프롬프트는 잘 차려입은 추측이라는 말은 오늘은 맞지만 분기마다 덜 맞아진다. 중간의 해부도를 다시 보라. 의도 추출, 분해, 검색, 선별. 그 하나하나가 모델이 수행하는 단계이고, 그 말은 그 단계를 다시 수행하라고 모델에게 요청할 수 있다는 뜻이다. 사람들이 실제로 무엇을 묻는지에 대한 현실적인 분포를 모델이 재구성할 수 있게 되는 순간, 그것을 관찰했다는 프리미엄은 무너진다.
동시에 직접 하는 비용도 떨어진다. 프롬프트 클러스터를 몇백 번 돌리고 거기에 통계를 돌리는 것은 비싼 연산이 아니고, 해마다 더 싸진다. 지금은 그것을 위해 플랫폼을 산다. 곧 그것은 당신 자신의 스택 안에 있는 예약 작업이 되고, 아무도 예약 작업을 위해 대시보드를 사지 않는다.
그다음 마지막 압박이 오는데, 내가 지켜볼 대상이 바로 이것이다. 이 안에서 진짜로 관찰 불가능한 유일한 부분은 랩들이 쥐고 있다. 모델 자체가 상품화되고 있고, 실제로 상품화되고 있으니, 랩들은 토큰이 아닌 수익이 필요하다. 프롬프트와 답 사이에서 무슨 일이 일어났는지에 대한 구조화된 가시성을 파는 것은 뻔한 다각화이고, 그것을 누구의 허락도 없이 팔 수 있는 것은 오직 랩들뿐이다. 그날이 오면, 모든 독립 GEO 회사는 자기 공급업체가 직접 제공할 수 있는 것을 재판매하는 처지가 된다.
그러니 소음을 각오하라. 큰 투자 라운드, 화려한 직함, 한 3년쯤은 차세대 Semrush처럼 보이는 카테고리. 그 돈의 일부는 진짜다. 하지만 그 해자 대부분은 아니다.
나는 여전히 이것이 최고의 자리 중 하나라고 생각한다. 다만 여기 계속 머무를 좋은 자리인지는 확신이 덜하다.
이게 진짜라고 말하는 부분
이 모든 것을 Hexa 인큐베이터에서 보낸 열흘 동안 발견했다. 출근하면 그들이 문제 하나를 건네고, 그 아이디어에 가치가 있음을 증명하는 것이 당신의 일이다. 그게 거래 조건이다.
이건 사고 실험이 아니다. 그 열흘 동안 나온 아이디어는 뒷받침이 충분해서 Hexa가 이걸 만드는 데 약 75만 유로를 투입하기로 했고, 내 파트너와 함께 계속 진행하고 있다.
나는 계속할 사람으로 선택되지 않았지만, 그래도 오랜만에 겪은 최고의 열흘 중 하나였다. 진짜 문제, 전화로 만난 진짜 사용자, 진짜 시장, 연출은 없었다. 그 작업은 제대로 서 있었다.
내일 다시 해도 좋다 (하지만 이번엔 YC와 함께 🤣).