17 Ağustos 2026 · 6 min read
Büyük Dil Modellerinin Gözlemlenmeyen Zekâsı
Herkes soruyu ve cevabı izliyor. Zekâ ikisinin arasında ve kimse ona bakmıyor. Hexa'da on gün, gerçek bir pazar ve yığının henüz kimsenin sahip olmadığı katmanı.
Büyük Dil Modellerinin Gözlemlenmeyen Zekâsı
Markalar, müşterilerine bir makine tarafından anlatılıyor; hiç yazılışını görmedikleri bir paragrafta, hiç seçmedikleri kaynaklardan derlenmiş. Çoğu artık bunu ölçmesi için birine para ödüyor.
Herkes soruyu ve cevabı izliyor. Zekâ ikisinin arasında ve kimse ona bakmıyor.
Sorun: ortada ne olduğunu kimse bilmiyor
İnsanlar eskiden bir kutuya anahtar kelimeler yazar, on tane mavi bağlantı alırdı. Bunu ölçebilirdiniz. "Koşu ayakkabısı" için 3. sıra, "patika koşu ayakkabısı" için 8. sıra. Sıkıcı ama dürüst.
Şimdi insanlar bir cümle yazıyor. Bir model onu okuyor, aslında ne demek istediklerine karar veriyor, parçalara ayırıyor, bir şeyler arıyor, çoğunu çöpe atıyor ve bir paragraf yazıyor. Marka o paragrafta ya görünüyor ya görünmüyor.
Önemli olan her şey ortada oluyor. Ve orta kısım bir kara kutu.
Prompt
best CRM for a small team
Intent distilling
What do they actually want? A CRM recommendation for a team of a few people.
Decomposition
- best CRM small team
- what CRM should a 5 person startup use
- CRM price per seat
Retrieval
- review site · A
- forum thread · B
- vendor page · A
- listicle · B C
- news · C
- comparison · A B
Selection & ranking
- review site · A
- forum thread · B
- vendor page · A
- listicle · B C
- news · C
- comparison · A B
Synthesis
Writes one paragraph from what was kept. Brand B was in the sources. It is not in the paragraph.
Answer
For a small team, Brand A is a strong pick…
What happens between the prompt and the answer: intent distilling, decomposition, retrieval, selection and ranking, synthesis. Only the prompt and the answer are observable.
O okların her biri bir markanın içeri girdiği ya da elendiği bir nokta. Bugün GEO satan kimse size hangi okun sizi öldürdüğünü söyleyemez. Sadece son paragrafta olmadığınızı söyleyebilirler.
Bu bir sıralama sorunu değil, bir istatistik sorunu
SEO'dan gelenlerin kafasını asıl karıştıran şey bu.
Aynı soruyu iki kez sorun, iki farklı cevap alırsınız. Biraz farklı bir şekilde sorun, farklı bir kaynak kümesi alırsınız. Yarın sorun, yine farklı. 3. sıra diye bir şey yok. Bir dağılım var.
Yani iş, örnekleme işi:
- Bir istemi çalıştırmazsınız. Onu n kez çalıştırırsınız. Tek bir cevap anekdottur. Yüz cevap bir ölçümdür. %34 ± 6 anılma oranı bir şey ifade eder. "Göründük" hiçbir şey ifade etmez.
- İstemleri metne göre değil, niyete göre kümelersiniz. "Küçük bir ekip için en iyi CRM" ile "5 kişilik bir girişim hangi CRM'i kullanmalı" aynı sorunun farklı kıyafetler giymiş hâli. Bunları iki ayrı anahtar kelime gibi ele alırsanız çift sayarsınız ve kendinizi yanıltırsınız.
- Sadece varlığı değil, daha fazlasını ölçersiniz. Anılma oranı. İsimleri geçen rakiplere karşı ses payı. Cevaptaki konum. Anıldığında duygu tonu. Anılmayı gerekçelendirmek için hangi kaynağın gösterildiği.
- Sadece ortalamayı değil, sapmayı da izlersiniz. Bir modelde %90, diğerinde %10 oranında anılan bir markanın %50'lik bir sorunu yoktur. İki ayrı sorunu vardır.
- Bir kontrol grubuna ihtiyacınız var. Yoksa içeriğinizin bir işe yarayıp yaramadığını mı, yoksa modelin salı günü güncellendiğini mi anlayamazsınız.
Bütün kategorinin analitik omurgası bu: örnekleme tasarımı, kümeleme, atıf, güven aralıkları. SEO'dan çok anket araştırmasına yakın.
—
n = 0 · mentioned 0
Run the prompt. One answer is an anecdote.
Gerçekten işe yarayan matematik
İşin çoğunu dört araç yapıyor.
Wilson skor aralığı: "emin miyiz?" sorusu için Anılma oranı bir oran ve normal yaklaşım küçük n'lerde ve 0'a ya da 1'e yakın oranlarda çöküyor: tam da markaların yaşadığı yer. Wilson çökmüyor. Üstelik size gereken örneklem büyüklüğünü baştan söylüyor: bir anılma oranını %95 güvenle ±5 puan hassasiyetle ölçmek için o istem kümesinden yaklaşık 400 çalıştırma gerekiyor. ±10 puan için yaklaşık 100. Panonuz 20 çalıştırmadan çıkan bir sayı gösteriyorsa, gösterdiği şey gürültü.
Beta-Binomial güncelleme: "hareket etti mi?" sorusu için Her istem kümesinin anılma oranını bir Beta sonsal dağılımı olarak modellersiniz. Geçen aydan önsel, bu haftaki çalıştırmalardan olabilirlik, diğer uçtan sonsal çıkar. Küçük örneklemleri dürüstçe ele alır, geçen haftayı çöpe atmak yerine kanıtı zamanla biriktirir ve kimsenin yorumlayamadığı bir p-değeri yerine doğrudan P(oran arttı) verir.
Bayes: "hangi kol onu hareket ettirdi?" sorusu için İnsanların atladığı kısım bu. Bir anılma gözlemlersiniz. İstediğiniz şey P(yeni sayfamız buna sebep oldu | anılma), ölçebildiğiniz şeyse P(anılma | sayfa gösterildi). Bayes bunu tersine çevirir ve önsel, sayfa hiç olmadan anılma taban oranıdır. Bunu çalıştırın, "içeriğimiz işe yaradı" iddialarının çoğu çöker: taban oran zaten yüksekmiş ve kimse kontrol etmemiş. Kaynak zincirinde de aynı numara: bir anılma verildiğinde, hangi mülkünüzün gösterildiği, o mülkün genel olarak ne sıklıkla gösterildiğine göre ağırlıklandırılarak.
KL ıraksaması: "sentetik setimiz gerçeklikten ne kadar uzak?" sorusu için İstemleri niyete göre kümeleyin, sentetik setiniz için kümeler üzerinde bir dağılım, gerçek trafik için kümeler üzerinde bir dağılım çıkarın ve aradaki farkı ölçün. KL (ya da simetrik ve sınırlı olduğu için raporlaması daha kolay olan Jensen–Shannon) size simüle edilmiş istem setinizin ne kadar yanlış olduğuna dair tek bir sayı verir. Gerçek istemler olmadan bunu hesaplayamazsınız bile: sadece sentetik veriye dayanan her platformun sessiz sorunu bu. Kendi hatalarını ölçemiyorlar.
Kısaca iki tane daha: rakip markalardan oluşan bir kontrol setine karşı farkların farkı, böylece salı günkü bir model güncellemesi sizin zaferiniz olarak kaydedilmez; ve bir çoklu karşılaştırma düzeltmesi, çünkü 200 istem kümesini p<0.05 eşiğinde test ederseniz, salt tesadüften on tane "anlamlı" sonuç çıkar.
Pazarda bulduklarım
On günü gerçekten insanlarla konuşmak için kullandım. Sorunu yaşayan şirketler ve çareyi satan şirketler. Profound ve o kalabalığın geri kalanı.
Pazar gerçek. Acı gerçek. Markalar göremedikleri bir kanalı izliyor ve o kanal büyüyor.
Ama neredeyse herkes sentetik istemler üzerinde çalışıyor. Bir model, müşterilerin sorması "muhtemel" bir soru listesi üretiyor, platform da onları ölçüyor. Zekice. Satılacak kadar iyi çalışıyor. Ben de sentetik veriyle inşa ettim ve hızlıca kullanışlı bir sinyal elde ettim.
Yine de bir tahmin. İnsanların gerçekte ne yazdığına dair çok iyi giyinmiş bir tahmin. İkinci sorun daha kötü: mükemmel istemlerle bile sadece girdiyi ve çıktıyı izliyorsunuz. Orta kısım hâlâ karanlık. Alt soruları göremiyorsunuz. Ateşlenen sorguları göremiyorsunuz. Değerlendirilip elenen kaynakları göremiyorsunuz.
Döngüyü çizin, nerede koptuğunu görürsünüz.
The working loop
The loop everyone runs
İki kopma, ve bunlar birbirine ekleniyor. Birinci kopma, kimsenin sormadığı sorular için optimize ettiğiniz anlamına geliyor. İkinci kopma, kazandığınızda bile hangi değişikliğinizin bunu yaptığını söyleyemediğiniz anlamına geliyor, yani bir sonraki karar da bir tahmin. Temiz geri bildirimi olmayan bir döngü, döngü değildir. Üzerine bir pano cıvatalanmış bir koşu bandıdır.
Ödül, ham veri. Gerçek istemler, gerçek oturumlar, gerçek ara adımlar. Buna sahip olan kişi orta kısım hakkında tahmin yürütmüyor. Onu görebiliyor.
GEO şirketleri yığında gerçekte nerede duruyor
Her veri endüstrisi sonunda aynı üç katmana ulaşıyor ve hangisinde olduğunuzu bilmekte fayda var.
Katman 1: toplama. Ham veriye kaynağında sahip olur. Paneller, tarayıcılar, tıklama akışı, fişler, telekom kayıtları. İnşası yavaş, pahalı, gösterişsiz. En iyi kâr marjı, kopyalanması en zor.
Katman 2: analitik. Ham veriyi lisanslar ya da satın alır, temizler, normalleştirir, metriklere ve kıyaslamalara dönüştürür, bir pano satar. Çoğu girişim burada yaşıyor çünkü başlamak için en kolay yer burası.
Katman 3: aktivasyon. Metrikleri alır ve işi yapar. Ajanslar, araçlar, içerik atölyeleri. Müşterinin bütçesine en yakın, kâr marjı en düşük.
1 ile 2 arasında genellikle bir aracı da bulunur (LiveRamp, Snowflake Marketplace, kart verisi yeniden satıcıları), tek işi veriyi elinde bulunduranlardan onu isteyenlere taşımak.
Eski SEO bunun üzerine tertemiz oturuyor. Toplama, tarayıcılar artı tarayıcı eklentileri ve internet servis sağlayıcıları tarafından sessizce satılan tıklama akışı panelleriydi. Analitik, Semrush ve Ahrefs'ti; dikkat edin, kendi tarayıcılarını inşa ettiler, yani katman 1 ve 2'ye sahipler, büyümelerinin tam nedeni de bu. Aktivasyon, dünyadaki her SEO ajansıydı.
Bundan iki kural çıkıyor ve kimin hayatta kalacağına onlar karar veriyor:
- Katman 2 tek başına metalaşır. On şirket aynı veri akışını lisanslarsa, hepsi aynı sayıları raporlar ve sonunda arayüz ve fiyat üzerinden rekabet ederler.
- Katman 1, istediği zaman 2 ve 3'e doğru yürüyebilir. Tersi asla işlemez.
Şimdi bugünün GEO'suna bakın. Neredeyse her oyuncu, altında katman 1 olmayan bir katman-2 işi. Lisanslanacak bir veri akışı yok, çünkü veri başkasının sohbet kayıtlarının içinde yaşıyor. Bu yüzden eksik girdiyi kendileri üretiyorlar (sentetik istemler) ve kendi uydurdukları verinin üzerine analitik satıyorlar.
Gerçek istemler ve gerçek oturumlar bu endüstrinin katman 1'i ve henüz kimse ona sahip değil.
- Layer 3 · Activationagencies, tools, content shops
- Layer 2 · Analyticsalmost every GEO player, on synthetic prompts
- ↕ brokerLiveRamp, Snowflake Marketplace, card-data resellers
- Layer 1 · Collectionreal prompts and real sessions: nobody owns it yet
Peki kimse neden size verisini versin?
Vermezler. Bütün oyun bu ve bu alandaki çoğu fikir sessizce burada ölür.
Kimse sabah kalkıp size istem geçmişini satmak istemez. İçeri girmenin sadece iki dürüst yolu var:
- İnsanların tamamen başka bir nedenle istediği bir şey inşa edin. Kendi başına ayakta duran, veriye hiç dokunmasanız bile kullanacakları bir hizmet. Veri, zaten sunduğunuz değerin bir yan ürünü. Bugüne kadar işe yarayan her veri işi böyle işledi.
- Onun için ödeyin. Açıkça. Veriyi ona sahip olan insanlardan satın alın ve ne satın aldığınız ve neden konusunda net olun.
Geri kalan her şey ya bir gizlilik sorunu ya da bir dilek.
Bu kısıt işin bir dipnotu değil. İşin kendisi. Rakiplerinden önce gerçek davranış verisine ulaşan herhangi bir GEO şirketi %10 fark atarak kazanmaz. Herkes hâlâ tahmin yürütürken o tahmin yürütmeyi bırakır.
Bunun neden hâlâ olunabilecek en iyi yerlerden biri olduğunu düşünüyorum
Ajan zaten istemimizden niyeti damıtıyor. Ne arayacağına zaten karar veriyor. Neyi tutacağına zaten karar veriyor. O makine şu anda herkes tarafından, çok hızlı bir şekilde inşa ediliyor.
İstem ile cevap arasında ne olduğunu, hangi eylemlerin hangi cevaba yol açtığını anlamak ve bunu simüle edilmiş veri yerine gerçek veriden almak, bir şey satan her şirket için önem taşıyacak.
Şimdi de sessiz kalınan kısım, çünkü bu alanda satış yapan çoğu kişi bunu söylemeyecek. Bu, sınırlı bir süre için iyi bir yer.
İki şey bu pencereyi kapatıyor.
Birincisi hukuk. Veri hakları her yargı alanında aynı anda hareket ediyor ve hepsi aynı yöne gidiyor. Davranışsal veriyi toplamak, kullanmak ve yeniden satmak her biri daha zor, daha yavaş ve daha pahalı hâle geliyor. Bütün avantajı gerçek istemleri ve gerçek oturumları elinde tutmak olan bir iş, bütün avantajı tek bir düzenlemeyle bir yükümlülüğe dönüşen bir iştir.
İkincisi, verinin özel olmaktan çıkması. Daha önce söylediğim şey, sentetik istemlerin iyi giyinmiş bir tahmin olduğu, bugün doğru ve her çeyrek biraz daha az doğru. Ortanın anatomisine geri dönün. Niyet damıtma, ayrıştırma, erişim, seçim. Bunların her biri bir modelin gerçekleştirdiği bir adım, yani bir modelden istek üzerine tekrar gerçekleştirmesi istenebilecek bir adım. Bir model, insanların gerçekte ne sorduğuna dair gerçekçi bir dağılımı yeniden kurabildiğinde, onu gözlemlemiş olmanın primi çöker.
Bunu kendiniz yapmanın maliyeti de aynı anda düşüyor. Bir istem kümesini birkaç yüz kez çalıştırmak ve üzerinde istatistik yapmak pahalı bir işlem değil ve her yıl daha da ucuzluyor. Bugün bunun için bir platform satın alıyorsunuz. Yakında bu, kendi altyapınızın içinde zamanlanmış bir görev olacak ve kimse zamanlanmış bir görev için pano satın almaz.
Sonra son sıkışma geliyor ve izleyeceğim kısım da bu. Laboratuvarlar bunun gerçekten gözlemlenemeyen tek parçasına sahip. Modelin kendisi metalaştıkça, ki metalaşıyor, token olmayan bir gelire ihtiyaç duyuyorlar. İstem ile cevap arasında ne olduğuna dair yapılandırılmış görünürlük satmak bariz bir çeşitlendirme ve bunu kimseden izin istemeden satabilecek tek kişiler onlar. O gün geldiğinde her bağımsız GEO şirketi, kendi tedarikçisinin doğrudan sunabileceği bir şeyi yeniden satıyor olacak.
Yani gürültü bekleyin. Büyük yatırım turları, büyük unvanlar, yaklaşık üç yıl boyunca bir sonraki Semrush gibi görünen bir kategori. O paranın bir kısmı gerçek. Hendeklerin çoğu değil.
Hâlâ olunabilecek en iyi yerlerden biri olduğunu düşünüyorum. Kalınacak iyi bir yer olduğundan daha az eminim.
Size bunun gerçek olduğunu söylediğim kısım
Bütün bunları Hexa kuluçka merkezinde geçirdiğim on gün boyunca buldum. Gidiyorsunuz, size bir sorun veriyorlar, işiniz de onların fikrinin değeri olduğunu kanıtlamak. Anlaşma bu.
Bu bir düşünce deneyi değil. Fikir o on günden, Hexa'nın onu inşa etmek için yaklaşık 750.000 € koyacağı kadar arkasında ağırlık olan bir hâlde çıktı ve ortağımla birlikte ileriye taşınıyor.
Devam etmek üzere seçilmedim, ama yine de uzun zamandır geçirdiğim en iyi on günlerden biriydi. Gerçek sorun, telefonda gerçek kullanıcılar, gerçek pazar, tiyatro yok. İş ayakta kaldı.
Yarın yine yapardım (ama bu sefer YC ile 🤣).