17 अगस्त 2026 · 9 min read
LLM की अनदेखी बुद्धिमत्ता
हर कोई सवाल और जवाब देखता है। बुद्धिमत्ता बीच में है, और कोई उसे नहीं देख रहा। Hexa में दस दिन, एक असली बाज़ार, और स्टैक की वह परत जिसका अभी तक कोई मालिक नहीं है।
LLM की अनदेखी बुद्धिमत्ता
ब्रांड्स को अब एक मशीन उनके ग्राहकों के सामने बयान करती है, एक ऐसे पैराग्राफ़ में जिसे लिखते हुए वे कभी नहीं देखते, ऐसे स्रोतों से बना जिन्हें उन्होंने कभी नहीं चुना। इनमें से ज़्यादातर अब किसी को यह मापने के लिए पैसे दे रहे हैं।
हर कोई सवाल और जवाब देख रहा है। बुद्धिमत्ता बीच में है, और कोई उसे नहीं देख रहा।
समस्या: बीच में क्या होता है, यह कोई नहीं जानता
पहले लोग एक बॉक्स में कीवर्ड टाइप करते थे और दस नीले लिंक पाते थे। इसे मापा जा सकता था। "running shoes" के लिए रैंक 3, "trail running shoes" के लिए रैंक 8। उबाऊ, पर ईमानदार।
अब लोग एक वाक्य टाइप करते हैं। एक मॉडल उसे पढ़ता है, तय करता है कि उनका असली मतलब क्या था, उसे टुकड़ों में तोड़ता है, चीज़ें खोजने जाता है, ज़्यादातर को फेंक देता है, और एक पैराग्राफ़ लिखता है। ब्रांड या तो उस पैराग्राफ़ में दिखता है या नहीं दिखता।
जो कुछ भी मायने रखता है, वह बीच में होता है। और बीच एक ब्लैक बॉक्स है।
Prompt
best CRM for a small team
Intent distilling
What do they actually want? A CRM recommendation for a team of a few people.
Decomposition
- best CRM small team
- what CRM should a 5 person startup use
- CRM price per seat
Retrieval
- review site · A
- forum thread · B
- vendor page · A
- listicle · B C
- news · C
- comparison · A B
Selection & ranking
- review site · A
- forum thread · B
- vendor page · A
- listicle · B C
- news · C
- comparison · A B
Synthesis
Writes one paragraph from what was kept. Brand B was in the sources. It is not in the paragraph.
Answer
For a small team, Brand A is a strong pick…
What happens between the prompt and the answer: intent distilling, decomposition, retrieval, selection and ranking, synthesis. Only the prompt and the answer are observable.
उन तीरों में से हर एक वह जगह है जहाँ कोई ब्रांड अंदर आता है, या बाहर हो जाता है। आज GEO बेचने वाला कोई भी आपको यह नहीं बता सकता कि किस तीर ने आपको मारा। वे बस इतना बता सकते हैं कि आप आख़िरी पैराग्राफ़ में नहीं थे।
यह एक सांख्यिकी की समस्या है, रैंकिंग की नहीं
SEO से आने वाले लोगों का दिमाग़ यहीं भन्ना जाता है।
एक ही सवाल दो बार पूछो, दो अलग जवाब मिलते हैं। उसे थोड़े अलग ढंग से पूछो, स्रोतों का एक अलग सेट मिलता है। कल पूछो, फिर अलग। यहाँ कोई रैंक 3 नहीं है। यहाँ एक वितरण है।
तो यहाँ काम है सैंपलिंग का काम:
- आप एक प्रॉम्प्ट नहीं चलाते। आप उसे n बार चलाते हो। एक जवाब एक क़िस्सा है। सौ जवाब एक माप है। मेंशन रेट 34% ± 6 का कोई मतलब है। "हम दिखे" का कोई मतलब नहीं।
- आप प्रॉम्प्ट्स को इरादे से क्लस्टर करते हो, स्ट्रिंग से नहीं। "छोटी टीम के लिए सबसे अच्छा CRM कौन सा है" और "5 लोगों के स्टार्टअप को कौन सा CRM इस्तेमाल करना चाहिए" एक ही सवाल है जिसने अलग कपड़े पहन रखे हैं। अगर आप इन्हें दो कीवर्ड की तरह मानोगे, तो आप दोहरी गिनती करके ख़ुद को गुमराह करोगे।
- आप सिर्फ़ मौजूदगी से ज़्यादा मापते हो। मेंशन रेट। नामित प्रतिस्पर्धियों के मुक़ाबले शेयर ऑफ़ वॉइस। जवाब में स्थिति। मेंशन होने पर भावना (sentiment)। मेंशन को सही ठहराने के लिए किस स्रोत का हवाला दिया गया।
- आप सिर्फ़ औसत नहीं, विचलन (variance) भी देखते हो। एक ब्रांड जो एक मॉडल पर 90% बार और दूसरे पर 10% बार मेंशन होता है, उसकी 50% वाली समस्या नहीं है। उसकी दो अलग समस्याएँ हैं।
- आपको एक कंट्रोल चाहिए। नहीं तो आप यह नहीं बता सकते कि आपके कंटेंट ने कुछ किया या मॉडल मंगलवार को बस अपडेट हो गया।
यही पूरी श्रेणी की विश्लेषणात्मक रीढ़ है: सैंपलिंग डिज़ाइन, क्लस्टरिंग, अट्रिब्यूशन, कॉन्फ़िडेंस इंटरवल। यह SEO से ज़्यादा सर्वे रिसर्च के क़रीब है।
—
n = 0 · mentioned 0
Run the prompt. One answer is an anecdote.
वह गणित जो अपनी क़ीमत असल में चुकाता है
यहाँ ज़्यादातर काम चार औज़ार करते हैं।
Wilson score interval: "क्या हमें यक़ीन है?" के लिए मेंशन रेट एक अनुपात है, और नॉर्मल एप्रोक्सिमेशन छोटे n पर और 0 या 1 के क़रीब की दरों पर बिखर जाता है, ठीक वहीं जहाँ ब्रांड्स रहते हैं। Wilson नहीं बिखरता। और यह आपको पहले ही आपका सैंपल साइज़ बता देता है: 95% कॉन्फ़िडेंस पर मेंशन रेट को ±5 अंक तक मापने के लिए आपको उस प्रॉम्प्ट क्लस्टर के लगभग 400 रन चाहिए। ±10 अंक पर, लगभग 100। अगर आपका डैशबोर्ड 20 रन से कोई संख्या दिखा रहा है, तो वह शोर (noise) दिखा रहा है।
Beta-Binomial अपडेटिंग: "क्या यह हिला?" के लिए हर प्रॉम्प्ट क्लस्टर के मेंशन रेट को एक Beta पोस्टीरियर के रूप में मॉडल करो। पिछले महीने से प्रायर, इस हफ़्ते के रन से लाइकलीहुड, दूसरे छोर पर पोस्टीरियर। यह छोटे सैंपल को ईमानदारी से संभालता है, पिछले हफ़्ते को फेंकने के बजाय समय के साथ सबूत जमा करता है, और आपको किसी p-value के बजाय सीधे P(दर बढ़ी) देता है, जिसे कोई समझ ही नहीं पाता।
Bayes: "कौन-सा लीवर हिला?" के लिए यही वह है जिसे लोग छोड़ देते हैं। आप एक मेंशन देखते हो। जो आप चाहते हो वह है P(हमारे नए पेज ने यह किया | मेंशन), और जो आप माप सकते हो वह है P(मेंशन | पेज का हवाला दिया गया)। Bayes इसे पलट देता है, और प्रायर वह बेस रेट है जब पेज बिल्कुल भी न हो फिर भी मेंशन होता है। इसे चलाओ, और "हमारे कंटेंट ने काम किया" वाले ज़्यादातर दावे ढह जाते हैं, क्योंकि बेस रेट पहले से ही ऊँचा था और किसी ने जाँचा ही नहीं। स्रोत-श्रृंखला के लिए भी वही तरकीब: एक मेंशन दिए जाने पर, आपकी किस प्रॉपर्टी का हवाला दिया गया, यह इस बात से भारित (weighted) होता है कि वह प्रॉपर्टी कुल कितनी बार हवाला पाती है।
KL divergence: "हमारा सिंथेटिक सेट असलियत से कितनी दूर है?" के लिए प्रॉम्प्ट्स को इरादे से क्लस्टर करो, अपने सिंथेटिक सेट के लिए क्लस्टरों पर एक वितरण पाओ और असली ट्रैफ़िक के लिए क्लस्टरों पर एक वितरण, और फ़र्क़ को मापो। KL (या Jensen–Shannon, जो सममित और सीमाबद्ध है, इसलिए रिपोर्ट करना आसान है) आपको एक संख्या देता है कि आपका सिम्युलेटेड प्रॉम्प्ट सेट कितना ग़लत है। असली प्रॉम्प्ट के बिना आप इसकी गणना कर ही नहीं सकते। यही हर सिंथेटिक-ओनली प्लेटफ़ॉर्म की चुपचाप छिपी समस्या है। वे अपनी ख़ुद की ग़लती नहीं माप सकते।
दो और, संक्षेप में: प्रतिस्पर्धी ब्रांड्स के एक कंट्रोल सेट के मुक़ाबले difference-in-differences, ताकि मंगलवार का मॉडल अपडेट आपकी जीत की तरह दर्ज न हो जाए; और एक multiple-comparisons correction, क्योंकि अगर आप 200 प्रॉम्प्ट क्लस्टरों को p<0.05 पर टेस्ट करो, तो सिर्फ़ संयोग से दस "महत्वपूर्ण" नतीजे मिल जाते हैं।
बाज़ार में मुझे क्या मिला
मैंने उन दस दिनों का इस्तेमाल असल में लोगों से बात करने में किया। वे कंपनियाँ जिनके पास यह समस्या है, और वे कंपनियाँ जो इसका इलाज बेच रही हैं। Profound और उस भीड़ के बाक़ी लोग।
बाज़ार असली है। तकलीफ़ असली है। ब्रांड्स एक ऐसे चैनल को देख रहे हैं जिसे वे देख नहीं सकते, और यह बढ़ रहा है।
पर लगभग हर कोई सिंथेटिक प्रॉम्प्ट्स पर चल रहा है। एक मॉडल उन सवालों की सूची बनाता है जो ग्राहक "शायद" पूछें, और प्लेटफ़ॉर्म उन्हें मापता है। यह चतुराई भरा है। यह बेचने लायक़ अच्छा काम करता है। मैंने भी सिंथेटिक डेटा के साथ बनाया, और मुझे तेज़ी से उपयोगी सिग्नल मिला।
फिर भी यह एक अंदाज़ा है। इंसान असल में क्या टाइप करते हैं, उसके बारे में एक बहुत अच्छे कपड़े पहना हुआ अंदाज़ा। और दूसरी समस्या और बुरी है: सटीक प्रॉम्प्ट्स के साथ भी, आप सिर्फ़ इनपुट और आउटपुट देख रहे हो। बीच अब भी अँधेरा है। आपको उप-सवाल नहीं मिलते। आपको वे क्वेरी नहीं मिलतीं जो चलीं। आपको वे स्रोत नहीं मिलते जिन पर विचार किया गया और फिर छोड़ दिया गया।
लूप बनाओ और तुम देख सकते हो कि वह कहाँ टूटता है।
The working loop
The loop everyone runs
दो टूट, और वे मिलकर बढ़ती हैं। टूट 1 का मतलब है कि आप ऐसे सवालों के लिए ऑप्टिमाइज़ कर रहे हो जो किसी ने पूछे ही नहीं। टूट 2 का मतलब है कि जीतने पर भी, आप यह नहीं बता सकते कि आपके किस बदलाव ने यह किया, तो अगला फ़ैसला भी एक अंदाज़ा है। जिस लूप में साफ़ फ़ीडबैक नहीं है, वह लूप नहीं है। वह एक ट्रेडमिल है जिस पर डैशबोर्ड कस दिया गया है।
असली इनाम कच्चा डेटा है। असली प्रॉम्प्ट्स, असली सेशन, असली बीच के क़दम। जिसके पास यह है, वह बीच के बारे में अंदाज़ा नहीं लगा रहा। वह इसे देख सकता है।
GEO कंपनियाँ स्टैक में असल में कहाँ बैठती हैं
हर डेटा इंडस्ट्री आख़िर में एक जैसी तीन परतों पर आ टिकती है, और यह जानना ज़रूरी है कि आप किसमें हो।
परत 1: संग्रह (collection)। स्रोत पर ही कच्चे डेटा का मालिक है। पैनल, क्रॉलर, क्लिकस्ट्रीम, रसीदें, टेलीको लॉग। बनाने में धीमा, महँगा, चमक-दमक रहित। सबसे अच्छा मार्जिन, नक़ल करना सबसे मुश्किल।
परत 2: एनालिटिक्स। कच्चा डेटा लाइसेंस पर लेती है या ख़रीदती है, उसे साफ़ करती है, नॉर्मलाइज़ करती है, उसे मेट्रिक्स और बेंचमार्क में बदलती है, एक डैशबोर्ड बेचती है। ज़्यादातर स्टार्टअप यहीं रहते हैं क्योंकि यहाँ से शुरू करना सबसे आसान है।
परत 3: एक्टिवेशन। मेट्रिक्स लेती है और काम करती है। एजेंसियाँ, टूल्स, कंटेंट शॉप्स। ग्राहक के बजट के सबसे क़रीब, सबसे कम मार्जिन।
आम तौर पर 1 और 2 के बीच एक ब्रोकर भी बैठा होता है, जैसे LiveRamp, Snowflake Marketplace, कार्ड-डेटा रीसेलर, जिनका इकलौता काम है डेटा को उन लोगों से, जिनके पास है, उन लोगों तक ले जाना जिन्हें चाहिए।
पुराना SEO इस पर साफ़-साफ़ फ़िट बैठता है। संग्रह था क्रॉलर और वे क्लिकस्ट्रीम पैनल जिन्हें ब्राउज़र एक्सटेंशन और ISP चुपचाप बेचते थे। एनालिटिक्स था Semrush और Ahrefs, और ध्यान दो, उन्होंने अपने ख़ुद के क्रॉलर बनाए, इसलिए उनके पास परत 1 और 2 दोनों हैं, यही ठीक वजह है कि वे बड़े हुए। एक्टिवेशन था धरती पर हर SEO एजेंसी।
इससे दो नियम निकलते हैं, और वे तय करते हैं कि कौन बचता है:
- परत 2 अकेली, कमोडिटी बन जाती है। अगर दस कंपनियाँ एक ही फ़ीड लाइसेंस पर लें, तो वे सब एक जैसी संख्याएँ रिपोर्ट करती हैं और आख़िर में UI और क़ीमत पर प्रतिस्पर्धा करती हैं।
- परत 1 जब चाहे 2 और 3 में चढ़ सकती है। यह उल्टा कभी काम नहीं करता।
अब आज के GEO को देखो। लगभग हर खिलाड़ी एक परत-2 व्यवसाय है जिसके नीचे कोई परत 1 नहीं है। लाइसेंस करने के लिए कोई फ़ीड नहीं है, क्योंकि डेटा किसी और के चैट लॉग के अंदर रहता है। तो वे गुम इनपुट, यानी सिंथेटिक प्रॉम्प्ट्स, ख़ुद बनाते हैं, और अपने ही गढ़े हुए डेटा के ऊपर एनालिटिक्स बेचते हैं।
असली प्रॉम्प्ट्स और असली सेशन इस इंडस्ट्री की परत 1 हैं, और अभी तक इसका कोई मालिक नहीं है।
- Layer 3 · Activationagencies, tools, content shops
- Layer 2 · Analyticsalmost every GEO player, on synthetic prompts
- ↕ brokerLiveRamp, Snowflake Marketplace, card-data resellers
- Layer 1 · Collectionreal prompts and real sessions: nobody owns it yet
तो कोई अपना डेटा आपको क्यों देगा?
वे नहीं देंगे। यही पूरा खेल है, और यहीं इस क्षेत्र के ज़्यादातर विचार चुपचाप मर जाते हैं।
कोई सुबह उठकर आपको अपना प्रॉम्प्ट इतिहास बेचना नहीं चाहता। अंदर आने के सिर्फ़ दो ईमानदार रास्ते हैं:
- कुछ ऐसा बनाओ जो लोग बिल्कुल अलग वजह से चाहते हों। एक ऐसी सेवा जो अपने दम पर खड़ी हो, जिसे वे इस्तेमाल करते भले ही आप कभी डेटा को छुओ ही न। डेटा उस मूल्य का एक उपोत्पाद (by-product) है जो आपने पहले ही दिया है। हर डेटा व्यवसाय जो कभी चला, इसी तरह चला।
- इसके लिए भुगतान करो। सीधा-सीधा। वह डेटा उन लोगों से ख़रीदो जिनका वह है, और साफ़ रहो कि तुम क्या ख़रीद रहे हो और क्यों।
बाक़ी सब या तो एक प्राइवेसी समस्या है या एक ख़्वाहिश।
यह बंदिश व्यवसाय पर एक फ़ुटनोट नहीं है। यह ख़ुद व्यवसाय है। जो भी GEO कंपनी अपने प्रतिस्पर्धियों से पहले असली व्यवहारिक डेटा तक पहुँच जाए, वह 10% से नहीं जीतती। वह अंदाज़ा लगाना बंद कर देती है जबकि बाक़ी सब अभी भी अंदाज़ा लगा रहे होते हैं।
मुझे अब भी क्यों लगता है कि यह सबसे अच्छी जगहों में से एक है
एजेंट पहले से ही आपके प्रॉम्प्ट से इरादे का सार निकालता है। वह पहले से तय करता है कि क्या खोजना है। वह पहले से तय करता है कि क्या रखना है। वह मशीनरी अभी बन रही है, हर किसी के द्वारा, बहुत तेज़ी से।
प्रॉम्प्ट और जवाब के बीच क्या होता है, कौन-सी क्रियाएँ किस जवाब तक ले जाती हैं, यह समझना, और इसे सिम्युलेटेड डेटा के बजाय असली डेटा से पाना, हर उस कंपनी के लिए मायने रखने वाला है जो कुछ भी बेचती है।
और अब वह ख़ामोश हिस्सा, क्योंकि इस क्षेत्र में बेचने वाले ज़्यादातर लोग यह नहीं कहेंगे। यह एक सीमित समय के लिए एक अच्छी जगह है।
दो चीज़ें यह खिड़की बंद करती हैं।
पहली है क़ानून। डेटा अधिकार हर क्षेत्राधिकार में एक साथ आगे बढ़ रहे हैं, और सब एक ही दिशा में बढ़ रहे हैं। व्यवहारिक डेटा इकट्ठा करना, उसका इस्तेमाल करना, और उसे आगे बेचना, ये तीनों हर बार मुश्किल, धीमे और महँगे होते जा रहे हैं। जिस व्यवसाय की पूरी बढ़त असली प्रॉम्प्ट्स और असली सेशन रखने में है, वह एक ऐसा व्यवसाय है जिसकी पूरी बढ़त एक नियमन की दूरी पर एक देनदारी बनने से है।
दूसरी यह है कि डेटा ख़ास होना बंद कर देता है। मैंने पहले जो कहा, कि सिंथेटिक प्रॉम्प्ट्स एक अच्छे कपड़े पहने हुए अंदाज़े हैं, यह आज सच है और हर तिमाही कम सच होता जा रहा है। बीच की एनाटॉमी को फिर से देखो। इरादे का सार निकालना, विभाजन, पुनर्प्राप्ति, चयन। इनमें से हर एक वह क़दम है जो एक मॉडल पूरा करता है, जिसका मतलब है कि यह वह क़दम है जिसे मॉडल से माँग पर फिर से करने के लिए कहा जा सकता है। एक बार जब कोई मॉडल यह दोबारा बना सके कि लोग असल में क्या पूछते हैं, इसका एक यथार्थवादी वितरण, तो इसे देख चुके होने का प्रीमियम ढह जाता है।
ख़ुद यह करने की लागत उसी समय गिरती है। एक प्रॉम्प्ट क्लस्टर को कुछ सौ बार चलाना और उस पर सांख्यिकी करना कोई महँगी गणना नहीं है, और यह हर साल सस्ती होती जाती है। आज तुम इसके लिए एक प्लेटफ़ॉर्म ख़रीदते हो। जल्दी ही यह तुम्हारे अपने स्टैक के अंदर एक शेड्यूल्ड जॉब बन जाएगी, और कोई भी एक शेड्यूल्ड जॉब के लिए डैशबोर्ड नहीं ख़रीदता।
फिर आख़िरी दबाव, और यही वह है जिस पर मैं नज़र रखूँगा। लैब्स इसके इकलौते असली तौर पर न देखे जा सकने वाले हिस्से की मालिक हैं। जैसे-जैसे मॉडल ख़ुद कमोडिटी बनता है, और यह कमोडिटी बन रहा है, उन्हें ऐसा रेवेन्यू चाहिए जो टोकन न हो। प्रॉम्प्ट और जवाब के बीच जो हुआ, उसमें संरचित दृश्यता (structured visibility) बेचना स्पष्ट विविधीकरण (diversification) है, और वे इकलौते हैं जो इसे किसी की इजाज़त माँगे बिना बेच सकते हैं। उस दिन, हर स्वतंत्र GEO कंपनी वह चीज़ फिर से बेच रही होगी जो उसका अपना सप्लायर सीधे दे सकता है।
तो शोर की उम्मीद रखो। बड़े राउंड, बड़े ओहदे, एक ऐसी श्रेणी जो लगभग तीन साल तक अगले Semrush जैसी दिखेगी। उस पैसे में से कुछ असली है। ज़्यादातर रक्षात्मक खाइयाँ (moats) असली नहीं हैं।
मुझे अब भी लगता है कि यह सबसे अच्छी जगहों में से एक है। मुझे इतना यक़ीन नहीं है कि यह टिकने के लिए एक अच्छी जगह है।
वह हिस्सा जहाँ मैं तुम्हें बताता हूँ कि यह असली है
मुझे यह सब Hexa इनक्यूबेटर में दस दिनों के दौरान मिला। तुम पहुँचते हो, वे तुम्हें एक समस्या थमाते हैं, और तुम्हारा काम है यह साबित करना कि उनके विचार में दम है। यही सौदा है।
यह कोई विचार-प्रयोग नहीं है। यह विचार उन दस दिनों से इतनी मज़बूती के साथ निकला कि Hexa इसे बनाने में लगभग €750,000 लगाएगा, और इसे मेरे पार्टनर के साथ आगे ले जा रहा है।
मुझे आगे बढ़ने के लिए नहीं चुना गया, पर फिर भी यह लंबे समय में मेरे सबसे अच्छे दस दिनों में से एक था। असली समस्या, फ़ोन पर असली यूज़र्स, असली बाज़ार, कोई तमाशा नहीं। काम टिका रहा।
मैं इसे कल फिर से करूँगा (लेकिन इस बार YC के साथ 🤣)।