
19 अक्टूबर 20266 min read
वह अगली स्क्रीन जो AI सीखता है, आपकी जेब में है
पेरिस में ऐप बनाने वाले एक हैकथॉन में, हमने iPhone की दीवारों के आसपास से निकलने का तरीका ढूँढा, ताकि एक ऐप आपके दूसरे ऐप्स में काम कर सके। इसने एक खाई भी दिखाई। हर कोई AI को फ़ोन चलाना सिखा रहा है। लगभग किसी के पास यह डेटा नहीं है कि इंसान फ़ोन कैसे चलाते हैं।
Before you readThis page watches how you read it: your taps, your stops, your pauses. It stays in this tab. Nothing is stored, nothing is sent. You get it back in chapter 4.

यह एक हैकथॉन से शुरू हुआ
यह पेरिस में ऐप बनाने वाले एक हैकथॉन से निकला।
लक्ष्य एक ऐप बनाना था। हमने सुबह की दिनचर्या वाला एक ऐप लिया और उसे ऐसा बनाने की कोशिश की कि दिनचर्या आपके लिए ख़ुद करे: आपके दूसरे ऐप खोले और उनमें चरण पूरे करे।
iPhone पर यह मुश्किल है। हर ऐप अपने ही सैंडबॉक्स में रहता है, एक बंद डिब्बा जो दूसरे ऐप्स को देख नहीं सकता। किसी दूसरे ऐप को खोलने के लिए, प्रकाशित करने से पहले उसका लिंक, यानी उसकी "URL scheme", सूची में डालनी पड़ती है। जिस भी ऐप तक आप कभी पहुँचना चाहें, उसके लिए एक चाहिए। इसमें बहुत समय लगता है। और यह सूची यूज़र के साथ बढ़ नहीं सकती।
तो हमने इसका रास्ता निकाला। Screen Time हमें बताता है कि कोई व्यक्ति असल में कौन से ऐप इस्तेमाल करता है। हमने अपने ऐप के अंदर एक छोटा ब्राउज़र बनाया, और वे ऐप वहाँ अपने वेब वर्ज़न में खुलते हैं। उस ब्राउज़र के अंदर, हमारा ऐप एक स्क्रिप्ट, एक प्रॉम्प्ट या सादे निर्देश ले सकता है, और आपके लिए काम कर देता है।
जब हम पहुँचे, तो लोगों ने कहा कि यह नहीं हो सकता। अंत तक, वे हैरान थे कि हमने तरीका ढूँढ लिया।
MWM, पेरिस स्थित एक ऐप स्टूडियो, ने अपने दफ़्तरों में इवेंट की मेज़बानी की। उन्होंने हमारा बहुत अच्छा ख़याल रखा, और वे सबसे ख़ास स्पॉन्सर थे। उनकी तकनीकी टीम को हमारा बनाया हुआ बहुत पसंद आया और हमारी रफ़्तार देखकर वे प्रभावित हुए। उनका धन्यवाद। हमें बहुत मज़ा आया।
इसने मुझे एक बड़ी समस्या भी दिखाई। लोग फ़ोन असल में कैसे इस्तेमाल करते हैं, इसका डेटा बहुत कम है।
सोचो। फ़ोन वह स्क्रीन है जिसे आप किसी भी और चीज़ से ज़्यादा छूते हो। और जब आप जानना चाहते हो कि लोग उसमें असल में कैसे चलते हैं, तो पकड़ने के लिए लगभग कुछ नहीं है।
तो मैंने खोजा। फ़ोन चलाना AI को कौन सिखा रहा है? और इंसान उसे कैसे चलाते हैं, यह असल में कौन जानता है?
पता चला कि ये दो अलग समूह हैं। वे शायद ही आपस में बात करते हैं।
फ़ोन कठिन स्क्रीन है
AI का "कंप्यूटर यूज़" डेस्कटॉप पर शुरू हुआ। वह आसान वाला रूप था। अगला नंबर फ़ोन के इस्तेमाल का है।
वेब पेज पर एजेंट कोड पढ़कर बटन ढूँढ सकता है। फ़ोन पर ऐप बंद डिब्बों जैसे होते हैं। अक्सर एजेंट को एक स्क्रीनशॉट और एक आंशिक "एक्सेसिबिलिटी ट्री" मिलता है। यह स्क्रीन के छिपे हुए तत्वों की सूची है, जिसे स्क्रीन रीडर इस्तेमाल करते हैं। बस इतना ही।
फिर फ़ोन अपना मज़ा जोड़ता है। आप क्लिक नहीं करते, आप स्वाइप करते हो, लंबा दबाते हो, पिंच करते हो और रिफ़्रेश के लिए खींचते हो। हर एक का मतलब अलग होता है। बटन कुछ मिलीमीटर चौड़े होते हैं और हर स्क्रीन साइज़ के साथ हिलते हैं। लॉगिन, भुगतान और सुरक्षा कोड किसी काम के बीच में एजेंट को रोक देते हैं।
- Drink waterskipped
- Stretchskipped
- Make the bedskipped
- Go outsideskipped
The glass is asleep, so you can scroll past it.
Exhibit A Touch the glass
Five gestures. Five meanings. One small screen.
Do each one yourself on the glass. Or press a row, and it is done for you.
और दो दुनिया हैं। Android एक बार अनुमति देने पर ऐप को स्क्रीन नियंत्रित करने देता है। iPhone कहीं ज़्यादा बंद है।
फ़ोन अब भी बड़ा इनाम है। यहीं लोग रहते हैं।
फ़ोन चलाना AI को कौन सिखा रहा है
बहुत लोग। फ़ोन बनाने वाली कंपनियाँ, फ़ंड वाले स्टार्टअप, और ओपन रिसर्च लैब, जिनमें से कई चीन में हैं।
| कौन | क्या बना रहे हैं | कहाँ है |
|---|---|---|
| एक Android जहाँ आप बताते हो कि क्या चाहिए और एजेंट चरण पूरे करता है | यही वह लक्ष्य है जो Android इकोसिस्टम के प्रेसिडेंट ने अगस्त 2026 में CNN को बताया। Halo नाम की एक सुविधा से एजेंट की प्रगति दिखने की उम्मीद है। Pixel 11 Pro में एक बैक लाइट है जो तब जलती है जब Gemini किसी कमांड पर काम कर रहा होता है। | |
| Apple | एक नया Siri जो ऐप्स के बीच काम करता है और आपकी निजी जानकारी का इस्तेमाल करता है | सितंबर 2026 में iOS 27 के साथ बीटा में आया |
| AGI, Inc. | एक Android ऐप जो आपके दूसरे ऐप्स आपके लिए इस्तेमाल करता है: राइड बुक करना, खाने के ऑर्डर में जोड़ना, संदेश भेजना | जनवरी 2026 में CES में निजी बीटा के रूप में दिखाया गया। TechCrunch के अनुसार Menlo Ventures, Anthropic और अन्य से $10M जुटाए गए, और बताया गया $500M वैल्यूएशन। कंपनी का कहना है कि अक्टूबर 2025 में उसके एजेंट ने AndroidWorld टेस्ट पर 97.4% स्कोर किया, सिर्फ़ स्क्रीनशॉट से। |
| ByteDance (UI-TARS) | मॉडल जो स्क्रीन देखते हैं और टैप, स्वाइप और टाइप करते हैं | UI-TARS-1.5 ओपन है। UI-TARS-2 सितंबर 2025 में आया। |
| Zhipu AI (Open-AutoGLM) | एक ओपन-सोर्स फ़ोन एजेंट और 9B फ़ोन मॉडल | लगभग 26,000 GitHub स्टार। लॉगिन और कैप्चा स्क्रीन पर यह फ़ोन आपको वापस सौंप देता है। |
| Ant Group (UI-Venus) | ओपन एजेंट जो स्क्रीनशॉट से काम करते हैं, और एक मोबाइल बेंचमार्क | UI-Venus 1.5 फ़रवरी 2026 में, UI-Venus 2 अगस्त 2026 में |
| Droidrun, now Mobilerun | ओपन-सोर्स फ़्रेमवर्क जो कोई भी AI मॉडल को फ़ोन चलाने देता है | Android और iOS, और एक क्लाउड वर्ज़न। लगभग 9,600 GitHub स्टार। |
| MobileGym | एक नकली फ़ोन जिसमें 28 नकली ऐप हैं, एजेंट को सिखाने और जाँचने के लिए | मई 2026 में जारी। इसके लेखकों ने जिस सबसे अच्छे मॉडल को टेस्ट किया, Gemini 3.1 Pro, उसने 58.8% काम पूरे किए। सबसे अच्छे ओपन फ़ोन मॉडल ने 20% पूरे किए। |
AGI वाली पंक्ति के ठीक बाद, आख़िरी पंक्ति देखो।
पुराने टेस्ट पर, एक स्टार्टअप का दावा है कि उसका स्कोर 97.4% है। एक नए और कठिन टेस्ट पर, लेखकों द्वारा परखा गया सबसे अच्छा मॉडल लगभग 10 में से 4 कामों में असफल होता है।
A fake phone with 28 fake apps.
Exhibit B A fake phone, ten tasks
Same agent idea, two exams.
58.8%
the best model its authors tested
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
Ten tasks. Watch where it goes.
तो पैसा है। प्रतिभा है। फिर भी एजेंट भटक जाते हैं।
कौन देखता है कि इंसान स्क्रीन को कैसे छूते हैं
एक अलग समूह। वे AI लैब्स को नहीं, ऐप टीमों को बेचते हैं।
| कंपनी | क्या रिकॉर्ड करती है | इसे कौन इस्तेमाल करता है |
|---|---|---|
| UXCam | सेशन रिप्ले, टच हीटमैप, "रेज टैप" (एक ही जगह को बार-बार, गुस्से में दबाया गया) और ड्रॉप-ऑफ़ | मोबाइल के लिए बनी। कहती है कि यह 37,000+ ऐप्स में चलती है। |
| Contentsquare | सेशन रिप्ले, हीटमैप, और "ज़ोनिंग", यानी स्क्रीन का कौन सा हिस्सा अपनी जगह कमाता है | वेब से शुरू हुई, इसका मोबाइल SDK है |
| Fullstory | सेशन रिप्ले, निराशा के संकेत, यूज़र जर्नी | वेब से शुरू हुई, इसका मोबाइल SDK है |
Exhibit C Session replay of this page, read by you
Like this. It is yours, since you opened the page.
Each small screen is a chapter of this article. The glow is where you stayed. The rings are your taps. It lives in this tab's memory: nothing is stored, nothing is sent.
Your session
this page, this tab
- Reading
- 0:00
- Stops
- 0
- Longest pause
- 0 s
- Went back up
- 0
- Taps
- 0
- Rage taps
- 0
Keep reading. The heat builds where you stay.
यह डेटा पैसे के लायक है। UXCam की अपनी साइट कहती है कि Carrefour के बैंक ने एक हीटमैप से कारण दिखने के बाद रेज टैप 50% कम किए। यह विक्रेता की अपनी बात है, इसलिए इसे सेल्स लाइन समझो। पर ऐप टीमें इसके लिए सच में पैसे देती हैं।
यहाँ ये टूल रुक जाते हैं। ये बताते हैं कि क्या हुआ। ये नहीं बताते कि नया डिज़ाइन शिप करने से पहले क्या करेगा। और जो कुछ वे सीखते हैं, वह किसी AI एजेंट में नहीं जाता।
हैकथॉन में हम इसी खाई में गिरे।
एक समूह AI को फ़ोन चलाना सिखा रहा है। दूसरा देखता है कि इंसान फ़ोन कैसे चलाते हैं। लगभग कोई इन दोनों को नहीं जोड़ता।
खाई कहाँ है
पाँच विचार जिन्हें मैं आज़माता।
- ऐसे नकली यूज़र जो असली जैसे टैप करें। एजेंट को असली टच पैटर्न पर सिखाओ। उन्हें लॉन्च से पहले अपने ऐप के नए वर्ज़न में चलाओ। वे तुम्हें वह स्क्रीन दिखा देंगे जहाँ इंसान रुकेगा या रेज टैप करेगा, इंसान के ऐसा करने से पहले।
- UXCam, पर एजेंट के लिए। एजेंट अब लोगों के लिए ऐप इस्तेमाल करने लगे हैं। ऐप बनाने वालों को जानना होगा कि कौन से सेशन एजेंट के हैं, वे कहाँ अटकते हैं, और क्यों छोड़ते हैं। मुझे कोई ऐसा नहीं मिला जो इसका मालिक हो।
- एजेंट-रेडीनेस स्कोर। आपका ऐप एजेंट के लिए इस्तेमाल करना कितना आसान है? साफ़ लेबल, स्थिर लेआउट, कोई बंद रास्ता नहीं। अगर एजेंट आपके ऐप में ऑर्डर पूरा नहीं कर सकता, तो वह उसे किसी और के ऐप में पूरा करेगा।
- लाइसेंस वाला टच डेटा। सहमति वाला, प्राइवेसी-सुरक्षित डेटा कि इंसान असल में ऐप्स में कैसे चलते हैं। एजेंट बनाने वालों को इसकी ज़रूरत है। यह अपने आप में एक प्रोडक्ट है।
- मुफ़्त में एक्सेसिबिलिटी। वे साफ़ लेबल जो एजेंट की मदद करते हैं, वे कम दृष्टि या सीमित हाथ की हरकत वाले व्यक्ति की भी मदद करते हैं। वही काम, दो फ़ायदे।
Exhibit D Two crowds, one screen
पाँचों में धागा एक ही है। जिसके पास इंसान फ़ोन असल में कैसे इस्तेमाल करते हैं, इसका सबसे अच्छा डेटा है, वह ऐप और एजेंट दोनों को बेहतर बनाता है।
क्या गलत हो सकता है
बहुत कुछ।
प्लेटफ़ॉर्म यह ख़ुद बना सकते हैं। Google और Apple ऑपरेटिंग सिस्टम के मालिक हैं। जो कुछ वे मुफ़्त में जोड़ दें, वह कोई स्टार्टअप ख़त्म कर सकता है। सुरक्षित दाँव ऐप बनाने वालों की सेवा करना है। वह ग्राहक जिसे प्लेटफ़ॉर्म अक्सर दूसरों के लिए छोड़ देते हैं।
iPhone ज़्यादातर बंद है। AGI का ऐप अभी सिर्फ़ Android पर है। iOS तक पहुँचने वाले ओपन टूल्स को डेवलपर सेटअप चाहिए। अगर आपका बिज़नेस iPhone पर चलता है, तो आपका बिज़नेस Apple पर निर्भर है।
प्राइवेसी। सेशन रिप्ले का मतलब है लोगों की स्क्रीन रिकॉर्ड करना। आपको निजी डेटा मास्क करना होगा और असली सहमति चाहिए। नौवें पेज पर एक चेकबॉक्स काफ़ी नहीं है।
भरोसा। Gallup और Bentley University ने मई 2026 में अमेरिकियों से पूछा कि क्या वे भरोसा करते हैं कि बिज़नेस AI को ज़िम्मेदारी से इस्तेमाल करते हैं। 27% ने हाँ कहा। अब उनसे कहो कि एजेंट को अपना फ़ोन दे दें।
Go on. Slide it.
और एक सवाल जिसका जवाब मेरे पास अभी नहीं है। पहले पैसा कौन देगा? वह ऐप बनाने वाला जिसे बेहतर ऐप चाहिए, या वह AI लैब जिसे बेहतर एजेंट चाहिए?
मुझे लगता है ऐप बनाने वाला। अगर आप ऐप बनाते हो, तो मुझे बताओ अगर मैं ग़लत हूँ।
स्रोत16
- Google says AI agents could transform how we use smartphones
- Google Develops Android AI Agents to Handle Smartphone Tasks
- AGI Inc.'s Android app can use your phone for you
- AGI, Inc. on AndroidWorld
- UI-TARS-2 Technical Report: Advancing GUI Agent with Multi-Turn Reinforcement Learning
- UI-TARS on GitHub
- Open-AutoGLM on GitHub
- UI-Venus on GitHub
- Mobilerun (formerly Droidrun) on GitHub
- MobileGym on GitHub
- MobileGym: A Verifiable and Highly Parallel Simulation Platform for Mobile GUI Agent Research
- UXCam mobile heatmaps
- UXCam mobile session replay
- Contentsquare
- Fullstory
- Americans cool toward AI (Bentley-Gallup Business in Society)