
19 أكتوبر 20264 min read
الشاشة التالية التي يتعلّمها الذكاء الاصطناعي موجودة في جيبك
في هاكاثون لبناء التطبيقات في باريس، وجدنا طريقة للالتفاف على جدران iPhone كي يؤدي تطبيق مهامّ داخل تطبيقاتك الأخرى. وكشف لي أيضًا ثغرة. الجميع يعلّم الذكاء الاصطناعي استخدام الهواتف، وقلّة جدًا تملك بيانات جيدة عن كيف يستخدمها البشر.
Before you readThis page watches how you read it: your taps, your stops, your pauses. It stays in this tab. Nothing is stored, nothing is sent. You get it back in chapter 4.

بدأ الأمر في هاكاثون
جاءت هذه الفكرة من هاكاثون لبناء التطبيقات في باريس.
كان الهدف بناء تطبيق. أخذنا تطبيق روتين صباحي وحاولنا أن نجعله ينفّذ الروتين عنك: يفتح تطبيقاتك الأخرى وينفّذ الخطوات داخلها.
على iPhone، هذا صعب. كل تطبيق يعيش في "صندوق رمل" خاص به، أي صندوق مغلق لا يرى التطبيقات الأخرى. ولفتح تطبيق آخر، عليك أن تُدرج رابطه، أي "URL scheme" (مخطط الرابط)، قبل النشر. وتحتاج إلى واحد لكل تطبيق قد ترغب يومًا في الوصول إليه. وهذا يستغرق وقتًا طويلًا. والقائمة لا تستطيع أن تنمو مع المستخدم.
فالتففنا حوله. يخبرنا Screen Time أي التطبيقات يستخدمها الشخص فعلًا. فبنينا متصفحًا صغيرًا داخل تطبيقنا، وتُفتح تلك التطبيقات فيه بنسخة الويب. وداخل ذلك المتصفح يستطيع تطبيقنا أن يأخذ سكربتًا أو أمرًا نصيًا أو توجيهات بسيطة، وينفّذ المهمة عنك.
عندما وصلنا، قال لنا الناس إن ذلك مستحيل. وفي النهاية، فوجئوا بأننا وجدنا طريقة.
استضافت MWM، وهي استوديو تطبيقات في باريس، الفعالية في مكاتبها. اعتنوا بنا جيدًا، وكانوا الراعي الأبرز. أحب فريقهم التقني ما بنيناه وأُعجب بسرعة عملنا. شكرًا لهم. قضينا وقتًا رائعًا.
وأظهر لي أيضًا مشكلة أكبر. توجد بيانات قليلة جدًا عن كيف يستخدم الناس هواتفهم فعلًا.
فكّر في ذلك. الهاتف هو الشاشة التي تلمسها أكثر من أي شاشة أخرى. وحين تريد أن تعرف كيف يتنقّل الناس فيها فعلًا، لا يوجد تقريبًا ما تعتمد عليه.
فبحثت. من يعلّم الذكاء الاصطناعي استخدام الهاتف؟ ومن يعرف فعلًا كيف يستخدمه البشر؟
تبيّن أنهما فريقان مختلفان. وبالكاد يتحدثان مع بعضهما.
الهاتف شاشة أصعب
بدأ "استخدام الحاسوب" بالذكاء الاصطناعي على سطح المكتب. كانت تلك النسخة السهلة. استخدام الهاتف هو التالي.
على صفحة ويب، يستطيع الوكيل أن يقرأ الشيفرة ويجد الزر. أما على الهاتف، فالتطبيقات صناديق مغلقة. غالبًا يحصل الوكيل على لقطة شاشة وعلى "شجرة إمكانية الوصول"، وهي قائمة جزئية ومخفية بعناصر الشاشة تستخدمها قارئات الشاشة. وهذا كل ما لديه.
ثم يضيف الهاتف متعة خاصة. أنت لا تنقر فقط. أنت تمرّر، وتضغط مطولًا، وتقرّب بإصبعين، وتسحب للتحديث. ولكل حركة معنى مختلف. الأزرار عرضها بضعة مليمترات، وتتحرك مع كل حجم شاشة. وتسجيلات الدخول والمدفوعات ورموز الأمان توقف الوكيل في منتصف المهمة.
- Drink waterskipped
- Stretchskipped
- Make the bedskipped
- Go outsideskipped
The glass is asleep, so you can scroll past it.
Exhibit A Touch the glass
Five gestures. Five meanings. One small screen.
Do each one yourself on the glass. Or press a row, and it is done for you.
وهناك عالمان. يسمح Android للتطبيق بالتحكم في الشاشة بعد أن تمنحه الإذن. أما iPhone فهو أكثر إغلاقًا بكثير.
الهاتف ما زال الجائزة الأكبر. فهو المكان الذي يعيش فيه الناس.
من يعلّم الذكاء الاصطناعي استخدام الهواتف
كثيرون. مالكو هواتف، وشركات ناشئة ممولة، ومختبرات بحث مفتوحة، كثير منها في الصين.
| الجهة | ما الذي تبنيه | أين تقف |
|---|---|---|
| نظام Android تقول فيه ما تريد، ويتولى وكيل الخطوات | هذا هو الهدف الذي وصفه رئيس منظومة Android لشبكة CNN في أغسطس 2026. من المتوقع أن تُظهر ميزة اسمها Halo تقدّم عمل الوكيل. ويملك Pixel 11 Pro ضوءًا خلفيًا يضيء حين يعمل Gemini على أمر ما. | |
| Apple | Siri جديد يعمل عبر التطبيقات ويستخدم معلوماتك الشخصية | صدر بنسخة تجريبية مع iOS 27 في سبتمبر 2026 |
| AGI, Inc. | تطبيق Android يستخدم تطبيقاتك الأخرى نيابةً عنك: طلب سيارة، إضافة شيء إلى طلب طعام، إرسال رسالة | عُرض في CES في يناير 2026 كنسخة تجريبية خاصة. تذكر TechCrunch أن الشركة جمعت 10 ملايين دولار من Menlo Ventures وAnthropic وآخرين، وأن قيمتها المعلنة 500 مليون دولار. وتقول الشركة إن وكيلها حقق 97.4% في اختبار AndroidWorld في أكتوبر 2025، بالاعتماد على لقطات الشاشة وحدها. |
| ByteDance (UI-TARS) | نماذج ترى الشاشة وتنقر وتمرّر وتكتب | UI-TARS-1.5 مفتوح. صدر UI-TARS-2 في سبتمبر 2025. |
| Zhipu AI (Open-AutoGLM) | وكيل هاتف مفتوح المصدر ونموذج هاتف بحجم 9B | نحو 26,000 نجمة على GitHub. يعيد الهاتف إليك عند شاشات تسجيل الدخول والكابتشا. |
| Ant Group (UI-Venus) | وكلاء مفتوحون يعملون من لقطات الشاشة، ومعيار اختبار للهواتف | UI-Venus 1.5 في فبراير 2026، وUI-Venus 2 في أغسطس 2026 |
| Droidrun، واسمها الآن Mobilerun | إطار عمل مفتوح المصدر يتيح لأي نموذج ذكاء اصطناعي أن يقود الهاتف | يدعم Android وiOS، مع نسخة سحابية. نحو 9,600 نجمة على GitHub. |
| MobileGym | هاتف وهمي فيه 28 تطبيقًا وهميًا لتدريب الوكلاء واختبارهم | صدر في مايو 2026. أفضل نموذج اختبره مؤلفوه، Gemini 3.1 Pro، أنجز 58.8% من المهام. وأفضل نموذج هاتف مفتوح أنجز 20%. |
انظر إلى الصف الأخير بجانب صف AGI.
في الاختبار القديم، تقول شركة ناشئة إنها تسجّل 97.4%. وفي اختبار أحدث وأصعب، يفشل أفضل نموذج اختبره مؤلفوه في نحو 4 مهام من أصل 10.
A fake phone with 28 fake apps.
Exhibit B A fake phone, ten tasks
Same agent idea, two exams.
58.8%
the best model its authors tested
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
Ten tasks. Watch where it goes.
إذن المال موجود. والمواهب موجودة. والوكلاء ما زالوا يضلّون الطريق.
من يراقب كيف يلمس البشر الشاشة
فريق مختلف. يبيعون لفرق التطبيقات، لا لمختبرات الذكاء الاصطناعي.
| الشركة | ما الذي تسجّله | من يستخدمها |
|---|---|---|
| UXCam | تسجيل الجلسات، وخرائط حرارية للّمس، و"النقرات الغاضبة" (الموضع نفسه يُنقر مرة بعد أخرى من شخص منزعج)، والمستخدمون الذين يتركون التطبيق | صُممت للهاتف. تقول الشركة إنها تعمل في أكثر من 37,000 تطبيق. |
| Contentsquare | تسجيل الجلسات، وخرائط حرارية، و"تقسيم المناطق" لمعرفة أي أجزاء من الشاشة تستحق مكانها | بدأت على الويب، ولها حزمة SDK للهاتف |
| Fullstory | تسجيل الجلسات، وإشارات الإحباط، ومسارات المستخدمين | بدأت على الويب، ولها حزمة SDK للهاتف |
Exhibit C Session replay of this page, read by you
Like this. It is yours, since you opened the page.
Each small screen is a chapter of this article. The glow is where you stayed. The rings are your taps. It lives in this tab's memory: nothing is stored, nothing is sent.
Your session
this page, this tab
- Reading
- 0:00
- Stops
- 0
- Longest pause
- 0 s
- Went back up
- 0
- Taps
- 0
- Rage taps
- 0
Keep reading. The heat builds where you stay.
هذه البيانات تستحق المال. يقول موقع UXCam إن بنك Carrefour خفّض النقرات الغاضبة بنسبة 50% بعد أن كشفت خريطة حرارية السبب. هذا كلام البائع، فاعتبره جملة بيعية. لكن فرق التطبيقات تدفع فعلًا مقابل هذا.
إليك حيث تتوقف هذه الأدوات. هي تخبرك بما حدث. ولا تخبرك بما سيفعله تصميم جديد قبل أن تطلقه. ولا يدخل أي شيء تتعلمه إلى وكيل ذكاء اصطناعي.
هذه هي الثغرة التي وقعنا فيها في الهاكاثون.
فريق واحد يعلّم الذكاء الاصطناعي استخدام الهواتف. والآخر يراقب البشر وهم يستخدمونها. وقلّة جدًا تربط بينهما.
أين الفرصة
خمس أفكار أود اختبارها.
- مستخدمون وهميون ينقرون كما ينقر البشر الحقيقيون. درّب الوكلاء على أنماط اللمس الحقيقية. شغّلهم على نسخة جديدة من تطبيقك قبل الإطلاق. سيُظهرون لك الشاشة التي قد يتوقف عندها الإنسان أو ينقر عليها بغضب، قبل أن يفعل الإنسان ذلك.
- UXCam، ولكن للوكلاء. بدأ الوكلاء يستخدمون التطبيقات نيابةً عن الناس. وصانعو التطبيقات سيريدون معرفة أي الجلسات يقوم بها وكلاء، وأين يتعثرون، ولماذا يتركون. لم أجد أحدًا يملك هذا.
- درجة جاهزية للوكلاء. ما مدى سهولة استخدام تطبيقك على يد وكيل؟ تسميات واضحة، وتخطيطات ثابتة، ولا طرق مسدودة. إذا لم يستطع وكيل إتمام الطلب في تطبيقك، فسيُتمّه في تطبيق غيرك.
- بيانات لمس مرخّصة. بيانات بموافقة أصحابها وآمنة على الخصوصية، تبيّن كيف يتحرك البشر فعلًا داخل التطبيقات. بناة الوكلاء يحتاجونها. وهذا منتج قائم بذاته.
- إمكانية وصول دون تكلفة إضافية. التسميات الواضحة التي تساعد الوكيل تساعد أيضًا شخصًا ذا رؤية ضعيفة أو حركة محدودة في يده. العمل نفسه، ومكسبان.
Exhibit D Two crowds, one screen
الخيط نفسه في الأفكار الخمس كلها. من يملك أفضل البيانات عن كيف يستخدم البشر الهواتف فعلًا، يحسّن التطبيقات والوكلاء معًا.
ما الذي قد يسوء
كثير.
المنصات قد تبنيه بنفسها. تملك Google وApple نظام التشغيل. وأي شيء تضيفه مجانًا قد يمحو شركة ناشئة. الرهان الأكثر أمانًا هو خدمة صانعي التطبيقات. وهذا هو الزبون الذي تميل المنصات إلى تركه لغيرها.
iPhone مغلق في معظمه. تطبيق AGI يعمل على Android فقط حتى الآن. والأدوات المفتوحة التي تصل إلى iOS تحتاج إلى إعداد للمطوّرين. إذا كان عملك يحتاج iPhone، فعملك يعتمد على Apple.
الخصوصية. تسجيل الجلسات يعني تسجيل شاشات الناس. يجب أن تخفي البيانات الشخصية، ويجب أن تحصل على موافقة حقيقية. ليس مربع اختيار في الصفحة التاسعة.
الثقة. سألت Gallup وجامعة Bentley الأمريكيين في مايو 2026 إن كانوا يثقون بالشركات في استخدام الذكاء الاصطناعي بمسؤولية. قال 27% نعم. والآن اطلب منهم تسليم وكيل ذكاء اصطناعي هواتفهم.
Go on. Slide it.
وسؤال واحد لا أستطيع الإجابة عنه بعد. من يدفع أولًا؟ صانع التطبيق الذي يريد تطبيقًا أفضل، أم مختبر الذكاء الاصطناعي الذي يريد وكيلًا أفضل؟
أظن أنه صانع التطبيق. إن كنت تبني تطبيقات، فأخبرني إن كنت مخطئًا.
المصادر16
- Google says AI agents could transform how we use smartphones
- Google Develops Android AI Agents to Handle Smartphone Tasks
- AGI Inc.'s Android app can use your phone for you
- AGI, Inc. on AndroidWorld
- UI-TARS-2 Technical Report: Advancing GUI Agent with Multi-Turn Reinforcement Learning
- UI-TARS on GitHub
- Open-AutoGLM on GitHub
- UI-Venus on GitHub
- Mobilerun (formerly Droidrun) on GitHub
- MobileGym on GitHub
- MobileGym: A Verifiable and Highly Parallel Simulation Platform for Mobile GUI Agent Research
- UXCam mobile heatmaps
- UXCam mobile session replay
- Contentsquare
- Fullstory
- Americans cool toward AI (Bentley-Gallup Business in Society)