--- title: "AI 学会操作的下一块屏幕，就在你口袋里" description: "在巴黎一场应用开发黑客松上，我们找到了绕开 iPhone 围墙的办法，让应用能替你在其他应用里完成任务。它还暴露出一个漏洞。所有人都在教 AI 用手机。却几乎没有人掌握关于人类如何使用手机的好数据。" canonical: https://www.askgib.com/zh/articles/the-next-screen-ai-learns-is-in-your-pocket last-updated: 2026-10-19 lang: zh --- # AI 学会操作的下一块屏幕，就在你口袋里 > 在巴黎一场应用开发黑客松上，我们找到了绕开 iPhone 围墙的办法，让应用能替你在其他应用里完成任务。它还暴露出一个漏洞。所有人都在教 AI 用手机。却几乎没有人掌握关于人类如何使用手机的好数据。 By Gibril Bachouchi. Filed 2026-10-19. 1 min read. Web page: https://www.askgib.com/zh/articles/the-next-screen-ai-learns-is-in-your-pocket Languages: [en](https://www.askgib.com/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [fr](https://www.askgib.com/fr/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [ar](https://www.askgib.com/ar/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [es](https://www.askgib.com/es/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [ru](https://www.askgib.com/ru/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [pt](https://www.askgib.com/pt/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [it](https://www.askgib.com/it/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [de](https://www.askgib.com/de/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [ja](https://www.askgib.com/ja/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [ko](https://www.askgib.com/ko/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [hi](https://www.askgib.com/hi/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [he](https://www.askgib.com/he/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [zh](https://www.askgib.com/zh/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [tr](https://www.askgib.com/tr/articles/the-next-screen-ai-learns-is-in-your-pocket.md) 这件事源于巴黎的一场应用开发黑客松。 目标是做一个应用。我们拿一款晨间例行应用，试着让它替你完成这套例行流程：打开你的其他应用，并在其中完成各个步骤。 在 iPhone 上，这很难。每个应用都住在自己的沙盒里，也就是一个封闭的盒子，看不到其他应用。要打开另一个应用，你必须在发布前列出它的链接，即它的"URL scheme"（用来调起应用的地址）。你可能想用到的每个应用，都要有一条。这要花很长时间。而且这份清单没法跟着用户一起增长。 所以我们绕开了它。Screen Time 会告诉我们，一个人真正在用哪些应用。我们在自己的应用里做了一个小浏览器，那些应用就在里面以网页版打开。在这个浏览器里，我们的应用可以拿到脚本、提示词或普通的指引，替你完成任务。 我们到场时，大家说这做不到。到结束时，他们惊讶于我们居然找到了办法。 MWM 是一家巴黎的应用工作室，在自己的办公室里主办了这次活动。他们把我们照顾得非常好，是最突出的赞助商。他们的技术团队很喜欢我们做的东西，也对我们的速度印象深刻。感谢他们。我们玩得很开心。 它还让我看到了一个更大的问题。关于人们究竟如何使用手机，数据非常少。 想一想。手机是你触摸最多的屏幕。可是当你想知道人们究竟是如何在手机上操作的，几乎找不到可用的资料。 于是我去找。谁在教 AI 用手机？谁真正了解人类如何使用手机？ 结果发现是两群不同的人。他们几乎不交流。 AI 的"电脑操作"最早出现在桌面上。那是较容易的版本。下一个就是手机。 在网页上，智能体（agent，指能自主执行任务的 AI 程序）可以读取代码，找到按钮。在手机上，应用像是封闭的盒子。智能体通常只能拿到一张截图，加上一份不完整的"无障碍树"。无障碍树是屏幕元素的隐藏列表，屏幕阅读器就是靠它工作的。仅此而已。 手机还有它自己的特点。你不只是点击，还要滑动、长按、双指缩放，以及下拉刷新，而每种操作的含义都不同。按钮只有几毫米宽，并且会随屏幕尺寸变化而移动。登录、付款和验证码，都会让智能体在任务中途停下。 而且有两个世界。Android 允许应用在获得许可后控制屏幕。iPhone 则锁得紧得多。 手机仍然是更大的奖品。人们的生活都在那里。 很多人。手机厂商、有资金支持的初创公司，以及开放研究实验室，其中不少位于中国。 | 公司 | 他们在做什么 | 目前进展 | | --- | --- | --- | | [Google](https://www.nbcpalmsprings.com/2026/08/12/google-says-ai-agents-could-transform-how-we-use-smartphones) | 一个 Android，你说出想要什么，智能体自己完成各个步骤 | 这是 Android 生态负责人在 2026 年 8 月接受 CNN 采访时给出的目标。一项名为 Halo 的功能预计会显示智能体的进度。Pixel 11 Pro 背面有一盏灯，当 Gemini 正在处理指令时会亮起。 | | Apple | 一个新的 Siri，可以跨应用工作，并使用你的个人信息 | 已于 2026 年 9 月随 iOS 27 推出测试版 | | [AGI, Inc.](https://techcrunch.com/snippet/3080183/agi-inc-s-android-app-can-use-your-phone-for-you/) | 一款 Android 应用，替你使用其他应用：叫车、为外卖订单加菜、发送消息 | 2026 年 1 月在 CES 上以私测版展示。TechCrunch 报道称其已融资 1000 万美元，投资方包括 Menlo Ventures、Anthropic 等，据报道估值 5 亿美元。该公司称，其智能体在 2025 年 10 月的 [AndroidWorld 测试](https://theagi.company/blog/android-world)中得分 97.4%，且仅依靠截图完成。 | | [字节跳动（UI-TARS）](https://github.com/bytedance/UI-TARS) | 能看懂屏幕，并进行点击、滑动和输入的模型 | UI-TARS-1.5 已开源。UI-TARS-2 于 2025 年 9 月发布。 | | [智谱 AI（Open-AutoGLM）](https://github.com/zai-org/Open-AutoGLM) | 一个开源手机智能体，以及一个 9B 参数的手机模型 | GitHub 星标约 26,000。遇到登录和验证码页面时，会把手机交还给你。 | | [蚂蚁集团（UI-Venus）](https://github.com/inclusionAI/UI-Venus) | 依据截图工作的开源智能体，以及一个移动端基准测试 | UI-Venus 1.5 于 2026 年 2 月发布，UI-Venus 2 于 2026 年 8 月发布 | | [Droidrun，现为 Mobilerun](https://github.com/droidrun/mobilerun) | 开源框架，让任何 AI 模型都能操控手机 | 支持 Android 和 iOS，并提供云端版本。GitHub 星标约 9,600。 | | [MobileGym](https://github.com/Purewhiter/mobilegym) | 一台带有 28 个模拟应用的假手机，用于训练和测试智能体 | 2026 年 5 月发布。其作者测试的最佳模型 Gemini 3.1 Pro 完成了 58.8% 的任务。最佳开源手机模型完成了 20%。 | 看看最后一行，再对照 AGI 那一行。 在较旧的测试中，一家初创公司称其得分 97.4%。在较新、较难的测试中，作者测试过的最好模型也会失败约十分之四的任务。 所以钱有了，人才也有了。但智能体仍然会迷路。 另一群人。他们的客户是应用团队，而不是 AI 实验室。 | 公司 | 记录什么 | 使用者 | | --- | --- | --- | | [UXCam](https://uxcam.com/mobile-heatmaps/) | 会话回放、触摸热力图、"愤怒点击"（同一个位置被烦躁的用户一再点击）和中途离开 | 专为移动端打造。称其运行于 37,000+ 个应用中。 | | [Contentsquare](https://contentsquare.com/) | 会话回放、热力图，以及对屏幕各区域是否值得占据位置的"分区"分析 | 起步于网页，有移动端 SDK | | [Fullstory](https://www.fullstory.com/) | 会话回放、挫败信号、用户路径 | 起步于网页，有移动端 SDK | 这些数据很值钱。UXCam 自己的网站称，Carrefour 的银行在看到热力图揭示原因后，愤怒点击减少了 50%。这是供应商自己说的，请把它当作销售话术看待。但应用团队确实在为这类服务付费。 这些工具的局限在这里。它们告诉你发生了什么。它们不能告诉你，一个新设计在上线前会产生什么效果。而它们学到的东西，也不会进入 AI 智能体。 这正是我们在黑客松上掉进去的那个漏洞。 一群人教 AI 用手机。另一群人观察人类用手机。几乎没有人把两者连接起来。 我会测试的五个想法。 1. **像真人一样点击的虚拟用户。** 用真实的触摸模式训练智能体。让它们在应用的新版本上跑一遍，赶在上线前。它们会先告诉你，人类会在哪一屏停住或愤怒点击，而真人还没有遇到。 2. **为智能体做的 UXCam。** 智能体开始替人使用应用。应用开发者会想知道，哪些会话来自智能体，它们在哪里卡住，又为什么离开。我还没有找到任何人拥有这块市场。 3. **智能体友好度评分。** 你的应用对智能体来说有多好用？标签清楚，布局稳定，没有死路。如果智能体无法在你的应用里完成订单，它就会去别人的应用里完成。 4. **授权的触摸数据。** 经过同意、保护隐私的数据，记录人类真正如何在应用中操作。智能体开发者需要这些数据。这本身就是一项产品。 5. **顺带的无障碍功能。** 帮助智能体的清晰标签，也能帮助视力低下或手部活动受限的人。同样的工作，两份收益。 这五个想法的核心相同：谁掌握关于人类如何真正使用手机的最佳数据，谁就能让应用和智能体都变得更好。 很多。 **平台可以自己做。** Google 和 Apple 掌控操作系统。他们免费加入的任何功能，都可能让一家初创公司倒闭。更稳妥的选择是服务应用开发者。平台往往会把这个客户留给别人。 **iPhone 基本是封闭的。** AGI 的应用目前只支持 Android。能够触及 iOS 的开源工具，需要开发者自行设置。如果你的业务必须依赖 iPhone，那你的业务就取决于 Apple。 **隐私。** 会话回放意味着录制人们的屏幕。你必须遮蔽个人数据，并取得真正的同意。不能只是第九页上的一个勾选框。 **信任。** 2026 年 5 月，Gallup 和 Bentley University 询问美国人，是否信任企业负责任地使用 AI。27% 的人说信任。那么，再请他们把自己的手机交给一个智能体。 还有一个我目前无法回答的问题。谁先付钱？是想要更好应用的应用开发者，还是想要更好智能体的 AI 实验室？ 我认为是应用开发者。如果你在开发应用，请告诉我我是否判断错了。