AI 学会操作的下一块屏幕，就在你口袋里

1

一切始于一场黑客松

这件事源于巴黎的一场应用开发黑客松。

目标是做一个应用。我们拿一款晨间例行应用，试着让它替你完成这套例行流程：打开你的其他应用，并在其中完成各个步骤。

在 iPhone 上，这很难。每个应用都住在自己的沙盒里，也就是一个封闭的盒子，看不到其他应用。要打开另一个应用，你必须在发布前列出它的链接，即它的"URL scheme"（用来调起应用的地址）。你可能想用到的每个应用，都要有一条。这要花很长时间。而且这份清单没法跟着用户一起增长。

所以我们绕开了它。Screen Time 会告诉我们，一个人真正在用哪些应用。我们在自己的应用里做了一个小浏览器，那些应用就在里面以网页版打开。在这个浏览器里，我们的应用可以拿到脚本、提示词或普通的指引，替你完成任务。

我们到场时，大家说这做不到。到结束时，他们惊讶于我们居然找到了办法。

MWM 是一家巴黎的应用工作室，在自己的办公室里主办了这次活动。他们把我们照顾得非常好，是最突出的赞助商。他们的技术团队很喜欢我们做的东西，也对我们的速度印象深刻。感谢他们。我们玩得很开心。

它还让我看到了一个更大的问题。关于人们究竟如何使用手机，数据非常少。

想一想。手机是你触摸最多的屏幕。可是当你想知道人们究竟是如何在手机上操作的，几乎找不到可用的资料。

于是我去找。谁在教 AI 用手机？谁真正了解人类如何使用手机？

结果发现是两群不同的人。他们几乎不交流。

2

手机是更难的屏幕

AI 的"电脑操作"最早出现在桌面上。那是较容易的版本。下一个就是手机。

在网页上，智能体（agent，指能自主执行任务的 AI 程序）可以读取代码，找到按钮。在手机上，应用像是封闭的盒子。智能体通常只能拿到一张截图，加上一份不完整的"无障碍树"。无障碍树是屏幕元素的隐藏列表，屏幕阅读器就是靠它工作的。仅此而已。

手机还有它自己的特点。你不只是点击，还要滑动、长按、双指缩放，以及下拉刷新，而每种操作的含义都不同。按钮只有几毫米宽，并且会随屏幕尺寸变化而移动。登录、付款和验证码，都会让智能体在任务中途停下。

Morning routine

• Drink waterskipped
• Stretchskipped
• Make the bedskipped
• Go outsideskipped

Start my day

Tap to wake

The glass is asleep, so you can scroll past it.

而且有两个世界。Android 允许应用在获得许可后控制屏幕。iPhone 则锁得紧得多。

手机仍然是更大的奖品。人们的生活都在那里。

3

谁在教 AI 用手机

很多人。手机厂商、有资金支持的初创公司，以及开放研究实验室，其中不少位于中国。

看看最后一行，再对照 AGI 那一行。

在较旧的测试中，一家初创公司称其得分 97.4%。在较新、较难的测试中，作者测试过的最好模型也会失败约十分之四的任务。

A fake phone with 28 fake apps.

所以钱有了，人才也有了。但智能体仍然会迷路。

4

谁在观察人类如何触摸屏幕

另一群人。他们的客户是应用团队，而不是 AI 实验室。

Each small screen is a chapter of this article. The glow is where you stayed. The rings are your taps. It lives in this tab's memory: nothing is stored, nothing is sent.

Replay my sessionWipe it

Your session

this page, this tab

Reading

0:00

Stops

0

Longest pause

0 s

Went back up

0

Taps

0

Rage taps

0

Keep reading. The heat builds where you stay.

这些数据很值钱。UXCam 自己的网站称，Carrefour 的银行在看到热力图揭示原因后，愤怒点击减少了 50%。这是供应商自己说的，请把它当作销售话术看待。但应用团队确实在为这类服务付费。

这些工具的局限在这里。它们告诉你发生了什么。它们不能告诉你，一个新设计在上线前会产生什么效果。而它们学到的东西，也不会进入 AI 智能体。

这正是我们在黑客松上掉进去的那个漏洞。

一群人教 AI 用手机。另一群人观察人类用手机。几乎没有人把两者连接起来。

5

机会在哪里

我会测试的五个想法。

1. 像真人一样点击的虚拟用户。 用真实的触摸模式训练智能体。让它们在应用的新版本上跑一遍，赶在上线前。它们会先告诉你，人类会在哪一屏停住或愤怒点击，而真人还没有遇到。
2. 为智能体做的 UXCam。 智能体开始替人使用应用。应用开发者会想知道，哪些会话来自智能体，它们在哪里卡住，又为什么离开。我还没有找到任何人拥有这块市场。
3. 智能体友好度评分。 你的应用对智能体来说有多好用？标签清楚，布局稳定，没有死路。如果智能体无法在你的应用里完成订单，它就会去别人的应用里完成。
4. 授权的触摸数据。 经过同意、保护隐私的数据，记录人类真正如何在应用中操作。智能体开发者需要这些数据。这本身就是一项产品。
5. 顺带的无障碍功能。 帮助智能体的清晰标签，也能帮助视力低下或手部活动受限的人。同样的工作，两份收益。

Exhibit D Two crowds, one screen

这五个想法的核心相同：谁掌握关于人类如何真正使用手机的最佳数据，谁就能让应用和智能体都变得更好。

6

可能出什么问题

很多。

平台可以自己做。 Google 和 Apple 掌控操作系统。他们免费加入的任何功能，都可能让一家初创公司倒闭。更稳妥的选择是服务应用开发者。平台往往会把这个客户留给别人。

iPhone 基本是封闭的。 AGI 的应用目前只支持 Android。能够触及 iOS 的开源工具，需要开发者自行设置。如果你的业务必须依赖 iPhone，那你的业务就取决于 Apple。

隐私。 会话回放意味着录制人们的屏幕。你必须遮蔽个人数据，并取得真正的同意。不能只是第九页上的一个勾选框。

信任。 2026 年 5 月，Gallup 和 Bentley University 询问美国人，是否信任企业负责任地使用 AI。27% 的人说信任。那么，再请他们把自己的手机交给一个智能体。

还有一个我目前无法回答的问题。谁先付钱？是想要更好应用的应用开发者，还是想要更好智能体的 AI 实验室？

我认为是应用开发者。如果你在开发应用，请告诉我我是否判断错了。