AIが次に学ぶ画面は、あなたのポケットの中にある

1

ハッカソンから始まった

これは、パリで開かれたアプリ開発ハッカソンから生まれた話だ。

目標はアプリを作ることだった。私たちは朝のルーティンアプリを取り上げ、ルーティンを代わりにこなせるようにしようとした。他のアプリを開き、その中の手順を実行するのだ。

iPhoneでは、それは難しい。どのアプリも自分専用のサンドボックス、つまり他のアプリが見えない閉じた箱の中にある。別のアプリを開くには、公開する前にそのリンク、つまり「URL scheme」(アプリを呼び出すためのアドレス)を一覧に載せなければならない。届きたい可能性のあるアプリすべてに、それが必要だ。時間がとてもかかる。しかも、その一覧はユーザーに合わせて増やせない。

そこで私たちは回り込んだ。Screen Timeを使えば、その人が実際に使っているアプリがわかる。私たちはアプリの中に小さなブラウザを作り、それらのアプリをWeb版として開く。そのブラウザの中で、私たちのアプリはスクリプトやプロンプト、あるいは普通の指示を受け取り、あなたの代わりにタスクをこなす。

着いたとき、できるはずがないと言われた。終わるころには、方法を見つけたことに驚かれていた。

パリのアプリスタジオMWMが、自社のオフィスでイベントを主催してくれた。とても手厚く面倒を見てくれて、際立ったスポンサーだった。技術チームは私たちが作ったものを気に入り、動きの速さにも感心していた。感謝している。とても楽しい時間だった。

このことは、もっと大きな問題も見せてくれた。人が実際にスマホをどう使うかについてのデータは、ほとんどない。

考えてみてほしい。スマホは、人が他のどの画面よりも多く触る画面だ。それなのに、人が実際にどうスマホの中を移動しているかを知ろうとすると、手がかりがほとんどない。

だから調べてみた。誰がAIにスマホの使い方を教えているのか。そして、人間がスマホをどう使っているかを本当に知っているのは誰か。

答えは二つの違う集団だった。両者はほとんど話をしない。

2

スマホは難しい画面だ

AIの「コンピュータ操作」は、デスクトップから始まった。そちらは簡単な方だった。次はスマホだ。

Webページなら、エージェントはコードを読んでボタンを見つけられる。スマホでは、アプリは閉じた箱だ。エージェントが得られるのは、多くの場合スクリーンショットと、部分的な「アクセシビリティツリー」だけだ。これは、スクリーンリーダーが使う、画面要素の隠れたリストのことだ。それで全部だ。

さらにスマホには独自の難しさがある。タップだけでなく、スワイプ、長押し、ピンチ、引っ張って更新もする。それぞれの操作は意味が違う。ボタンは数ミリの幅しかなく、画面サイズによって位置も変わる。ログイン、支払い、セキュリティコードは、タスクの途中でエージェントを止めてしまう。

Morning routine

• Drink waterskipped
• Stretchskipped
• Make the bedskipped
• Go outsideskipped

Start my day

Tap to wake

The glass is asleep, so you can scroll past it.

そして、世界は二つに分かれている。Androidでは、許可を与えればアプリが画面を操作できる。iPhoneははるかに厳しく制限されている。

それでもスマホは大きな獲物だ。人が生活する場所だからだ。

3

誰がAIにスマホの使い方を教えているのか

たくさんの人たちだ。スマホのメーカー、資金を得たスタートアップ、そして多くが中国にある研究所。

AGIの行と並べて、いちばん下の行を見てほしい。

古いテストでは、あるスタートアップが97.4%のスコアを主張している。もっと新しく難しいテストでは、作者たちが試した中で最高のモデルでも、10件中およそ4件で失敗する。

A fake phone with 28 fake apps.

だからお金はある。才能もある。それでもエージェントは迷ってしまう。

4

誰が人間の画面操作を見ているのか

別の集団だ。彼らはAIのラボではなく、アプリのチームに売っている。

Each small screen is a chapter of this article. The glow is where you stayed. The rings are your taps. It lives in this tab's memory: nothing is stored, nothing is sent.

Replay my sessionWipe it

Your session

this page, this tab

Reading

0:00

Stops

0

Longest pause

0 s

Went back up

0

Taps

0

Rage taps

0

Keep reading. The heat builds where you stay.

このデータには価値がある。UXCamの公式サイトによると、Carrefourの銀行は、ヒートマップで原因がわかった後、レイジタップを50%減らした。これはベンダーの言葉なので、販売用の文句として受け取ってほしい。それでも、アプリのチームはこの種のツールにお金を払っている。

ここで、これらのツールの限界を言っておく。何が起きたかは教えてくれる。しかし、新しい設計を出荷する前に何が起きるかは教えてくれない。そして、そこで学んだことが、AIエージェントに入ることもない。

ハッカソンで私たちがはまった穴が、まさにそれだ。

一方の集団はAIにスマホの使い方を教える。もう一方は、人間がスマホを使うのを見ている。両者をつなげている人は、ほとんどいない。

5

チャンスはどこにあるか

試してみたい考えが五つある。

1. 人間のようにタップする、偽のユーザー。 実際のタッチの動きでエージェントを訓練する。公開前に、新しいバージョンのアプリで動かしてみる。人間がつまずいたり、レイジタップしたりする画面を、人間より先に示してくれる。
2. エージェント向けのUXCam。 エージェントが人のためにアプリを使い始めている。アプリの作り手は、どのセッションがエージェントなのか、どこで行き詰まるのか、なぜ離脱するのかを知りたくなる。これを持っている人を、私はまだ見つけていない。
3. エージェント対応度のスコア。 あなたのアプリは、エージェントにとってどれくらい使いやすいか。明確なラベル、安定したレイアウト、行き止まりがないこと。エージェントがあなたのアプリで注文を完了できなければ、別のアプリで完了させてしまう。
4. ライセンスされたタッチデータ。 同意があり、プライバシーが守られた、人が実際にアプリの中をどう動くかのデータ。エージェントを作る人たちはこれを必要としている。それだけで一つの製品になる。
5. おまけのアクセシビリティ。 エージェントを助ける、わかりやすいラベルは、弱視の人や手の動きに制限のある人も助ける。同じ作業で、二つの成果が得られる。

Exhibit D Two crowds, one screen

五つとも、同じ筋が通っている。人がスマホを実際にどう使っているかについて最も良いデータを持つ者が、アプリもエージェントも良くする。

6

何がうまくいかないか

いろいろある。

プラットフォームは自分で作れる。 GoogleとAppleはOSを持っている。無料で追加されたものは、スタートアップを丸ごと消すことがある。より安全な賭けは、アプリの作り手に売ることだ。プラットフォームがよく他社に任せてしまう顧客が、まさにその相手だ。

iPhoneはほぼ閉じている。 AGIのアプリは今のところAndroidだけだ。iOSに届くオープンなツールは、開発者の環境設定を必要とする。ビジネスにiPhoneが必要なら、そのビジネスはAppleに依存している。

プライバシー。 セッションリプレイは、人の画面を録画することを意味する。個人データはマスクする必要があり、本物の同意も必要だ。9ページ目にあるチェックボックス一つでは足りない。

信頼。 2026年5月、GallupとBentley Universityは、企業がAIを責任を持って使うと信頼しているかをアメリカ人に尋ねた。「はい」と答えたのは27%だった。では、そのエージェントにあなたのスマホを預けてみてほしい。

そして、私がまだ答えられない問いがある。誰が最初に払うのか。より良いアプリを求めるアプリの作り手か、より良いエージェントを求めるAIのラボか。

私は、アプリの作り手だと思う。アプリを作っている人は、私が間違っていたら教えてほしい。