---
title: "AIが次に学ぶ画面は、あなたのポケットの中にある"
description: "パリで開かれたアプリ開発ハッカソンで、iPhoneの壁を回り込む方法を見つけ、アプリがあなたの他のアプリの中でタスクをこなせるようにした。そして、ある穴も見えた。誰もがAIにスマホの使い方を教えている。人間がスマホをどう使うかについて、良いデータを持つ人はほとんどいない。"
canonical: https://www.askgib.com/ja/articles/the-next-screen-ai-learns-is-in-your-pocket
last-updated: 2026-10-19
lang: ja
---

# AIが次に学ぶ画面は、あなたのポケットの中にある

> パリで開かれたアプリ開発ハッカソンで、iPhoneの壁を回り込む方法を見つけ、アプリがあなたの他のアプリの中でタスクをこなせるようにした。そして、ある穴も見えた。誰もがAIにスマホの使い方を教えている。人間がスマホをどう使うかについて、良いデータを持つ人はほとんどいない。

By Gibril Bachouchi. Filed 2026-10-19. 1 min read. Web page: https://www.askgib.com/ja/articles/the-next-screen-ai-learns-is-in-your-pocket

Languages: [en](https://www.askgib.com/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [fr](https://www.askgib.com/fr/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [ar](https://www.askgib.com/ar/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [es](https://www.askgib.com/es/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [ru](https://www.askgib.com/ru/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [pt](https://www.askgib.com/pt/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [it](https://www.askgib.com/it/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [de](https://www.askgib.com/de/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [ja](https://www.askgib.com/ja/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [ko](https://www.askgib.com/ko/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [hi](https://www.askgib.com/hi/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [he](https://www.askgib.com/he/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [zh](https://www.askgib.com/zh/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [tr](https://www.askgib.com/tr/articles/the-next-screen-ai-learns-is-in-your-pocket.md)

<Chapter n="1" title="ハッカソンから始まった" />

これは、パリで開かれたアプリ開発ハッカソンから生まれた話だ。

目標はアプリを作ることだった。私たちは朝のルーティンアプリを取り上げ、ルーティンを代わりにこなせるようにしようとした。他のアプリを開き、その中の手順を実行するのだ。

iPhoneでは、それは難しい。どのアプリも自分専用のサンドボックス、つまり他のアプリが見えない閉じた箱の中にある。別のアプリを開くには、公開する前にそのリンク、つまり「URL scheme」(アプリを呼び出すためのアドレス)を一覧に載せなければならない。届きたい可能性のあるアプリすべてに、それが必要だ。時間がとてもかかる。しかも、その一覧はユーザーに合わせて増やせない。

そこで私たちは回り込んだ。Screen Timeを使えば、その人が実際に使っているアプリがわかる。私たちはアプリの中に小さなブラウザを作り、それらのアプリをWeb版として開く。そのブラウザの中で、私たちのアプリはスクリプトやプロンプト、あるいは普通の指示を受け取り、あなたの代わりにタスクをこなす。

着いたとき、できるはずがないと言われた。終わるころには、方法を見つけたことに驚かれていた。

パリのアプリスタジオMWMが、自社のオフィスでイベントを主催してくれた。とても手厚く面倒を見てくれて、際立ったスポンサーだった。技術チームは私たちが作ったものを気に入り、動きの速さにも感心していた。感謝している。とても楽しい時間だった。

このことは、もっと大きな問題も見せてくれた。人が実際にスマホをどう使うかについてのデータは、ほとんどない。

考えてみてほしい。スマホは、人が他のどの画面よりも多く触る画面だ。それなのに、人が実際にどうスマホの中を移動しているかを知ろうとすると、手がかりがほとんどない。

だから調べてみた。誰がAIにスマホの使い方を教えているのか。そして、人間がスマホをどう使っているかを本当に知っているのは誰か。

答えは二つの違う集団だった。両者はほとんど話をしない。

<Chapter n="2" title="スマホは難しい画面だ" />

AIの「コンピュータ操作」は、デスクトップから始まった。そちらは簡単な方だった。次はスマホだ。

Webページなら、エージェントはコードを読んでボタンを見つけられる。スマホでは、アプリは閉じた箱だ。エージェントが得られるのは、多くの場合スクリーンショットと、部分的な「アクセシビリティツリー」だけだ。これは、スクリーンリーダーが使う、画面要素の隠れたリストのことだ。それで全部だ。

さらにスマホには独自の難しさがある。タップだけでなく、スワイプ、長押し、ピンチ、引っ張って更新もする。それぞれの操作は意味が違う。ボタンは数ミリの幅しかなく、画面サイズによって位置も変わる。ログイン、支払い、セキュリティコードは、タスクの途中でエージェントを止めてしまう。

<GlassPad />

そして、世界は二つに分かれている。Androidでは、許可を与えればアプリが画面を操作できる。iPhoneははるかに厳しく制限されている。

それでもスマホは大きな獲物だ。人が生活する場所だからだ。

<Chapter n="3" title="誰がAIにスマホの使い方を教えているのか" />

たくさんの人たちだ。スマホのメーカー、資金を得たスタートアップ、そして多くが中国にある研究所。

<AgentRoster>

| 企業 | 作っているもの | 現状 |
| --- | --- | --- |
| [Google](https://www.nbcpalmsprings.com/2026/08/12/google-says-ai-agents-could-transform-how-we-use-smartphones) | 何をしたいかを話すと、エージェントが手順を実行するAndroid | 2026年8月にCNNに語られた、Androidエコシステム担当社長の目標だ。Halo（ヘイロー）と呼ばれる機能で、エージェントの進捗が表示される見込みだ。Pixel 11 Proには、Geminiが命令を処理している間に点灯する背面ライトがある。 |
| Apple | 複数のアプリをまたいで動き、個人情報を使う新しいSiri | 2026年9月、iOS 27でベータ版として公開された |
| [AGI, Inc.](https://techcrunch.com/snippet/3080183/agi-inc-s-android-app-can-use-your-phone-for-you/) | 他のアプリを代わりに使うAndroidアプリ。配車を呼ぶ、フードの注文に追加する、メッセージを送る | 2026年1月のCESで非公開ベータとして披露された。TechCrunchによると、Menlo Ventures、Anthropicなどから1,000万ドルを調達し、報じられた評価額は5億ドルだ。同社によると、2025年10月に[AndroidWorld テスト](https://theagi.company/blog/android-world)で97.4%のスコアを出した。スクリーンショットだけで操作したという。 |
| [ByteDance（UI-TARS）](https://github.com/bytedance/UI-TARS) | 画面を見て、タップ、スワイプ、入力ができるモデル | UI-TARS-1.5はオープンだ。UI-TARS-2は2025年9月に公開された。 |
| [Zhipu AI（Open-AutoGLM）](https://github.com/zai-org/Open-AutoGLM) | オープンソースのスマホ用エージェントと、9Bのスマホ用モデル | GitHubのスター数は約26,000。ログイン画面やCAPTCHAの画面では、操作を人間に返す。 |
| [Ant Group（UI-Venus）](https://github.com/inclusionAI/UI-Venus) | スクリーンショットから動くオープンなエージェントと、モバイル向けベンチマーク | UI-Venus 1.5は2026年2月、UI-Venus 2は2026年8月に公開された |
| [Droidrun、現在はMobilerun](https://github.com/droidrun/mobilerun) | どのAIモデルでもスマホを操作できる、オープンソースのフレームワーク | AndroidとiOSに対応し、クラウド版もある。GitHubのスター数は約9,600。 |
| [MobileGym](https://github.com/Purewhiter/mobilegym) | エージェントを訓練・テストするための、28個の偽アプリがある偽のスマホ | 2026年5月に公開された。作者が試した中で最も優秀なモデルであるGemini 3.1 Proは、タスクの58.8%を完了した。最も優秀なオープンなスマホ用モデルは20%だった。 |

</AgentRoster>

AGIの行と並べて、いちばん下の行を見てほしい。

古いテストでは、あるスタートアップが97.4%のスコアを主張している。もっと新しく難しいテストでは、作者たちが試した中で最高のモデルでも、10件中およそ4件で失敗する。

<TwoExams />

だからお金はある。才能もある。それでもエージェントは迷ってしまう。

<Chapter n="4" title="誰が人間の画面操作を見ているのか" />

別の集団だ。彼らはAIのラボではなく、アプリのチームに売っている。

<WatcherRoster>

| 企業 | 記録するもの | 利用者 |
| --- | --- | --- |
| [UXCam](https://uxcam.com/mobile-heatmaps/) | セッションリプレイ、タッチのヒートマップ、「レイジタップ」（いら立った人が同じ場所を何度もタップすること）、離脱 | スマホ向けに作られている。37,000以上のアプリで動いていると公表している。 |
| [Contentsquare](https://contentsquare.com/) | セッションリプレイ、ヒートマップ、画面のどの部分が役に立っているかの「ゾーニング」 | Webから始まり、スマホ用SDKがある |
| [Fullstory](https://www.fullstory.com/) | セッションリプレイ、フラストレーションのシグナル、ユーザーの動線 | Webから始まり、スマホ用SDKがある |

</WatcherRoster>

<YourSession />

このデータには価値がある。UXCamの公式サイトによると、Carrefourの銀行は、ヒートマップで原因がわかった後、レイジタップを50%減らした。これはベンダーの言葉なので、販売用の文句として受け取ってほしい。それでも、アプリのチームはこの種のツールにお金を払っている。

ここで、これらのツールの限界を言っておく。何が起きたかは教えてくれる。しかし、新しい設計を出荷する前に何が起きるかは教えてくれない。そして、そこで学んだことが、AIエージェントに入ることもない。

ハッカソンで私たちがはまった穴が、まさにそれだ。

一方の集団はAIにスマホの使い方を教える。もう一方は、人間がスマホを使うのを見ている。両者をつなげている人は、ほとんどいない。

<Chapter n="5" title="チャンスはどこにあるか" />

試してみたい考えが五つある。

1. **人間のようにタップする、偽のユーザー。** 実際のタッチの動きでエージェントを訓練する。公開前に、新しいバージョンのアプリで動かしてみる。人間がつまずいたり、レイジタップしたりする画面を、人間より先に示してくれる。
2. **エージェント向けのUXCam。** エージェントが人のためにアプリを使い始めている。アプリの作り手は、どのセッションがエージェントなのか、どこで行き詰まるのか、なぜ離脱するのかを知りたくなる。これを持っている人を、私はまだ見つけていない。
3. **エージェント対応度のスコア。** あなたのアプリは、エージェントにとってどれくらい使いやすいか。明確なラベル、安定したレイアウト、行き止まりがないこと。エージェントがあなたのアプリで注文を完了できなければ、別のアプリで完了させてしまう。
4. **ライセンスされたタッチデータ。** 同意があり、プライバシーが守られた、人が実際にアプリの中をどう動くかのデータ。エージェントを作る人たちはこれを必要としている。それだけで一つの製品になる。
5. **おまけのアクセシビリティ。** エージェントを助ける、わかりやすいラベルは、弱視の人や手の動きに制限のある人も助ける。同じ作業で、二つの成果が得られる。

<TwoCrowds />

五つとも、同じ筋が通っている。人がスマホを実際にどう使っているかについて最も良いデータを持つ者が、アプリもエージェントも良くする。

<Chapter n="6" title="何がうまくいかないか" />

いろいろある。

**プラットフォームは自分で作れる。** GoogleとAppleはOSを持っている。無料で追加されたものは、スタートアップを丸ごと消すことがある。より安全な賭けは、アプリの作り手に売ることだ。プラットフォームがよく他社に任せてしまう顧客が、まさにその相手だ。

**iPhoneはほぼ閉じている。** AGIのアプリは今のところAndroidだけだ。iOSに届くオープンなツールは、開発者の環境設定を必要とする。ビジネスにiPhoneが必要なら、そのビジネスはAppleに依存している。

**プライバシー。** セッションリプレイは、人の画面を録画することを意味する。個人データはマスクする必要があり、本物の同意も必要だ。9ページ目にあるチェックボックス一つでは足りない。

**信頼。** 2026年5月、GallupとBentley Universityは、企業がAIを責任を持って使うと信頼しているかをアメリカ人に尋ねた。「はい」と答えたのは27%だった。では、そのエージェントにあなたのスマホを預けてみてほしい。

<TrustSlide />

そして、私がまだ答えられない問いがある。誰が最初に払うのか。より良いアプリを求めるアプリの作り手か、より良いエージェントを求めるAIのラボか。

私は、アプリの作り手だと思う。アプリを作っている人は、私が間違っていたら教えてほしい。

<SessionReceipt />