---
title: "Следующий экран, которому научится ИИ, у вас в кармане"
description: "На хакатоне по созданию приложений в Париже мы нашли способ обойти ограничения iPhone, чтобы приложение могло выполнять задачи в ваших других приложениях. Это также показало дыру. Все учат ИИ пользоваться телефонами. Почти ни у кого нет хороших данных о том, как люди ими пользуются."
canonical: https://www.askgib.com/ru/articles/the-next-screen-ai-learns-is-in-your-pocket
last-updated: 2026-10-19
lang: ru
---
# Следующий экран, которому научится ИИ, у вас в кармане
> На хакатоне по созданию приложений в Париже мы нашли способ обойти ограничения iPhone, чтобы приложение могло выполнять задачи в ваших других приложениях. Это также показало дыру. Все учат ИИ пользоваться телефонами. Почти ни у кого нет хороших данных о том, как люди ими пользуются.
By Gibril Bachouchi. Filed 2026-10-19. 5 min read. Web page: https://www.askgib.com/ru/articles/the-next-screen-ai-learns-is-in-your-pocket
Languages: [en](https://www.askgib.com/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [fr](https://www.askgib.com/fr/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [ar](https://www.askgib.com/ar/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [es](https://www.askgib.com/es/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [ru](https://www.askgib.com/ru/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [pt](https://www.askgib.com/pt/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [it](https://www.askgib.com/it/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [de](https://www.askgib.com/de/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [ja](https://www.askgib.com/ja/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [ko](https://www.askgib.com/ko/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [hi](https://www.askgib.com/hi/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [he](https://www.askgib.com/he/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [zh](https://www.askgib.com/zh/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [tr](https://www.askgib.com/tr/articles/the-next-screen-ai-learns-is-in-your-pocket.md)
Эта идея родилась на хакатоне по созданию приложений в Париже.
Задача была — сделать приложение. Мы взяли приложение для утренней рутины и попробовали сделать так, чтобы оно выполняло рутину за вас: открывало другие ваши приложения и делало в них шаги.
На iPhone это трудно. Каждое приложение живёт в своей песочнице — в закрытой коробке, которая не видит другие приложения. Чтобы открыть другое приложение, нужно до публикации указать его ссылку, «URL scheme» (адрес, по которому вызывают приложение). Она нужна для каждого приложения, до которого вы можете захотеть добраться. Это занимает много времени. И этот список не может расти вместе с пользователем.
Поэтому мы обошли это. Screen Time показывает, какими приложениями человек действительно пользуется. Мы встроили в наше приложение небольшой браузер, и эти приложения открываются в нём в веб-версии. Внутри этого браузера наше приложение может взять скрипт, промпт или простые указания и выполнить задачу за вас.
Когда мы приехали, нам говорили, что это невозможно. К концу люди удивлялись, что мы нашли способ.
MWM, парижская студия приложений, принимала мероприятие в своих офисах. Они очень хорошо о нас позаботились и были лучшим спонсором. Их технической команде понравилось то, что мы сделали, и она была впечатлена тем, как быстро мы двигались. Спасибо им. Мы отлично провели время.
Это также показало мне проблему побольше. Данных о том, как люди на самом деле пользуются телефонами, очень мало.
Подумайте об этом. Телефон — это экран, которого вы касаетесь чаще всего. А когда хочется понять, как люди на самом деле по нему перемещаются, взять почти нечего.
Поэтому я начал искать. Кто учит ИИ пользоваться телефоном? И кто на самом деле знает, как люди им пользуются?
Оказалось, это две разные группы. Почти не общаются.
Управление компьютером с помощью ИИ началось с настольных компьютеров. Это была простая версия. Дальше — телефон.
На веб-странице агент может прочитать код и найти кнопку. В телефоне приложения — закрытые коробки. Часто агент получает скриншот и частичное «дерево доступности», то есть скрытый список элементов экрана, которым пользуются программы для чтения с экрана. И всё.
Потом телефон добавляет свои сложности. Вы не нажимаете, вы проводите пальцем, зажимаете, сводите и разводите пальцы и тянете вниз, чтобы обновить страницу. Каждое действие означает что-то своё. Кнопки шириной в несколько миллиметров и двигаются при каждом размере экрана. Вход в аккаунт, платежи и коды безопасности останавливают агента на полпути.
И есть два мира. Android позволяет приложению управлять экраном, если вы дали разрешение. iPhone гораздо более закрыт.
Телефон всё равно самый большой приз. Там живут люди.
Очень многие. Владельцы телефонов, стартапы с финансированием и исследовательские лаборатории, многие из них в Китае.
| Кто | Что они строят | Где это сейчас |
| --- | --- | --- |
| [Google](https://www.nbcpalmsprings.com/2026/08/12/google-says-ai-agents-could-transform-how-we-use-smartphones) | Android, где вы говорите, чего хотите, а агент выполняет шаги | Это цель, которую в августе 2026 года президент экосистемы Android назвал для CNN. Ожидается, что функция Halo покажет ход работы агента. У Pixel 11 Pro есть задняя подсветка, которая включается, когда Gemini выполняет команду. |
| Apple | Новая Siri, которая работает между приложениями и использует ваши личные данные | Вышла в бета-версии с iOS 27 в сентябре 2026 |
| [AGI, Inc.](https://techcrunch.com/snippet/3080183/agi-inc-s-android-app-can-use-your-phone-for-you/) | Android-приложение, которое использует ваши другие приложения вместо вас: вызвать такси, добавить что-то в заказ еды, отправить сообщение | Показано на CES в январе 2026 как закрытая бета. TechCrunch сообщает о $10 млн, привлечённых от Menlo Ventures, Anthropic и других, и о предполагаемой оценке $500 млн. Компания заявляет, что её агент набрал [97,4% на тесте AndroidWorld](https://theagi.company/blog/android-world) в октябре 2025 года, только по скриншотам. |
| [ByteDance (UI-TARS)](https://github.com/bytedance/UI-TARS) | Модели, которые видят экран и нажимают, проводят пальцем и печатают | UI-TARS-1.5 открыта. UI-TARS-2 вышла в сентябре 2025. |
| [Zhipu AI (Open-AutoGLM)](https://github.com/zai-org/Open-AutoGLM) | Открытый агент для телефона и модель для телефона на 9B | Около 26 000 звёзд на GitHub. Возвращает телефон вам на экранах входа и капчи. |
| [Ant Group (UI-Venus)](https://github.com/inclusionAI/UI-Venus) | Открытые агенты, которые работают по скриншотам, и мобильный бенчмарк | UI-Venus 1.5 в феврале 2026, UI-Venus 2 в августе 2026 |
| [Droidrun, now Mobilerun](https://github.com/droidrun/mobilerun) | Открытый фреймворк, который позволяет любой модели ИИ управлять телефоном | Android и iOS, есть облачная версия. Около 9 600 звёзд на GitHub. |
| [MobileGym](https://github.com/Purewhiter/mobilegym) | Фейковый телефон с 28 фейковыми приложениями, для обучения и тестирования агентов | Выпущен в мае 2026. Лучшая модель, которую протестировали авторы, Gemini 3.1 Pro, выполнила 58,8% задач. Лучшая открытая модель для телефона выполнила 20%. |
Посмотрите на последнюю строку рядом со строкой AGI.
В старом тесте стартап заявляет 97,4%. В новом и более сложном тесте лучшая модель из протестированных авторами проваливает примерно 4 задачи из 10.
Так что деньги есть. Таланты есть. Агенты всё равно теряются.
Другая группа. Они продают командам приложений, а не AI-лабораториям.
| Компания | Что она записывает | Кто её использует |
| --- | --- | --- |
| [UXCam](https://uxcam.com/mobile-heatmaps/) | Запись сессий, тепловые карты касаний, «rage taps» (яростные тапы: одно и то же место, которое раздражённый человек тапает снова и снова) и уходы | Сделан для мобильных. Заявляет, что работает в 37 000+ приложений. |
| [Contentsquare](https://contentsquare.com/) | Запись сессий, тепловые карты и «зонирование»: какие части экрана оправдывают своё место | Начинала с веба, есть SDK для мобильных |
| [Fullstory](https://www.fullstory.com/) | Запись сессий, сигналы раздражения, пути пользователей | Начинала с веба, есть SDK для мобильных |
Эти данные стоят денег. На сайте UXCam написано, что банк Carrefour снизил количество rage taps на 50% после того, как тепловая карта показала причину. Это слова продавца, так что воспринимайте это как рекламу. Но команды приложений за такие данные платят.
Вот где эти инструменты останавливаются. Они говорят, что произошло. Они не говорят, что сделает новый дизайн до того, как вы его выпустите. И ничего из того, что они узнают, не попадает к ИИ-агенту.
Вот в эту дыру мы и провалились на хакатоне.
Одна группа учит ИИ пользоваться телефонами. Другая смотрит, как люди ими пользуются. Почти никто не соединяет эти две группы.
Пять идей, которые я бы проверил.
1. **Фейковые пользователи, которые тапают как настоящие.** Обучайте агентов на реальных паттернах касаний. Прогоняйте их через новую версию приложения до запуска. Они покажут экран, где человек застрянет или начнёт яростно тапать, раньше, чем это сделает человек.
2. **UXCam, но для агентов.** Агенты начинают пользоваться приложениями вместо людей. Создателям приложений нужно знать, какие сессии принадлежат агентам, где они застревают и почему уходят. Я не нашёл никого, кто этим владеет.
3. **Оценка готовности к агентам.** Насколько легко вашим приложением пользоваться агенту? Понятные подписи, стабильная раскладка, никаких тупиков. Если агент не может оформить заказ в вашем приложении, он оформит его в чужом.
4. **Лицензированные данные о касаниях.** Согласованные, безопасные для приватности данные о том, как люди на самом деле перемещаются по приложениям. Создателям агентов они нужны. Это отдельный продукт.
5. **Доступность бесплатно.** Понятные подписи, которые помогают агенту, помогают и человеку со слабым зрением или ограниченной подвижностью рук. Та же работа, два выигрыша.
Во всех пяти идеях одна нить. Тот, у кого лучшие данные о том, как люди реально пользуются телефонами, делает и приложения, и агентов лучше.
Многое.
**Платформы могут сделать это сами.** Google и Apple владеют операционной системой. Всё, что они добавят бесплатно, может уничтожить стартап. Безопаснее работать на создателей приложений. Именно этих клиентов платформы чаще всего оставляют другим.
**iPhone в основном закрыт.** Приложение AGI пока работает только на Android. Открытые инструменты, которые добираются до iOS, требуют настройки для разработчика. Если вашему бизнесу нужен iPhone, ваш бизнес зависит от Apple.
**Приватность.** Запись сессий означает запись экранов людей. Нужно маскировать личные данные и получать настоящее согласие. Не галочку на девятой странице.
**Доверие.** Gallup и Bentley University в мае 2026 года спросили американцев, доверяют ли они бизнесу в ответственном использовании ИИ. 27% ответили «да». Теперь представьте, что они отдают агенту свой телефон.
И один вопрос, на который я пока не могу ответить. Кто платит первым? Создатель приложения, который хочет лучшее приложение, или ИИ-лаборатория, которой нужен лучший агент?
Думаю, создатель приложения. Если вы делаете приложения, скажите, если я ошибаюсь.