---
title: "Le prochain écran que l'IA apprend est dans ta poche"
description: "Lors d'un hackathon de création d'applis à Paris, on a trouvé comment contourner les murs de l'iPhone pour qu'une appli puisse faire des tâches dans tes autres applis. Ça m'a aussi montré un trou. Tout le monde apprend à l'IA à utiliser les téléphones. Presque personne n'a de bonnes données sur la façon dont les humains s'en servent."
canonical: https://www.askgib.com/fr/articles/the-next-screen-ai-learns-is-in-your-pocket
last-updated: 2026-10-19
lang: fr
---
# Le prochain écran que l'IA apprend est dans ta poche
> Lors d'un hackathon de création d'applis à Paris, on a trouvé comment contourner les murs de l'iPhone pour qu'une appli puisse faire des tâches dans tes autres applis. Ça m'a aussi montré un trou. Tout le monde apprend à l'IA à utiliser les téléphones. Presque personne n'a de bonnes données sur la façon dont les humains s'en servent.
By Gibril Bachouchi. Filed 2026-10-19. 6 min read. Web page: https://www.askgib.com/fr/articles/the-next-screen-ai-learns-is-in-your-pocket
Languages: [en](https://www.askgib.com/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [fr](https://www.askgib.com/fr/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [ar](https://www.askgib.com/ar/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [es](https://www.askgib.com/es/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [ru](https://www.askgib.com/ru/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [pt](https://www.askgib.com/pt/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [it](https://www.askgib.com/it/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [de](https://www.askgib.com/de/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [ja](https://www.askgib.com/ja/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [ko](https://www.askgib.com/ko/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [hi](https://www.askgib.com/hi/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [he](https://www.askgib.com/he/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [zh](https://www.askgib.com/zh/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [tr](https://www.askgib.com/tr/articles/the-next-screen-ai-learns-is-in-your-pocket.md)
Celle-ci vient d'un hackathon de création d'applis, à Paris.
Le but était de construire une appli. On a pris une appli de routine du matin et on a essayé de lui faire faire la routine à ta place : ouvrir tes autres applis et y faire les étapes.
Sur un iPhone, c'est difficile. Chaque appli vit dans son propre bac à sable, une boîte fermée qui ne voit pas les autres applis. Pour ouvrir une autre appli, il faut déclarer son lien, son « URL scheme », avant de publier. Il en faut un pour chaque appli qu'on pourrait vouloir atteindre un jour. Ça prend beaucoup de temps. Et la liste ne peut pas grandir avec l'utilisateur.
Alors on l'a contourné. Screen Time nous dit quelles applis une personne utilise vraiment. On a construit un petit navigateur dans notre appli, et ces applis s'y ouvrent dans leur version web. Dans ce navigateur, notre appli peut prendre un script, un prompt ou de simples indications, et faire la tâche à ta place.
Quand on est arrivés, on nous a dit que c'était impossible. À la fin, ils étaient surpris qu'on ait trouvé un moyen.
MWM, un studio d'applis parisien, a accueilli l'événement dans ses bureaux. Ils ont pris très bien soin de nous, et ils étaient le sponsor qui a le plus marqué. Leur équipe technique a adoré ce qu'on a construit et a été impressionnée par la vitesse à laquelle on a avancé. Merci à eux. On a passé un super moment.
Ça m'a aussi montré un problème plus grand. Il existe très peu de données sur la façon dont les gens se servent vraiment de leurs téléphones.
Réfléchis à ça. Le téléphone est l'écran que tu touches plus que n'importe quel autre. Et quand tu veux savoir comment les gens le parcourent vraiment, il n'y a presque rien à récupérer.
Alors j'ai cherché. Qui apprend à l'IA à utiliser un téléphone ? Et qui sait vraiment comment les humains s'en servent ?
Deux groupes différents, il s'avère. Ils se parlent à peine.
L'« utilisation de l'ordinateur » par l'IA a commencé sur le bureau. C'était la version facile. L'utilisation du téléphone vient ensuite.
Sur une page web, un agent peut lire le code et trouver le bouton. Sur un téléphone, les applis sont des boîtes fermées. Souvent, l'agent reçoit une capture d'écran et un « arbre d'accessibilité » partiel, c'est-à-dire la liste cachée des éléments de l'écran que les lecteurs d'écran utilisent. C'est tout.
Ensuite, le téléphone ajoute ses propres difficultés. Tu ne cliques pas, tu glisses, tu fais un appui long, tu pinces et tu tires pour rafraîchir, et chacun de ces gestes veut dire quelque chose de différent. Les boutons font quelques millimètres de large et bougent selon la taille de chaque écran. Les connexions, les paiements et les codes de sécurité bloquent un agent au milieu d'une tâche.
Et il existe deux mondes. Android permet à une appli de contrôler l'écran une fois que tu lui en donnes l'autorisation. L'iPhone est bien plus verrouillé.
Le téléphone reste le plus gros enjeu. C'est là que les gens vivent.
Beaucoup de monde. Des éditeurs de téléphones, des startups financées et des laboratoires de recherche ouverts, dont beaucoup en Chine.
| Qui | Ce qu'ils construisent | Où ça en est |
| --- | --- | --- |
| [Google](https://www.nbcpalmsprings.com/2026/08/12/google-says-ai-agents-could-transform-how-we-use-smartphones) | Un Android où tu dis ce que tu veux et un agent fait les étapes | C'est l'objectif que le responsable de l'écosystème Android a donné à CNN en août 2026. Une fonction appelée Halo doit montrer l'avancement d'un agent. Le Pixel 11 Pro a un voyant à l'arrière qui s'allume quand Gemini exécute une commande. |
| Apple | Une nouvelle Siri qui fonctionne entre les applis et utilise tes informations personnelles | Sortie en bêta avec iOS 27 en septembre 2026 |
| [AGI, Inc.](https://techcrunch.com/snippet/3080183/agi-inc-s-android-app-can-use-your-phone-for-you/) | Une appli Android qui utilise tes autres applis à ta place : appeler un VTC, ajouter à une commande de repas, envoyer un message | Présentée au CES en janvier 2026 sous forme de bêta privée. TechCrunch rapporte 10 M$ levés auprès de Menlo Ventures, Anthropic et d'autres, et une valorisation annoncée de 500 M$. L'entreprise dit avoir obtenu 97,4 % au [test AndroidWorld](https://theagi.company/blog/android-world) en octobre 2025, à partir de captures d'écran seulement. |
| [ByteDance (UI-TARS)](https://github.com/bytedance/UI-TARS) | Des modèles qui voient l'écran et tapent, glissent et écrivent | UI-TARS-1.5 est ouvert. UI-TARS-2 est sorti en septembre 2025. |
| [Zhipu AI (Open-AutoGLM)](https://github.com/zai-org/Open-AutoGLM) | Un agent de téléphone open source et un modèle pour téléphone de 9 milliards de paramètres | Environ 26 000 étoiles sur GitHub. Il te rend la main sur l'écran à la connexion et aux captchas. |
| [Ant Group (UI-Venus)](https://github.com/inclusionAI/UI-Venus) | Des agents ouverts qui travaillent à partir de captures d'écran, et un benchmark mobile | UI-Venus 1.5 en février 2026, UI-Venus 2 en août 2026 |
| [Droidrun, désormais Mobilerun](https://github.com/droidrun/mobilerun) | Un framework open source qui permet à n'importe quel modèle d'IA de piloter un téléphone | Android et iOS, avec une version cloud. Environ 9 600 étoiles sur GitHub. |
| [MobileGym](https://github.com/Purewhiter/mobilegym) | Un faux téléphone avec 28 fausses applis, pour entraîner et tester des agents | Publié en mai 2026. Le meilleur modèle testé par ses auteurs, Gemini 3.1 Pro, a terminé 58,8 % des tâches. Le meilleur modèle ouvert pour téléphone en a terminé 20 %. |
Regarde la dernière ligne, à côté de la ligne AGI.
Sur l'ancien test, une startup annonce 97,4 %. Sur un test plus récent et plus dur, le meilleur modèle testé par ses auteurs échoue à environ 4 tâches sur 10.
Donc l'argent est là. Les talents sont là. Les agents, eux, se perdent encore.
Un autre groupe. Ils vendent aux équipes d'applis, pas aux laboratoires d'IA.
| Entreprise | Ce qu'elle enregistre | Qui l'utilise |
| --- | --- | --- |
| [UXCam](https://uxcam.com/mobile-heatmaps/) | Rediffusion de session, cartes de chaleur tactiles, « rage taps » (le même endroit tapé encore et encore par quelqu'un d'agacé) et abandons | Conçu pour le mobile. Affirme tourner dans plus de 37 000 applis. |
| [Contentsquare](https://contentsquare.com/) | Rediffusion de session, cartes de chaleur, et « zonage » des parties d'un écran qui méritent leur place | Né sur le web, dispose d'un SDK mobile |
| [Fullstory](https://www.fullstory.com/) | Rediffusion de session, signaux de frustration, parcours utilisateurs | Né sur le web, dispose d'un SDK mobile |
Ces données valent de l'argent. Le site d'UXCam affirme que la banque de Carrefour a réduit les rage taps de 50 % après qu'une carte de chaleur a montré la cause. C'est le discours du fournisseur, donc prends-le comme un argument commercial. Mais les équipes d'applis paient vraiment pour ça.
Voilà où ces outils s'arrêtent. Ils disent ce qui s'est passé. Ils ne disent pas ce que fera un nouveau design avant que tu le mettes en ligne. Et rien de ce qu'ils apprennent ne va dans un agent IA.
C'est le trou dans lequel on est tombés au hackathon.
Un groupe apprend à l'IA à utiliser les téléphones. L'autre observe les humains qui les utilisent. Presque personne ne relie les deux.
Cinq idées que je testerais.
1. **Des faux utilisateurs qui tapent comme des vrais.** Entraîne des agents sur de vrais schémas de toucher. Fais-les passer dans une nouvelle version de ton appli avant le lancement. Ils te montrent l'écran où un humain hésiterait ou tapoterait de rage, avant qu'un humain ne le fasse.
2. **UXCam, mais pour les agents.** Les agents commencent à utiliser des applis à la place des gens. Les éditeurs d'applis voudront savoir quelles sessions viennent d'agents, où ils se bloquent et pourquoi ils abandonnent. Je n'ai trouvé personne qui possède ce créneau.
3. **Un score de « prêt pour les agents ».** À quel point ton appli est-elle facile à utiliser pour un agent ? Des libellés clairs, des mises en page stables, pas d'impasse. Si un agent ne peut pas finir une commande dans ton appli, il la finit dans celle de quelqu'un d'autre.
4. **Des données tactiles sous licence.** Des données consenties, respectueuses de la vie privée, sur la façon dont les humains parcourent vraiment les applis. Les créateurs d'agents en ont besoin. C'est un produit en soi.
5. **L'accessibilité gratuitement.** Les libellés clairs qui aident un agent aident aussi une personne malvoyante ou ayant une mobilité réduite de la main. Même travail, deux gains.
Le fil est le même dans les cinq. Celui qui a les meilleures données sur la façon dont les humains utilisent réellement les téléphones rend les applis et les agents meilleurs.
Beaucoup de choses.
**Les plateformes peuvent le construire elles-mêmes.** Google et Apple possèdent le système d'exploitation. Tout ce qu'ils ajoutent gratuitement peut anéantir une startup. Le pari le plus sûr est de servir les éditeurs d'applis. C'est le client que les plateformes ont tendance à laisser à d'autres.
**L'iPhone est surtout fermé.** L'appli d'AGI est réservée à Android pour l'instant. Les outils ouverts qui atteignent iOS demandent une configuration de développeur. Si ton activité a besoin de l'iPhone, ton activité dépend d'Apple.
**La vie privée.** La rediffusion de session veut dire enregistrer l'écran des gens. Tu dois masquer les données personnelles et obtenir un vrai consentement. Pas une case à cocher en page neuf.
**La confiance.** En mai 2026, Gallup et l'université Bentley ont demandé aux Américains s'ils faisaient confiance aux entreprises pour utiliser l'IA de façon responsable. 27 % ont dit oui. Maintenant, demande-leur de confier leur téléphone à un agent.
Et une question à laquelle je ne peux pas encore répondre. Qui paie en premier ? L'éditeur d'applis qui veut une meilleure appli, ou le laboratoire d'IA qui veut un meilleur agent ?
Je pense que c'est l'éditeur d'applis. Si tu construis des applis, dis-moi si je me trompe.