--- title: "O próximo ecrã que a IA aprende está no teu bolso" description: "Num hackathon de criação de apps, em Paris, encontrámos uma forma de contornar os muros do iPhone para que uma app pudesse fazer tarefas nas tuas outras apps. Também me mostrou uma falha. Toda a gente está a ensinar a IA a usar telemóveis. Quase ninguém tem bons dados sobre como as pessoas os usam." canonical: https://www.askgib.com/pt/articles/the-next-screen-ai-learns-is-in-your-pocket last-updated: 2026-10-19 lang: pt --- # O próximo ecrã que a IA aprende está no teu bolso > Num hackathon de criação de apps, em Paris, encontrámos uma forma de contornar os muros do iPhone para que uma app pudesse fazer tarefas nas tuas outras apps. Também me mostrou uma falha. Toda a gente está a ensinar a IA a usar telemóveis. Quase ninguém tem bons dados sobre como as pessoas os usam. By Gibril Bachouchi. Filed 2026-10-19. 6 min read. Web page: https://www.askgib.com/pt/articles/the-next-screen-ai-learns-is-in-your-pocket Languages: [en](https://www.askgib.com/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [fr](https://www.askgib.com/fr/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [ar](https://www.askgib.com/ar/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [es](https://www.askgib.com/es/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [ru](https://www.askgib.com/ru/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [pt](https://www.askgib.com/pt/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [it](https://www.askgib.com/it/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [de](https://www.askgib.com/de/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [ja](https://www.askgib.com/ja/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [ko](https://www.askgib.com/ko/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [hi](https://www.askgib.com/hi/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [he](https://www.askgib.com/he/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [zh](https://www.askgib.com/zh/articles/the-next-screen-ai-learns-is-in-your-pocket.md) · [tr](https://www.askgib.com/tr/articles/the-next-screen-ai-learns-is-in-your-pocket.md) Esta ideia surgiu num hackathon de criação de apps, em Paris. O objetivo era criar uma app. Pegámos numa app de rotina da manhã e tentámos fazer com que ela cumprisse a rotina por ti: abrir as tuas outras apps e fazer os passos nelas. Num iPhone, isso é difícil. Cada app vive na sua própria sandbox, uma caixa fechada que não consegue ver as outras apps. Para abrir outra app, tens de listar a ligação dela, o seu "URL scheme", antes de publicar. Precisas de um para cada app que possas querer alcançar. Isso demora muito tempo. E a lista não pode crescer com o utilizador. Então contornámos isso. O Screen Time diz-nos que apps uma pessoa realmente usa. Construímos um pequeno navegador dentro da nossa app, e essas apps abrem-se lá, na versão web. Dentro desse navegador, a nossa app pode receber um script, um prompt ou indicações simples, e fazer a tarefa por ti. Quando chegámos, disseram-nos que era impossível. No fim, ficaram surpreendidos por termos encontrado uma forma. A MWM, um estúdio de apps de Paris, recebeu o evento nos seus escritórios. Trataram-nos muito bem e foram o patrocinador que mais se destacou. A equipa técnica adorou o que construímos e ficou impressionada com a rapidez com que avançámos. Obrigado a eles. Divertimo-nos imenso. Também me mostrou um problema maior. Há muito poucos dados sobre como as pessoas realmente usam os seus telemóveis. Pensa nisso. O telemóvel é o ecrã que tocas mais do que qualquer outro. E quando queres saber como é que as pessoas realmente se movem por ele, quase não há nada que possas aproveitar. Então fui procurar. Quem está a ensinar a IA a usar um telemóvel? E quem é que realmente sabe como as pessoas usam um? Afinal, são dois grupos diferentes. Quase não falam entre si. A "utilização de computador" por IA começou no ambiente de secretária. Essa era a versão fácil. A utilização do telemóvel vem a seguir. Numa página web, um agente pode ler o código e encontrar o botão. Num telemóvel, as apps são caixas fechadas. Muitas vezes, o agente recebe uma captura de ecrã e uma "árvore de acessibilidade" parcial, que é a lista oculta de elementos do ecrã que os leitores de ecrã usam. É isso. Depois, o telemóvel acrescenta a sua própria complicação. Não se faz clique, faz-se deslize, toque prolongado, pinça e puxar para atualizar, e cada um deles significa uma coisa diferente. Os botões têm poucos milímetros de largura e mudam de sítio com cada tamanho de ecrã. Os inícios de sessão, os pagamentos e os códigos de segurança param um agente a meio de uma tarefa. E há dois mundos. O Android deixa uma app controlar o ecrã depois de lhe dares permissão. O iPhone é muito mais fechado. O telemóvel continua a ser o prémio maior. É onde as pessoas vivem. Muita gente. Donos de telemóveis, startups financiadas e laboratórios de investigação abertos, muitos deles na China. | Quem | O que está a construir | Em que ponto está | | --- | --- | --- | | [Google](https://www.nbcpalmsprings.com/2026/08/12/google-says-ai-agents-could-transform-how-we-use-smartphones) | Um Android onde dizes o que queres e um agente faz os passos | Esse é o objetivo que o presidente do ecossistema Android deu à CNN em agosto de 2026. Uma funcionalidade chamada Halo deverá mostrar o progresso do agente. O Pixel 11 Pro tem uma luz na parte de trás que acende quando o Gemini está a trabalhar num comando. | | Apple | Uma nova Siri que funciona em todas as apps e usa as tuas informações pessoais | Lançada em beta com o iOS 27 em setembro de 2026 | | [AGI, Inc.](https://techcrunch.com/snippet/3080183/agi-inc-s-android-app-can-use-your-phone-for-you/) | Uma app Android que usa as tuas outras apps por ti: chamar um carro, juntar algo a uma encomenda de comida, enviar uma mensagem | Apresentada na CES em janeiro de 2026 como beta privado. A TechCrunch refere 10 milhões de dólares angariados junto da Menlo Ventures, da Anthropic e de outros, e uma avaliação de 500 milhões de dólares. A empresa diz que o seu agente obteve [97,4% no teste AndroidWorld](https://theagi.company/blog/android-world) em outubro de 2025, só com capturas de ecrã. | | [ByteDance (UI-TARS)](https://github.com/bytedance/UI-TARS) | Modelos que veem o ecrã e tocam, deslizam e escrevem | O UI-TARS-1.5 é aberto. O UI-TARS-2 saiu em setembro de 2025. | | [Zhipu AI (Open-AutoGLM)](https://github.com/zai-org/Open-AutoGLM) | Um agente de telemóvel de código aberto e um modelo de telemóvel de 9B | Cerca de 26.000 estrelas no GitHub. Devolve o telemóvel ao utilizador nos ecrãs de início de sessão e de captcha. | | [Ant Group (UI-Venus)](https://github.com/inclusionAI/UI-Venus) | Agentes abertos que trabalham a partir de capturas de ecrã, mais um teste de referência para telemóveis | UI-Venus 1.5 em fevereiro de 2026, UI-Venus 2 em agosto de 2026 | | [Droidrun, agora Mobilerun](https://github.com/droidrun/mobilerun) | Framework de código aberto que permite a qualquer modelo de IA controlar um telemóvel | Android e iOS, com uma versão na nuvem. Cerca de 9.600 estrelas no GitHub. | | [MobileGym](https://github.com/Purewhiter/mobilegym) | Um telemóvel falso com 28 apps falsas, para treinar e testar agentes | Lançado em maio de 2026. O melhor modelo que os autores testaram, o Gemini 3.1 Pro, concluiu 58,8% das tarefas. O melhor modelo aberto para telemóveis concluiu 20%. | Olha para a última linha, ao lado da linha da AGI. No teste mais antigo, uma startup diz ter 97,4%. Num mais recente e mais difícil, o melhor modelo testado pelos autores falha cerca de 4 tarefas em cada 10. Portanto, o dinheiro existe. O talento existe. Os agentes continuam a perder-se. Um grupo diferente. Vendem a equipas de apps, não a laboratórios de IA. | Empresa | O que regista | Quem usa | | --- | --- | --- | | [UXCam](https://uxcam.com/mobile-heatmaps/) | Repetição de sessões, mapas de calor de toques, "toques de raiva" (o mesmo sítio, tocado vezes sem conta por alguém irritado) e abandonos | Feito para telemóveis. Diz funcionar em mais de 37.000 apps. | | [Contentsquare](https://contentsquare.com/) | Repetição de sessões, mapas de calor e "zonas" de quais as partes de um ecrã que merecem estar lá | Começou na web e tem um SDK para telemóvel | | [Fullstory](https://www.fullstory.com/) | Repetição de sessões, sinais de frustração, percursos dos utilizadores | Começou na web e tem um SDK para telemóvel | Estes dados valem dinheiro. O site da UXCam diz que o banco da Carrefour reduziu os toques de raiva em 50% depois de um mapa de calor mostrar a causa. Isto é o fornecedor a falar, por isso trata-o como um argumento de venda. Mas as equipas de apps pagam por isto. Aqui é onde estas ferramentas param. Dizem-te o que aconteceu. Não te dizem o que um novo design vai fazer antes de o lançares. E nada do que aprendem vai para um agente de IA. É essa a falha em que caímos no hackathon. Um grupo ensina a IA a usar telemóveis. O outro observa as pessoas a usar telemóveis. Quase ninguém liga os dois. Cinco ideias que eu testaria. 1. **Utilizadores falsos que tocam como os verdadeiros.** Treina agentes com padrões de toque reais. Faz-los passar por uma nova versão da tua app antes do lançamento. Mostram-te o ecrã onde um humano hesitaria ou faria toques de raiva, antes de um humano o fazer. 2. **UXCam, mas para agentes.** Os agentes começam a usar apps por nós. Os criadores de apps vão querer saber quais as sessões feitas por agentes, onde ficam presos e porque é que desistem. Não encontrei ninguém que seja dono disto. 3. **Uma pontuação de compatibilidade com agentes.** Quão fácil é a tua app para um agente usar? Rótulos claros, layouts estáveis, sem becos sem saída. Se um agente não consegue concluir a encomenda na tua app, conclui-a na de outra pessoa. 4. **Dados de toque licenciados.** Dados consentidos e seguros para a privacidade sobre como os humanos realmente se movem pelas apps. Os criadores de agentes precisam deles. Isso é um produto por si só. 5. **Acessibilidade de graça.** Os rótulos claros que ajudam um agente também ajudam alguém com baixa visão ou movimentos limitados das mãos. O mesmo trabalho, duas vitórias. O fio condutor é o mesmo nas cinco. Quem tiver os melhores dados sobre como as pessoas usam realmente os telemóveis melhora tanto as apps como os agentes. Muita coisa. **As plataformas podem construí-lo elas próprias.** A Google e a Apple são donas do sistema operativo. Tudo o que acrescentem de graça pode acabar com uma startup. A aposta mais segura é servir os criadores de apps. É o cliente que as plataformas costumam deixar para outros. **O iPhone é quase todo fechado.** A app da AGI só existe para Android, por agora. As ferramentas abertas que chegam ao iOS exigem uma configuração de programador. Se o teu negócio precisa do iPhone, o teu negócio depende da Apple. **Privacidade.** A repetição de sessões significa gravar os ecrãs das pessoas. Tens de ocultar os dados pessoais e tens de obter consentimento real. Não uma caixa para marcar na página nove. **Confiança.** A Gallup e a Universidade de Bentley perguntaram aos americanos, em maio de 2026, se confiam que as empresas usem a IA de forma responsável. 27% disseram que sim. Agora pergunta-lhes se entregariam o telemóvel a um agente. E há uma pergunta a que ainda não consigo responder. Quem paga primeiro? O criador de apps que quer uma app melhor, ou o laboratório de IA que quer um agente melhor? Acho que é o criador de apps. Se constróis apps, diz-me se estou errado.