La próxima pantalla que aprende la IA está en tu bolsillo

1

Empezó en un hackatón

Esto salió de un hackatón de creación de apps en París.

El objetivo era crear una app. Tomamos una app de rutina de la mañana e intentamos que hiciera la rutina por ti: abrir tus otras apps y hacer los pasos en ellas.

En un iPhone, eso es difícil. Cada app vive en su propio «sandbox», una caja cerrada que no puede ver las otras apps. Para abrir otra app, tienes que listar su enlace, su «URL scheme», antes de publicar. Necesitas uno por cada app a la que quieras llegar algún día. Eso lleva mucho tiempo. Y la lista no puede crecer con el usuario.

Así que lo rodeamos. Screen Time nos dice qué apps usa de verdad una persona. Construimos un pequeño navegador dentro de nuestra app, y esas apps se abren ahí en su versión web. Dentro de ese navegador, nuestra app puede tomar un script, un prompt o indicaciones sencillas, y hacer la tarea por ti.

Cuando llegamos, la gente nos dijo que no se podía hacer. Al final, les sorprendió que hubiéramos encontrado la forma.

MWM, un estudio de apps de París, organizó el evento en sus oficinas. Nos cuidaron muy bien, y fueron el patrocinador más destacado. Su equipo técnico adoró lo que construimos y quedó impresionado por lo rápido que avanzamos. Gracias a ellos. Lo pasamos genial.

También me mostró un problema más grande. Hay muy pocos datos sobre cómo usan de verdad las personas sus teléfonos.

Piénsalo. El teléfono es la pantalla que más tocamos. Y cuando quieres saber cómo se mueve la gente por él de verdad, casi no hay nada que aprovechar.

Así que me puse a buscar. ¿Quién enseña a la IA a usar un teléfono? ¿Y quién sabe de verdad cómo lo usan las personas?

Resulta que son dos grupos distintos. Casi no hablan entre ellos.

2

El teléfono es la pantalla más difícil

La «computer use» de la IA empezó en el escritorio. Esa era la versión fácil. El uso del teléfono es lo siguiente.

En una página web, un agente puede leer el código y encontrar el botón. En un teléfono, las apps son cajas cerradas. A menudo, el agente recibe una captura de pantalla y un «árbol de accesibilidad» parcial, que es la lista oculta de elementos de la pantalla que usan los lectores de pantalla. Eso es todo.

Después, el teléfono añade lo suyo. No haces clic, deslizas, mantienes pulsado, pellizcas y arrastras para actualizar, y cada gesto significa algo distinto. Los botones miden unos pocos milímetros y cambian de sitio con cada tamaño de pantalla. Los inicios de sesión, los pagos y los códigos de seguridad detienen a un agente en mitad de una tarea.

Morning routine

• Drink waterskipped
• Stretchskipped
• Make the bedskipped
• Go outsideskipped

Start my day

Tap to wake

The glass is asleep, so you can scroll past it.

Y hay dos mundos. Android permite que una app controle la pantalla si le das permiso. El iPhone está mucho más cerrado.

El teléfono sigue siendo el premio mayor. Es donde vive la gente.

3

Quién enseña a la IA a usar teléfonos

Muchísima gente. Dueños de teléfonos, startups con financiación y laboratorios de investigación abiertos, muchos de ellos en China.

Mira la última fila, junto a la fila de AGI.

En la prueba antigua, una startup dice que obtiene un 97,4 %. En una nueva y más difícil, el mejor modelo que probaron sus autores falla unas 4 tareas de cada 10.

A fake phone with 28 fake apps.

Así que el dinero está. El talento está. Los agentes siguen perdidos.

4

Quién observa cómo los humanos tocan la pantalla

Es otro grupo. Venden a equipos de apps, no a laboratorios de IA.

Each small screen is a chapter of this article. The glow is where you stayed. The rings are your taps. It lives in this tab's memory: nothing is stored, nothing is sent.

Replay my sessionWipe it

Your session

this page, this tab

Reading

0:00

Stops

0

Longest pause

0 s

Went back up

0

Taps

0

Rage taps

0

Keep reading. The heat builds where you stay.

Estos datos valen dinero. El propio sitio de UXCam dice que el banco de Carrefour redujo los rage taps un 50 % después de que un mapa de calor mostrara la causa. Eso lo dice el proveedor, así que tómalo como un argumento de venta. Pero los equipos de apps sí pagan por esto.

Aquí es donde estas herramientas se quedan cortas. Te dicen lo que pasó. No te dicen lo que hará un nuevo diseño antes de que lo publiques. Y nada de lo que aprenden llega a un agente de IA.

Ese es el vacío en el que caímos en el hackatón.

Un grupo enseña a la IA a usar teléfonos. El otro observa cómo las personas los usan. Casi nadie une los dos.

5

Dónde está la oportunidad

Cinco ideas que probaría.

1. Usuarios falsos que tocan como los reales. Entrena agentes con patrones de toque reales. Hazlos pasar por una nueva versión de tu app antes del lanzamiento. Te mostrarán la pantalla donde una persona se quedaría parada o haría rage taps, antes de que lo haga una persona.
2. UXCam, pero para agentes. Los agentes empiezan a usar apps por las personas. Los creadores de apps querrán saber qué sesiones son de agentes, dónde se atascan y por qué abandonan. No he encontrado a nadie que tenga esto.
3. Una puntuación de preparación para agentes. ¿Qué tan fácil es tu app para que un agente la use? Etiquetas claras, diseños estables, sin callejones sin salida. Si un agente no puede terminar el pedido en tu app, lo termina en la de otro.
4. Datos táctiles con licencia. Datos consentidos y respetuosos con la privacidad sobre cómo las personas se mueven de verdad por las apps. Los creadores de agentes los necesitan. Eso es un producto por sí mismo.
5. Accesibilidad gratis. Las etiquetas limpias que ayudan a un agente también ayudan a una persona con baja visión o con movilidad limitada en las manos. Mismo trabajo, dos beneficios.

Exhibit D Two crowds, one screen

El hilo es el mismo en las cinco. Quien tenga los mejores datos sobre cómo las personas usan los teléfonos mejora tanto las apps como los agentes.

6

Qué podría salir mal

Muchas cosas.

Las plataformas pueden hacerlo ellas mismas. Google y Apple son dueñas del sistema operativo. Cualquier cosa que añadan gratis puede acabar con una startup. La apuesta más segura es servir a los creadores de apps. Ese es el cliente que las plataformas suelen dejar en manos de otros.

El iPhone está casi cerrado. La app de AGI solo es para Android, por ahora. Las herramientas abiertas que llegan a iOS necesitan una configuración de desarrollador. Si tu negocio necesita el iPhone, tu negocio depende de Apple.

Privacidad. El session replay graba las pantallas de las personas. Tienes que enmascarar los datos personales y necesitas consentimiento real. No basta con una casilla en la página nueve.

Confianza. Gallup y la Universidad Bentley preguntaron a los estadounidenses en mayo de 2026 si confían en que las empresas usen la IA de forma responsable. El 27 % dijo que sí. Ahora pregúntales si le entregarían su teléfono a un agente.

Y una pregunta a la que todavía no puedo responder. ¿Quién paga primero? ¿El creador de apps que quiere una app mejor, o el laboratorio de IA que quiere un mejor agente?

Creo que es el creador de apps. Si construyes apps, dime si me equivoco.