Il prossimo schermo che l'AI impara è in tasca tua

1

Tutto è iniziato a un hackathon

Questa storia nasce da un hackathon per creare app, a Parigi.

L'obiettivo era costruire un'app. Abbiamo preso un'app per la routine del mattino e abbiamo provato a farle fare la routine al posto tuo: aprire le tue altre app e fare i passaggi al loro interno.

Su un iPhone è difficile. Ogni app vive nella sua sandbox, una scatola chiusa che non può vedere le altre app. Per aprire un'altra app, devi elencare il suo link, il suo «URL scheme», prima di pubblicare. Ne serve uno per ogni app che potresti voler raggiungere. Ci vuole molto tempo. E l'elenco non può crescere insieme all'utente.

Così l'abbiamo aggirato. Screen Time ci dice quali app una persona usa davvero. Abbiamo costruito un piccolo browser dentro la nostra app, e quelle app si aprono lì nella loro versione web. Dentro quel browser, la nostra app può prendere uno script, un prompt o semplici istruzioni, e svolgere il compito al posto tuo.

Quando siamo arrivati, ci hanno detto che non si poteva fare. Alla fine, erano sorpresi che avessimo trovato una strada.

MWM, uno studio di app di Parigi, ha ospitato l'evento nei suoi uffici. Si sono presi cura di noi benissimo, e sono stati lo sponsor più notevole. Il loro team tecnico ha adorato ciò che abbiamo costruito ed è rimasto colpito da quanto siamo stati veloci. Grazie a loro. Ci siamo divertiti molto.

Mi ha anche mostrato un problema più grande. Ci sono pochissimi dati su come le persone usano davvero i loro telefoni.

Pensaci. Il telefono è lo schermo che tocchi più di ogni altro. E quando vuoi sapere come le persone si muovono davvero sul telefono, non c'è quasi niente da prendere.

Così ho iniziato a cercare. Chi sta insegnando all'AI a usare un telefono? E chi sa davvero come gli esseri umani lo usano?

Sono due gruppi diversi, a quanto pare. Parlano poco tra loro.

2

Il telefono è lo schermo più difficile

Il «computer use» dell'AI è nato sul desktop. Era la versione facile. L'uso del telefono viene dopo.

Su una pagina web, un agente può leggere il codice e trovare il pulsante. Sul telefono, le app sono scatole chiuse. Spesso l'agente riceve uno screenshot e un «albero di accessibilità» parziale, cioè l'elenco nascosto degli elementi dello schermo che usano gli screen reader. Tutto qui.

Poi il telefono aggiunge le sue complicazioni. Non si clicca: si scorre, si preme a lungo, si pizzica e si tira per aggiornare. Ognuno di questi gesti significa cose diverse. I pulsanti sono larghi pochi millimetri e cambiano posizione con ogni dimensione dello schermo. Login, pagamenti e codici di sicurezza fermano un agente a metà di un compito.

Morning routine

• Drink waterskipped
• Stretchskipped
• Make the bedskipped
• Go outsideskipped

Start my day

Tap to wake

The glass is asleep, so you can scroll past it.

E ci sono due mondi. Android permette a un'app di controllare lo schermo, una volta che le dai il permesso. L'iPhone è molto più chiuso.

Il telefono resta il premio più grande. È lì che vive la gente.

3

Chi insegna all'AI a usare i telefoni

Molte persone. Proprietari di telefoni, startup finanziate e laboratori di ricerca aperti, molti dei quali in Cina.

Guarda l'ultima riga, accanto a quella di AGI.

Nel test più vecchio, una startup dice di ottenere il 97,4%. In uno più recente e più difficile, il miglior modello testato dagli autori sbaglia circa 4 compiti su 10.

A fake phone with 28 fake apps.

Quindi i soldi ci sono. Ci sono anche i talenti. Gli agenti, però, si perdono ancora.

4

Chi guarda come gli umani toccano lo schermo

Un altro gruppo. Vendono ai team delle app, non ai laboratori di AI.

Each small screen is a chapter of this article. The glow is where you stayed. The rings are your taps. It lives in this tab's memory: nothing is stored, nothing is sent.

Replay my sessionWipe it

Your session

this page, this tab

Reading

0:00

Stops

0

Longest pause

0 s

Went back up

0

Taps

0

Rage taps

0

Keep reading. The heat builds where you stay.

Questi dati valgono denaro. Il sito di UXCam dice che la banca di Carrefour ha ridotto i rage tap del 50% dopo che una heatmap ha mostrato la causa. Sono parole del fornitore, quindi trattale come un argomento di vendita. Ma i team delle app pagano davvero per questo.

Ecco dove si fermano questi strumenti. Ti dicono cosa è successo. Non ti dicono cosa farà un nuovo design prima che tu lo pubblichi. E niente di quello che imparano finisce in un agente AI.

È il buco in cui siamo caduti all'hackathon.

Un gruppo insegna all'AI a usare i telefoni. L'altro guarda gli esseri umani che usano i telefoni. Quasi nessuno collega i due.

5

Dove c'è lo spazio

Cinque idee che testerei.

1. Utenti finti che toccano come quelli veri. Addestra gli agenti sui veri schemi di tocco. Falli passare su una nuova versione della tua app prima del lancio. Ti mostrano la schermata dove un essere umano si bloccherebbe o farebbe rage tap, prima che succeda a una persona vera.
2. UXCam, ma per gli agenti. Gli agenti stanno iniziando a usare le app al posto delle persone. Chi fa app vorrà sapere quali sessioni sono di agenti, dove si bloccano e perché abbandonano. Non ho trovato nessuno che se ne occupi.
3. Un punteggio di leggibilità per gli agenti. Quanto è facile la tua app per un agente? Etichette chiare, layout stabili, nessun vicolo cieco. Se un agente non riesce a completare un ordine nella tua app, lo completa in quella di qualcun altro.
4. Dati sul tocco con licenza. Dati consensuali, rispettosi della privacy, su come gli esseri umani si muovono davvero nelle app. I costruttori di agenti ne hanno bisogno. È già un prodotto a sé.
5. Accessibilità gratis. Le etichette pulite che aiutano un agente aiutano anche chi ha una vista ridotta o movimenti limitati della mano. Stesso lavoro, due vantaggi.

Exhibit D Two crowds, one screen

Il filo conduttore è lo stesso in tutte e cinque. Chi ha i dati migliori su come le persone usano davvero i telefoni rende migliori sia le app sia gli agenti.

6

Cosa potrebbe andare storto

Molte cose.

Le piattaforme possono costruirlo da sole. Google e Apple possiedono il sistema operativo. Qualsiasi cosa aggiungano gratis può far fuori una startup. La scommessa più sicura è servire chi fa app. È il cliente che le piattaforme di solito lasciano ad altri.

L'iPhone è in gran parte chiuso. L'app di AGI è solo per Android, per ora. Gli strumenti aperti che arrivano a iOS richiedono una configurazione da sviluppatore. Se il tuo business ha bisogno dell'iPhone, il tuo business dipende da Apple.

Privacy. Il session replay registra lo schermo delle persone. Devi mascherare i dati personali e devi avere un consenso vero. Non una casella da spuntare a pagina nove.

Fiducia. Gallup e la Bentley University hanno chiesto agli americani nel maggio 2026 se si fidano delle aziende che usano l'AI in modo responsabile. Il 27% ha risposto di sì. Ora chiedi loro di consegnare il telefono a un agente.

C'è anche una domanda a cui non so ancora rispondere. Chi paga per primo? Chi fa app e vuole un'app migliore, oppure il laboratorio di AI che vuole un agente migliore?

Penso che sia chi fa app. Se costruisci app, dimmi se sbaglio.