Der nächste Bildschirm, den KI lernt, ist in deiner Tasche

1

Es hat mit einem Hackathon angefangen

Das hier entstand bei einem App-Hackathon in Paris.

Das Ziel war, eine App zu bauen. Wir haben eine App für eine Morgenroutine genommen und versucht, sie die Routine für dich erledigen zu lassen: deine anderen Apps öffnen und die Schritte darin ausführen.

Auf einem iPhone ist das schwer. Jede App lebt in ihrer eigenen Sandbox, einem geschlossenen Kasten, der die anderen Apps nicht sehen kann. Um eine andere App zu öffnen, musst du ihren Link, ihr „URL Scheme“, vor der Veröffentlichung auflisten. Du brauchst eines für jede App, die du irgendwann erreichen willst. Das dauert lange. Und die Liste kann nicht mit dem Nutzer mitwachsen.

Also sind wir drumherum gegangen. Screen Time sagt uns, welche Apps ein Mensch wirklich benutzt. Wir haben in unserer App einen kleinen Browser gebaut, und diese Apps öffnen sich dort in ihrer Web-Version. In diesem Browser kann unsere App ein Skript, einen Prompt oder einfache Anweisungen nehmen und die Aufgabe für dich erledigen.

Als wir ankamen, sagten uns die Leute, das gehe nicht. Am Ende waren sie überrascht, dass wir einen Weg gefunden hatten.

MWM, ein App-Studio aus Paris, hat die Veranstaltung in seinen Büros ausgerichtet. Sie haben sich sehr gut um uns gekümmert, und sie waren der herausragende Sponsor. Ihr technisches Team hat geliebt, was wir gebaut haben, und war beeindruckt, wie schnell wir waren. Danke an sie. Wir hatten eine tolle Zeit.

Es hat mir auch ein größeres Problem gezeigt. Es gibt nur sehr wenige Daten darüber, wie Menschen ihre Handys wirklich benutzen.

Denk darüber nach. Das Handy ist der Bildschirm, den du öfter berührst als jeden anderen. Und wenn du wissen willst, wie Menschen sich wirklich durch ihn bewegen, gibt es fast nichts, worauf du zurückgreifen kannst.

Also habe ich gesucht. Wer bringt KI bei, ein Handy zu benutzen? Und wer weiß eigentlich, wie Menschen eines benutzen?

Es sind zwei verschiedene Gruppen, wie sich herausstellt. Sie reden kaum miteinander.

2

Das Telefon ist der schwierigere Bildschirm

KI-„Computer Use“ hat auf dem Desktop angefangen. Das war die einfache Variante. Die Handy-Nutzung ist als Nächstes dran.

Auf einer Webseite kann ein Agent den Code lesen und den Button finden. Auf einem Handy sind Apps geschlossene Kästen. Oft bekommt der Agent nur einen Screenshot und einen unvollständigen Accessibility-Baum. Das ist die versteckte Liste der Bildschirmelemente, die Screenreader benutzen. Mehr nicht.

Dann kommt beim Handy noch mehr dazu. Du klickst nicht, du wischst, drückst lange, zoomst mit zwei Fingern und ziehst zum Aktualisieren. Jede dieser Gesten bedeutet etwas anderes. Die Buttons sind nur wenige Millimeter breit und verschieben sich mit jeder Bildschirmgröße. Logins, Zahlungen und Sicherheitscodes bringen einen Agenten mitten in der Aufgabe zum Stehen.

Morning routine

• Drink waterskipped
• Stretchskipped
• Make the bedskipped
• Go outsideskipped

Start my day

Tap to wake

The glass is asleep, so you can scroll past it.

Außerdem gibt es zwei Welten. Android lässt eine App den Bildschirm steuern, sobald du die Erlaubnis gibst. Das iPhone ist viel stärker abgeschottet.

Das Handy bleibt der größere Preis. Dort leben die Menschen.

3

Wer bringt KI bei, Handys zu benutzen

Viele Leute. Handybesitzer, finanzierte Startups und offene Forschungslabore, viele davon in China.

Schau dir die letzte Zeile neben der AGI-Zeile an.

Im älteren Test behauptet ein Startup 97,4 %. Im neueren, schwereren Test scheitert das beste Modell, das die Autoren getestet haben, an etwa 4 von 10 Aufgaben.

A fake phone with 28 fake apps.

Das Geld ist also da. Das Talent ist da. Die Agenten verirren sich trotzdem.

4

Wer beobachtet, wie Menschen den Bildschirm berühren

Eine andere Gruppe. Sie verkaufen an App-Teams, nicht an KI-Labore.

Each small screen is a chapter of this article. The glow is where you stayed. The rings are your taps. It lives in this tab's memory: nothing is stored, nothing is sent.

Replay my sessionWipe it

Your session

this page, this tab

Reading

0:00

Stops

0

Longest pause

0 s

Went back up

0

Taps

0

Rage taps

0

Keep reading. The heat builds where you stay.

Diese Daten sind Geld wert. Die eigene Seite von UXCam sagt, dass die Bank von Carrefour die Rage Taps um 50 % senkte, nachdem eine Heatmap die Ursache zeigte. Das ist die Stimme des Anbieters, also nimm es als Verkaufsargument. Aber App-Teams zahlen tatsächlich dafür.

Hier hören diese Werkzeuge auf. Sie sagen dir, was passiert ist. Sie sagen dir nicht, was ein neues Design bewirkt, bevor du es veröffentlichst. Und nichts von dem, was sie lernen, fließt in einen KI-Agenten.

Genau in dieses Loch sind wir beim Hackathon gefallen.

Die eine Gruppe bringt KI bei, Handys zu benutzen. Die andere beobachtet, wie Menschen Handys benutzen. Fast niemand verbindet die beiden.

5

Wo die Lücke ist

Fünf Ideen, die ich testen würde.

1. Falsche Nutzer, die wie echte tippen. Trainiere Agenten mit echten Berührungsmustern. Lass sie vor dem Start durch eine neue Version deiner App laufen. Sie zeigen dir den Bildschirm, an dem ein Mensch stocken oder Rage Taps machen würde, noch bevor es ein Mensch tut.
2. UXCam, aber für Agenten. Agenten fangen an, Apps für Menschen zu benutzen. App-Hersteller werden wissen wollen, welche Sitzungen von Agenten stammen, wo sie hängen bleiben und warum sie abbrechen. Ich habe niemanden gefunden, dem das gehört.
3. Ein Score für die Agenten-Tauglichkeit. Wie leicht lässt sich deine App von einem Agenten benutzen? Klare Beschriftungen, stabile Layouts, keine Sackgassen. Wenn ein Agent die Bestellung in deiner App nicht abschließen kann, schließt er sie in der App eines anderen ab.
4. Lizenzierte Berührungsdaten. Einverständnisbasierte, datenschutzfreundliche Daten darüber, wie Menschen sich wirklich durch Apps bewegen. Agenten-Entwickler brauchen sie. Das ist ein eigenes Produkt.
5. Barrierefreiheit gratis. Die klaren Beschriftungen, die einem Agenten helfen, helfen auch Menschen mit schwacher Sehkraft oder eingeschränkter Handbeweglichkeit. Gleiche Arbeit, zwei Gewinne.

Exhibit D Two crowds, one screen

Der rote Faden ist bei allen fünf derselbe. Wer die besten Daten darüber hat, wie Menschen Handys wirklich benutzen, macht Apps und Agenten besser.

6

Was schiefgehen könnte

Viel.

Die Plattformen können es selbst bauen. Google und Apple besitzen das Betriebssystem. Alles, was sie kostenlos ergänzen, kann ein Startup verdrängen. Die sicherere Wette ist, App-Hersteller zu bedienen. Das ist der Kunde, den die Plattformen meist anderen überlassen.

Das iPhone ist größtenteils geschlossen. Die App von AGI gibt es bisher nur für Android. Die offenen Werkzeuge, die iOS erreichen, brauchen ein Entwickler-Setup. Wenn dein Geschäft das iPhone braucht, hängt dein Geschäft von Apple ab.

Datenschutz. Session-Replay bedeutet, dass Bildschirme von Menschen aufgezeichnet werden. Du musst persönliche Daten maskieren, und du brauchst echte Einwilligung. Kein Häkchen auf Seite neun.

Vertrauen. Gallup und die Bentley University fragten Amerikaner im Mai 2026, ob sie Unternehmen zutrauen, KI verantwortungsvoll einzusetzen. 27 % sagten ja. Und jetzt stell dir vor, sie geben einem Agenten ihr Handy.

Und eine Frage, die ich noch nicht beantworten kann. Wer zahlt zuerst? Der App-Hersteller, der eine bessere App will, oder das KI-Labor, das einen besseren Agenten will?

Ich denke, es ist der App-Hersteller. Wenn du Apps baust, sag mir, ob ich falschliege.