Yapay Zekanın Öğreneceği Bir Sonraki Ekran Cebinizde

1

Her şey bir hackathon'da başladı

Bu fikir, Paris'te yapılan bir uygulama geliştirme hackathon'undan çıktı.

Amaç bir uygulama yapmaktı. Sabah rutini uygulaması alıp rutini sizin yerinize yaptırmaya çalıştık: diğer uygulamalarınızı açsın ve adımları onlarda yapsın.

iPhone'da bu zor. Her uygulama kendi sandbox'ında yaşar, diğer uygulamaları göremeyen kapalı bir kutuda. Başka bir uygulamayı açmak için, yayınlamadan önce onun bağlantısını, yani "URL scheme"ini listelemeniz gerekir. Ulaşmak isteyebileceğiniz her uygulama için bir tane gerekir. Bu çok uzun sürer. Ve liste kullanıcıyla birlikte büyüyemez.

Biz de çevresinden dolandık. Screen Time, bir kişinin gerçekte hangi uygulamaları kullandığını söyler. Uygulamamızın içine küçük bir tarayıcı yaptık ve bu uygulamalar orada web sürümleriyle açılır. Bu tarayıcının içinde uygulamamız bir betik, bir istem ya da düz tarifler alıp görevi sizin yerinize yapabilir.

Vardığımızda insanlar bunun yapılamayacağını söyledi. Sonunda bir yol bulmamıza şaşırdılar.

Paris'te bir uygulama stüdyosu olan MWM, etkinliği kendi ofislerinde ağırladı. Bizimle çok iyi ilgilendiler ve öne çıkan sponsor onlardı. Teknik ekipleri yaptığımızı çok sevdi ve ne kadar hızlı ilerlediğimizden etkilendi. Onlara teşekkürler. Çok güzel vakit geçirdik.

Bu bana daha büyük bir sorunu da gösterdi. İnsanların telefonlarını gerçekte nasıl kullandığına dair çok az veri var.

Bir düşünün. Telefon, dokunduğunuz en çok ekran. Ama insanların onun içinde gerçekte nasıl hareket ettiğini bilmek istediğinizde, elinizle tutabileceğiniz neredeyse hiçbir şey yok.

Ben de araştırmaya başladım. Telefon kullanmayı yapay zekaya kim öğretiyor? Ve insanların telefonu nasıl kullandığını gerçekten kim biliyor?

Meğer iki farklı kalabalık varmış. Neredeyse hiç konuşmuyorlar.

2

Telefon daha zor bir ekran

Yapay zekanın "bilgisayar kullanımı" masaüstünde başladı. Bu kolay versiyondu. Sırada telefon kullanımı var.

Bir web sayfasında bir ajan kodu okuyabilir ve düğmeyi bulabilir. Telefonda ise uygulamalar kapalı kutular gibidir. Çoğu zaman ajan bir ekran görüntüsü ve kısmi bir "erişilebilirlik ağacı" alır. Bu, ekran okuyucuların kullandığı, ekrandaki öğelerin gizli listesidir. Hepsi bu.

Sonra telefon kendi eğlencesini ekler. Dokunmazsınız, kaydırırsınız, uzun basarsınız, iki parmakla yakınlaştırırsınız ve yenilemek için aşağı çekersiniz. Her hareketin anlamı farklıdır. Düğmeler birkaç milimetre genişliğindedir ve her ekran boyutunda yer değiştirir. Girişler, ödemeler ve güvenlik kodları ise bir görevin ortasında ajanı durdurur.

Morning routine

• Drink waterskipped
• Stretchskipped
• Make the bedskipped
• Go outsideskipped

Start my day

Tap to wake

The glass is asleep, so you can scroll past it.

Ayrıca iki ayrı dünya var. Android, izin verdiğinizde bir uygulamanın ekranı kontrol etmesine izin verir. iPhone ise çok daha kilitli.

Yine de telefon daha büyük ödül. İnsanların yaşadığı yer orası.

3

Yapay zekaya telefon kullanmayı kim öğretiyor

Çok sayıda kişi. Telefon sahipleri, finanse edilen girişimler ve birçoğu Çin'de olan açık araştırma laboratuvarları.

Son satıra, AGI satırının yanına bakın.

Eski testte bir girişim %97,4 skor aldığını söylüyor. Daha yeni ve daha zor bir testte ise yazarlarının test ettiği en iyi model her 10 görevin yaklaşık 4'ünde başarısız oluyor.

A fake phone with 28 fake apps.

Yani para var. Yetenek var. Ajanlar yine de kayboluyor.

4

İnsanların ekrana dokunuşunu kim izliyor

Farklı bir kalabalık. Yapay zeka laboratuvarlarına değil, uygulama ekiplerine satış yapıyorlar.

Each small screen is a chapter of this article. The glow is where you stayed. The rings are your taps. It lives in this tab's memory: nothing is stored, nothing is sent.

Replay my sessionWipe it

Your session

this page, this tab

Reading

0:00

Stops

0

Longest pause

0 s

Went back up

0

Taps

0

Rage taps

0

Keep reading. The heat builds where you stay.

Bu verinin bir değeri var. UXCam'in kendi sitesi, Carrefour'un banka uygulamasında bir ısı haritası nedeni gösterdikten sonra rage tap sayısını %50 azalttığını yazıyor. Bu satıcının kendi sözü, bu yüzden bunu bir satış cümlesi olarak okuyun. Ama uygulama ekipleri bunun için gerçekten para ödüyor.

Bu araçların durduğu yer burası. Ne olduğunu size söylüyorlar. Yeni bir tasarımın yayına almadan önce ne yapacağını söylemiyorlar. Ve öğrendikleri hiçbir şey bir yapay zeka ajanına gitmiyor.

Hackathon'da düştüğümüz boşluk tam olarak bu.

Bir kalabalık yapay zekaya telefon kullanmayı öğretiyor. Diğeri insanların telefon kullanmasını izliyor. Neredeyse kimse ikisini birbirine bağlamıyor.

5

Fırsatın olduğu yer

Denemek isteyeceğim beş fikir var.

1. Gerçek kullanıcılar gibi dokunan sahte kullanıcılar. Ajanları gerçek dokunma örüntüleri üzerinde eğitin. Uygulamanızın yeni sürümünden onları geçirin. Bir insan takılacak ya da rage tap yapacak ekranı, insan oraya gelmeden size göstersinler.
2. Ajanlar için UXCam. Ajanlar insanlar adına uygulamaları kullanmaya başlıyor. Uygulama yapanlar hangi oturumların ajan olduğunu, nerede takıldıklarını ve neden bıraktıklarını bilmek isteyecek. Bunun sahibi olan birini bulamadım.
3. Ajan hazırlık puanı. Uygulamanız bir ajan için ne kadar kolay kullanılabilir? Net etiketler, sabit düzenler, çıkmaz yol yok. Bir ajan sipariş işini sizin uygulamanızda bitiremezse, işi başka birinin uygulamasında bitirir.
4. Lisanslı dokunma verisi. İnsanların uygulamalarda gerçekte nasıl hareket ettiğine dair rızaya dayalı, gizliliği korunmuş veri. Ajan geliştiricilerin buna ihtiyacı var. Bu başlı başına bir ürün.
5. Bedavaya erişilebilirlik. Ajana yardım eden temiz etiketler, düşük görüşü olan ya da el hareketi kısıtlı birine de yardım eder. Aynı iş, iki kazanç.

Exhibit D Two crowds, one screen

Bu beş fikirde de iz aynı. İnsanların telefonu gerçekte nasıl kullandığına dair en iyi veriye sahip olan, hem uygulamaları hem de ajanları daha iyi yapar.

6

Neler ters gidebilir

Birçok şey.

Platformlar bunu kendileri yapabilir. Google ve Apple işletim sistemine sahip. Bedava eklenen her şey bir girişimi silebilir. Daha güvenli bahis, uygulama yapanlara hizmet etmek. Platformların genelde başkalarına bıraktığı müşteri bu.

iPhone büyük ölçüde kapalı. AGI'nin uygulaması şimdilik yalnızca Android için. iOS'a ulaşan açık araçlar bir geliştirici kurulumu gerektiriyor. İşiniz iPhone'a ihtiyaç duyuyorsa, işiniz Apple'a bağlıdır.

Gizlilik. Oturum tekrarı, insanların ekranlarını kaydetmek demektir. Kişisel verileri maskelemeniz ve gerçek rıza almanız gerekir. Dokuzuncu sayfadaki bir onay kutusu yetmez.

Güven. Gallup ve Bentley University, Mayıs 2026'da Amerikalılara işletmelerin yapay zekayı sorumlu biçimde kullanacağına güvenip güvenmediklerini sordu. Yüzde 27'si evet dedi. Şimdi onlardan telefonlarını bir ajana teslim etmelerini isteyin.

Ve henüz yanıtlayamadığım bir soru var. Ödemeyi ilk kim yapacak? Daha iyi bir uygulama isteyen uygulama yapımcısı mı, yoksa daha iyi bir ajan isteyen yapay zeka laboratuvarı mı?

Bence uygulama yapımcısı. Uygulama yapıyorsanız, yanıldığımı düşünüyorsanız bana söyleyin.