AI가 배우는 다음 화면은 당신 주머니 속에 있다

1

해커톤에서 시작됐다

이 글은 파리에서 열린 앱 제작 해커톤에서 나왔다.

목표는 앱을 만드는 것이었다. 우리는 아침 루틴 앱을 가져와, 루틴을 대신 해 주게 만들어 보려 했다. 다른 앱을 열고 그 안의 단계를 수행하게 하는 것이다.

iPhone에서는 이게 어렵다. 모든 앱은 자기만의 샌드박스, 즉 다른 앱을 볼 수 없는 닫힌 상자 안에 산다. 다른 앱을 열려면 출시하기 전에 그 앱의 링크, 곧 "URL scheme"(앱을 호출하는 주소)을 목록에 적어 두어야 한다. 닿고 싶을 수 있는 앱마다 하나씩 필요하다. 시간이 오래 걸린다. 게다가 그 목록은 사용자에 맞춰 늘어날 수 없다.

그래서 우리는 돌아갔다. Screen Time은 사람이 실제로 쓰는 앱이 무엇인지 알려 준다. 우리는 앱 안에 작은 브라우저를 만들었고, 그 앱들은 거기서 웹 버전으로 열린다. 그 브라우저 안에서 우리 앱은 스크립트나 프롬프트, 또는 평범한 안내를 받아 대신 작업을 해 준다.

도착했을 때 사람들은 그건 불가능하다고 했다. 끝날 무렵에는 우리가 방법을 찾았다는 사실에 놀랐다.

파리의 앱 스튜디오 MWM이 자사 사무실에서 행사를 열었다. 우리를 아주 잘 챙겨 주었고, 단연 돋보이는 후원사였다. 기술팀은 우리가 만든 것을 마음에 들어 했고, 움직임이 빠르다는 점에 감탄했다. 그들에게 감사한다. 즐거운 시간이었다.

이 일은 더 큰 문제도 보여 주었다. 사람들이 휴대폰을 실제로 어떻게 쓰는지에 대한 데이터는 아주 적다.

생각해 보라. 휴대폰은 우리가 다른 어떤 화면보다 많이 터치하는 화면이다. 그런데 사람들이 실제로 휴대폰을 어떻게 옮겨 다니는지 알고 싶으면, 잡을 만한 것이 거의 없다.

그래서 찾아봤다. 누가 AI에게 휴대폰 쓰는 법을 가르치고 있나? 그리고 누가 사람이 휴대폰을 어떻게 쓰는지 정말 알고 있나?

알고 보니 두 집단이었다. 그리고 둘은 거의 대화를 나누지 않는다.

2

휴대폰은 더 어려운 화면이다

AI "컴퓨터 사용"은 데스크톱에서 시작됐다. 그쪽이 쉬운 버전이었다. 다음은 휴대폰이다.

웹 페이지에서는 에이전트가 코드를 읽고 버튼을 찾을 수 있다. 휴대폰에서 앱은 닫힌 상자다. 에이전트는 보통 스크린샷과, 화면 읽기 프로그램이 쓰는 숨은 화면 요소 목록인 "접근성 트리"의 일부만 받는다. 그게 전부다.

그다음 휴대폰이 자기만의 특징을 더한다. 사람은 클릭만 하지 않는다. 밀고, 길게 누르고, 벌리고, 당겨서 새로고침한다. 동작마다 뜻이 다르다. 버튼은 폭이 몇 밀리미터밖에 안 되고, 화면 크기마다 위치가 바뀐다. 로그인, 결제, 보안 코드는 작업 도중에 에이전트를 멈춰 세운다.

Morning routine

• Drink waterskipped
• Stretchskipped
• Make the bedskipped
• Go outsideskipped

Start my day

Tap to wake

The glass is asleep, so you can scroll past it.

세계도 둘로 나뉜다. Android는 권한을 주면 앱이 화면을 제어하게 한다. iPhone은 훨씬 더 잠겨 있다.

그래도 휴대폰이 더 큰 목표다. 사람들이 사는 곳이기 때문이다.

3

누가 AI에게 휴대폰 쓰는 법을 가르치나

아주 많은 사람들이다. 휴대폰 제조사, 투자를 받은 스타트업, 그리고 많은 경우 중국에 있는 오픈 연구실이다.

AGI 행 옆에 있는 마지막 행을 보라.

예전 테스트에서는 한 스타트업이 97.4%라고 말한다. 더 새롭고 더 어려운 테스트에서는 저자들이 시험한 최고 모델이 10개 중 약 4개 작업에서 실패한다.

A fake phone with 28 fake apps.

그러니 돈은 있다. 인재도 있다. 그런데 에이전트는 여전히 길을 잃는다.

4

누가 사람이 화면을 어떻게 만지는지 지켜보나

전혀 다른 집단이다. 이들은 AI 연구소가 아니라 앱 팀에 판다.

Each small screen is a chapter of this article. The glow is where you stayed. The rings are your taps. It lives in this tab's memory: nothing is stored, nothing is sent.

Replay my sessionWipe it

Your session

this page, this tab

Reading

0:00

Stops

0

Longest pause

0 s

Went back up

0

Taps

0

Rage taps

0

Keep reading. The heat builds where you stay.

이 데이터는 돈이 된다. UXCam 자사 사이트에 따르면, 히트맵이 원인을 보여 준 뒤 Carrefour의 은행은 레이지 탭을 50% 줄였다. 이것은 판매자의 말이니 영업 문구로 받아들이라. 하지만 앱 팀은 실제로 돈을 낸다.

여기서 이 도구들은 한계가 있다. 무슨 일이 있었는지는 알려 준다. 새 디자인을 출시하기 전에 무슨 일이 일어날지는 알려 주지 않는다. 그리고 그들이 배운 것은 AI 에이전트에 들어가지 않는다.

해커톤에서 우리가 빠졌던 구멍이 바로 이것이다.

한 집단은 AI에게 휴대폰 쓰는 법을 가르친다. 다른 집단은 사람이 휴대폰 쓰는 것을 지켜본다. 둘을 잇는 사람은 거의 없다.

5

빈틈이 어디에 있나

내가 시험해 보고 싶은 아이디어 다섯 가지.

1. 사람처럼 탭하는 가짜 사용자. 실제 터치 패턴으로 에이전트를 훈련시켜라. 출시 전에 새 버전의 앱에서 돌려 보라. 사람이 멈추거나 레이지 탭을 할 화면을, 사람보다 먼저 보여 준다.
2. 에이전트용 UXCam. 에이전트가 사람을 대신해 앱을 쓰기 시작하고 있다. 앱 제작자는 어떤 세션이 에이전트인지, 어디서 막히는지, 왜 그만두는지 알고 싶을 것이다. 이것을 소유한 곳은 아직 찾지 못했다.
3. 에이전트 준비도 점수. 에이전트가 당신의 앱을 얼마나 쉽게 쓸 수 있나? 명확한 라벨, 안정된 배치, 막다른 길이 없어야 한다. 에이전트가 당신의 앱에서 주문을 끝내지 못하면, 다른 사람의 앱에서 끝낸다.
4. 허가받은 터치 데이터. 사람이 앱을 실제로 어떻게 옮겨 다니는지에 대한, 동의를 받고 개인 정보를 보호한 데이터. 에이전트를 만드는 쪽이 이것을 필요로 한다. 그 자체로 하나의 제품이다.
5. 공짜로 얻는 접근성. 에이전트를 돕는 깔끔한 라벨은 저시력이나 손 움직임이 제한된 사람도 돕는다. 같은 작업으로 두 가지 효과를 얻는다.

Exhibit D Two crowds, one screen

다섯 가지 모두 같은 실로 이어진다. 사람이 실제로 휴대폰을 어떻게 쓰는지에 대한 가장 좋은 데이터를 가진 쪽이 앱과 에이전트를 모두 더 낫게 만든다.

6

무엇이 잘못될 수 있나

많다.

플랫폼이 직접 만들 수 있다. Google과 Apple은 운영체제를 가지고 있다. 그들이 공짜로 추가하는 기능은 무엇이든 스타트업을 망하게 할 수 있다. 더 안전한 쪽은 앱 제작자를 돕는 것이다. 플랫폼이 보통 다른 이에게 넘기는 고객이 바로 그들이다.

iPhone은 대부분 닫혀 있다. AGI 앱은 아직 Android 전용이다. iOS에 닿는 오픈 도구는 개발자 설정이 필요하다. 사업에 iPhone이 필요하다면, 사업은 Apple에 달려 있다.

개인 정보. 세션 리플레이는 사람들의 화면을 녹화하는 것이다. 개인 데이터를 가려야 하고, 진짜 동의가 필요하다. 아홉 번째 페이지에 있는 체크박스 하나로는 안 된다.

신뢰. Gallup과 Bentley University는 2026년 5월 미국인에게 기업이 AI를 책임 있게 쓸 것이라고 믿는지 물었다. 27%가 그렇다고 답했다. 이제 그들에게 에이전트에 휴대폰을 맡기라고 해 보라.

그리고 아직 답할 수 없는 질문이 하나 있다. 누가 먼저 돈을 낼까? 더 좋은 앱을 원하는 앱 제작자일까, 더 좋은 에이전트를 원하는 AI 연구소일까?

내 생각에는 앱 제작자다. 앱을 만드는 사람이라면, 내가 틀렸으면 알려 달라.