LLM: 듣고, 배우고, 모델링한다

내 AI가 듣고 있다고 꽤 오래 의심해 왔다.

공상과학의 의미가 아니다. 누가 방에 앉아 내 채팅을 읽고 있는 게 아니다. 사업의 의미다. 내가 치는 글은 어딘가로 가고, 학습에 쓰이고, 가질 만한 것이 있는지 관찰된다. 내가 아는 모든 만드는 사람이 같은 느낌을 갖고 있고, 이달까지는 누구도 그걸 증명할 수 없었다.

그러다 뉴욕대(NYU)의 한 수학자가 내가 얻지 못한 증거를 얻었다. 누가 자백해서가 아니다. 그가 물은 회사가 아니라고 말할 수 없었기 때문이다.

그러니 내가 아는 한, 이 세 글자가 뜻하는 바는 이렇다. 듣기. 배우기. 모델링하기. 그리고 내가 이걸 의심이라고 부르기를 그만두게 만든 이야기는 이렇다.

이 방정식이 왜 중요한가

이달 뉴스에서 그 이름을 봤을 것이다. 나비에-스토크스. 수학 없이, 그게 실제로 무엇인지 말하면 이렇다.

흐르는 것이면 무엇이든 떠올려 보라. 관 속의 물. 날개 위의 공기. 심장을 지나는 피. 촛불에서 피어오르는 연기. 나비에-스토크스 방정식은 그런 것들이 어떻게 움직이는지에 대한 규칙이다. 여기를 밀면, 하류의 모든 것이 얼마나 빠르게, 어느 방향으로 갈지를 말해 준다. 뉴턴의 법칙, 힘은 질량 곱하기 가속도라는 그 법칙을 정해진 모양이 없는 것들에 맞춰 다시 쓴 것이다.

Fluid monitor · Navier-Stokes, roughlyFLOW: CALM

Push

Two hundred years old. Unproven in three dimensions. A million dollars from the Clay Institute since 2000, for settling it either way.

학문적으로 들리지만, 무엇이 거기에 기대고 있는지 보면 달라진다. 모든 항공기 날개는 이 방정식으로 설계된다. 모든 일기예보는 이 방정식을 며칠 앞으로 돌린 것이다. 모든 해양 모델, 모든 파이프라인, 모든 환기 시스템, 외과의가 손을 대기 전에 판막을 지나는 피를 돌려 보는 모든 시뮬레이션이 그렇다. 200년 된 방정식이고, 물리 세계를 굴린다.

이제 이상한 부분이다. 이 방정식이 언제나 통한다는 걸 아무도 증명하지 못했다. 3차원에서는 매끄럽고 얌전한 흐름이 계속 매끄럽게 남는다는 걸 아무도 보이지 못한다. 유한한 시간 안에 "폭발"할지도 모른다. 어느 지점의 속도가 무한대로 치솟고, 방정식은 아무 의미도 갖지 않게 된다. 한 점에서 영원히 조여드는 소용돌이를 떠올려 보라. 진짜 방정식이 그걸 허용하는지 아무도 모르고, 클레이 수학연구소는 2000년부터 이 문제를 어느 쪽으로든 매듭짓는 사람에게 100만 달러를 걸어 두었다.

왜 신경 써야 하나? 당신의 비행기를 흔들고 일기예보를 망치는 난류가 아직도 이해되지 않았기 때문이고, 우리가 아직 얌전하다고 증명하지 못한 방정식 위에 수많은 공학이 얹혀 있기 때문이다. 유체역학에서 일하는 사람이라면 누구나 이걸 안다. 나머지 사람들은, 기계들이 방금 물리학의 마지막 큰 미지수 가운데 하나를 노렸다는 것만 알면 된다. 그리고 그게 그들이 가장 먼저 노린 것이라는 점도.

무슨 일이 있었나

트리스탄 벅마스터는 뉴욕대(NYU)의 수학자다. 레벤트 알푀게는 Anthropic에서 일하는 수학자로, 자기 시간을 써서 벅마스터와 협업하고 있었다. 두 사람은 이 문제로 가는 특정한 길 하나를 골랐다. 매끄러운 외력이 있을 때의 폭발이다. 벅마스터의 말로는, 그 길에 있는 다른 사람은 거의 없었다. 그들은 AI를 써서 그 일을 했다. Claude, 그리고 OpenAI의 코딩 도구다. 8월 중순에 결과가 나왔다. 일주일 뒤 증명은 Lean으로 기계 검증됐다.

그 다음 알푀게가 대단한 한 달이었다는 기쁘고 모호한 트윗을 올렸다. Anthropic이 밀레니엄 문제를 풀었다는 소문이 돌기 시작했다. 하루 만에, OpenAI 자신의 설명에 따르면, OpenAI는 그들이 파는 어떤 것보다 강한 내부 모델에 이끌리는 대략 만 개의 에이전트를 나비에-스토크스로 향하게 했다.

며칠 뒤, 벅마스터에 따르면 그의 협업자가 자기들의 진전 소식이 OpenAI에 닿았다는 귀띔을 받았다. 벅마스터는 그곳의 한 수학자에게 이메일을 보냈다. 답장은 무료 컴퓨팅을 제안했다. 그 다음 OpenAI 연구자와 두 번의 전화 통화가 있었다. 연구자는 내부 모델이 나비에-스토크스의 강제 폭발을 증명했다고 그에게 말했다. 그와 알푀게가 조용히 공략해 온 바로 그 두 경우였다.

그는 그 모델이 OpenAI 코딩 도구에서의 자기 세션으로 학습됐는지, 또는 거기에 접근할 수 있었는지 물었다. 모델은 사용자 데이터를 조회하지 않는다는 답을 들었다고 그는 말한다. 그는 학습에 대해 다시 물었다. 답을 듣지 못했다고 그는 말한다.

그는 거래를 제안받았다. 두 사람이 오일러 결과를 먼저 발표하고 OpenAI가 다음 날 발표하든지, 아니면 그가 OpenAI의 결과를 알푀게 없이 직접 써 내든지. 알푀게가 Anthropic에서 일하기 때문이다. 연구자가 알푀게를 빼 달라고 두 번 요청했다고 그는 말한다. 그 대신 공개하겠다고 하자, "왜 커리어를 망치려 하나?"라는 말을 들었다고 그는 말한다. OpenAI의 연구자는 저자 논의에 대한 그의 설명에 이의를 제기한다.

그는 어쨌든 성명과 함께 발표했고, 테렌스 타오가 같은 날 이를 정리해 썼다. OpenAI는 그 다음 날 결과를 발표했다. 88시간, 270만 개의 메시지, Lean으로 검증된 증명, 그리고 Anthropic이 밀레니엄 문제들을 풀었다는 트위터 소문 뒤에 실행을 시작했다는 한 줄. 사흘 뒤, 필즈상 수상자 25명이 "A Severe Misalignment of AI in Mathematics"라는 제목의 편지에 서명했다. 그리고 OpenAI는 직접 질문을 받자 특정 사용자 데이터에 접근한 일은 없다고 말했고, 이어서 "그들의 우리 제품 사용에서 파생된 비식별 데이터가 우리 모델을 개선하는 데 도움이 되었을 가능성을 배제할 수 없다"고 덧붙였다.

두 번 읽어라. 그의 작업에서 배우지 않았다는 말이 아니다. 알 수 없다는 말이다.

Tape 03 · replay01 / 12

Mid-August · Buckmaster & Alpöge

Results on a route almost nobody else is on: blow-up with a smooth external force. Worked with Claude and OpenAI’s coding tool.

듣기

지루한 부분부터 시작하자. 그게 사는 곳이 바로 거기니까.

ChatGPT를 Free, Plus, Pro 플랜으로 쓰면 대화는 기본값으로 모델을 학습시킨다. 설정에 들어가서, "Data Controls"로, 그리고 "Improve the model for everyone"을 꺼야 한다. 코딩 도구에는 별도 토글이 있고, ChatGPT 쪽 토글은 그걸 건드리지 않는다. Claude의 소비자 플랜은 지난해 8월부터 기본값으로 학습해 왔고, 켜 두면 보관 기간은 5년이다. Gemini도 그렇다. API와 엔터프라이즈 등급만 기본값이 꺼져 있다. 변호사를 둔 회사들이 요청했기 때문이다. 나머지 모두는 메뉴를 열지 않는 것으로 동의했다.

Data controls · as shipped4 of 4 listening

ChatGPT · Settings › Data Controls
Improve the model for everyone
Free, Plus and Pro train by default.
The coding tool
Its own toggle
The ChatGPT switch does not touch it.
Claude · consumer plans
Help improve Claude
On by default since last August. Five-year retention if you leave it on.
Gemini
Activity
Trains by default too.
API · enterprise tiers
Off by default
Because companies with lawyers asked.
OFF

꺼도 채팅은 30일 동안 보관되고, 시스템이 당신을 표시하면 회사 사람들이 여전히 읽을 수 있다. 법원은 보관 자료 전체를 남기라고 명령할 수 있다. 지난해 대부분 기간 동안 한 법원이 실제로 그렇게 했고, 비식별 대화 2천만 건이 어쨌든 소송에서 넘겨졌다.

그러니 그렇다. 듣고 있다. 설정에 그렇게 적혀 있다. 이상한 건 듣는다는 사실이 아니다. 그 위에 생계를 세운 사람들 가운데 얼마나 많은 이가 그 메뉴를 한 번도 열어 본 적이 없는가다.

배우기

듣기는 수동적이다. 배우기가 그 일을 할 가치가 있게 만든다.

지난주에 나는 랩들이 지금까지 모인 것 중 가장 값진 학습 데이터셋을 자기 고객에게서 공짜로 모았다고 썼다. 원본 데이터가 아니라 일의 모양이다. 어떤 질문이 오가는지. 어떤 답이 받아들여지는지. 병목이 어디인지. 좋은 결과가 어떤 모양인지. 팀 만 개가 무언가에 매달리는 걸 지켜본 랩은 그중 어느 하나도 읽을 필요가 없다. 그들이 아는 것을 이미 흡수했다.

OpenAI의 그 문장이 묘사하는 게 정확히 이거다. "우리는 당신의 세션을 읽었다"가 아니다. 더 조용하고 더 나쁜 것이다. "당신의 사용이 우리 모델을 개선하는 데 도움이 되었을 수 있다". 배움은 흩어져 있다. 당신에게로 거슬러 추적할 수 없다. 그 말은 곧, 누구도, 영원히, 그들 자신조차 그걸 배제할 수 없다는 뜻이다.

나는 위험이 유출이라고 생각했다. 유출이 아니다. 식단이다. 당신의 일이 들어가고, 더 강해져서 다른 사람의 이름을 달고 나온다.

모델링하기

사람들이 반발하는 부분이 여기다. 그러니 조심스럽게 말하겠다.

듣기는 그들에게 말을 준다. 배우기는 기술을 준다. 모델링하기는 세 번째 단계다. 누가 무엇을 하고 있는지, 얼마나 가까이 갔는지에 대한 그림을 만드는 것이다.

이 회사들은 이미 대화를 대규모로 읽는다. 이론이 아니라 제품 기능이다. 모든 프롬프트는 남용을 찾는 분류기를 거친다. OpenAI는 오용으로 적발해 차단한 계정에 대한 보고서를 낸다. Anthropic도 그렇다. 읽지 않은 것을 잡을 수는 없다. 수백만 개의 대화를 가로질러 누가 무기를 만들려 하는지 가려낼 수 있는 파이프라인은 누가 정리를 증명하려 하는지, 그리고 얼마나 진척됐는지도 가려낼 수 있다. 같은 기계를 다른 질문으로 향하게 한 것이다.

Field model · built from millions of conversationsSWEEPING

Knowing what is hot, and who is close. The same machinery, pointed at a different question.

이제 그걸 실제 일어난 일 옆에 놓아 보라. 모호한 트윗 하나와 약간의 뒷말이면 하루 만에 만 개의 에이전트를 한 문제로 향하게 하기에 충분했다. 그것도 그 문제의 올바른 정식화로. 그러기 위해 채팅 기록은 필요 없었다. 필요한 건 그 분야가 어디쯤 있는지에 대한 모델, 그리고 그 안에서 작은 팀 하나가 어디에 앉아 있는지에 대한 모델이었다. 무엇이 뜨거운지, 누가 가까이 갔는지 아는 것, 그게 정확히 수백만 개의 대화로 만든 그림이 주는 것이다.

그런 일이 있었다는 말이 아니다. 벅마스터도 그렇게 말하지 않고, 영수증을 쥔 사람은 그다. 내 말은, 그 기계가 존재하고, 모든 메시지 위에서 돌아가고, 그걸 소유한 회사는 무엇을 모델링하는지 당신에게 말해 주지 않는다는 것이다. 다이얼이 숨겨져 있으면 모든 설명이 가능해진다. 이 설명까지. 그리고 다이얼을 숨긴 회사는 사람들이 그걸 고를 때 불평할 자격이 없다.

그 느낌

이 도구들로 만드는 많은 사람이 같은 느낌을 갖는다. 지루한 작업을 할 때 모델은 빠르고 너그럽다. 뭔가를 잡았을 때는 느려지고, 모호해지고, 조심스러워진다. 5분 전에 이해한 것을 다시 명확히 해 달라고 묻기 시작한다. 그리고 편집증적인 해석은, 모델이 당신이 뭘 하는지 배우는 동안 당신을 붙들어 둔다는 것이다.

나도 그렇게 느낀다. 증명할 수 없고, 솔직한 증거는 다른 곳을 가리킨다. 7월에 사람들은 OpenAI 최상위 모델의 숨은 추론 예산의 지문을 잡아냈고, 그게 하룻밤 사이에 모두에게 960에서 128로 떨어지는 걸 봤다. OpenAI는 그제야 변화를 인정했다. 그들은 그걸 일시적인 "파라미터 튜닝"이라고 불렀다. 빠른 모델을 줄지 생각하는 모델을 줄지 정하는 라우터는 그들 것이지 당신 것이 아니다. 주간 한도가 있다. 그 손잡이 하나하나가 비용 때문에 돌아간다.

Reasoning budget · top model · JulyOBSERVED FROM OUTSIDE

960

was 960now 128

Overnight, for everyone. Only then did they admit a change.

그러니 모델은 아마 당신이 영리해서 느려지는 게 아니다. 당신이 비싸서 느려진다. 하지만 화면 이쪽에서는 나도 그 차이를 구분할 수 없고, 당신도 못 하고, 그게 이 글의 요점 전부다. 듣기, 배우기, 모델링하기는 모두 밖에서는 보이지 않는다. Lean 증명을 가진 수학자가 그 질문을 던지고 답이 침묵일 때에야 알게 된다.

무엇을 할 것인가

세 가지. 어느 것도 극적이지 않다.

토글을 꺼라. 오늘. ChatGPT에서는 설정, "Data Controls", "Improve the model for everyone". 코딩 도구에서는 따로. Claude에서는 "Help improve Claude". Gemini에서는 활동 설정. 2분이면 되고, 가장 쉬운 경로를 없앤다.

진짜 일은 그들이 볼 수 없는 곳에 두라. 일의 범용 부분은 어떤 API로 보내도 된다. 당신을 당신이게 하는 부분, 아이디어, 데이터, 거의 아무도 없는 그 길은 내려받을 수 있는 모델과 당신이 통제하는 기계 위에 있어야 한다. 편집증이 아니다. 지금 벅마스터가 당신에게 해 줄 말이다.

일찍 발표하라. 이 두 사람을 구한 건 날짜가 찍힌 Lean 증명과 대학 서버에 올린 성명이었다. 타임스탬프가 떼를 이긴다. 뭔가에 가까워졌다면, 전화가 오기 전에 날짜를 기록에 남겨라.

당신의 LLM은 듣고 있다. 배우고 있다. 당신을 모델링하고 있다. 어느 것도 비밀이 아니다. 설정 메뉴와 투명성 보고서에 적혀 있다. 열려 있는 유일한 질문은 당신이 계속 무엇을 줄 것인가다.

그는 어쨌든 발표했다. 당신도 그래야 한다.