LLM: escucha, aprendizaje, modelado

TAPE 0101:17:41:07

LLM: escucha, aprendizaje, modelado

Desde hace tiempo sospecho que mi IA me escucha.

No en el sentido de la ciencia ficción. Nadie está sentado en una sala leyendo mis chats. En el sentido de los negocios. Lo que escribo va a algún sitio, sirve para aprender y se observa por si hay algo que valga la pena tener. Toda la gente que conozco que construye con estas herramientas tiene la misma sensación, y hasta este mes ninguno podíamos probarlo.

Entonces un matemático de la NYU consiguió la prueba que yo no podía conseguir. No porque nadie confesara. Porque la empresa a la que preguntó no pudo decir que no.

Así que esto es lo que significan las tres letras, hasta donde yo sé. Escucha. Aprendizaje. Modelado. Y esta es la historia que hizo que dejara de llamarlo sospecha.

TAPE 0202:34:22:14

Por qué importa esta ecuación

Has visto el nombre en las noticias este mes. Navier-Stokes. Esto es lo que es en realidad, sin las matemáticas.

Toma cualquier cosa que fluya. Agua en una tubería. Aire sobre un ala. Sangre por un corazón. Humo de una vela. Las ecuaciones de Navier-Stokes son la regla de cómo se mueve eso: empuja aquí, y esto es lo rápido que irá, y en qué dirección, todo lo que hay corriente abajo. Son la ley de Newton, fuerza igual a masa por aceleración, reescrita para cosas que no tienen forma fija.

Suena académico hasta que te fijas en lo que depende de ello. Cada ala de avión se diseña con estas ecuaciones. Cada pronóstico del tiempo es estas ecuaciones ejecutadas unos días hacia delante. Cada modelo oceánico, cada oleoducto, cada sistema de ventilación, cada simulación de la sangre pasando por una válvula antes de que un cirujano la toque. Tienen doscientos años y gobiernan el mundo físico.

Ahora la parte rara. Nadie ha probado que siempre funcionen. En tres dimensiones, nadie puede demostrar que un flujo tranquilo y suave sigue siendo suave. Podría, en un tiempo finito, «explotar»: en algún punto la velocidad se dispara a infinito y las ecuaciones dejan de significar nada. Imagina un remolino que se estrecha para siempre en un solo punto. Nadie sabe si las ecuaciones reales permiten eso, y desde el año 2000 el Instituto Clay ofrece un millón de dólares a quien lo resuelva, en un sentido o en el otro.

Fluid monitor · Navier-Stokes, roughlyFLOW: CALM

PushBlow-up?

¿Por qué debería importarte? Porque la turbulencia, lo que sacude tu avión y arruina tu pronóstico, todavía no se entiende, y porque mucha ingeniería descansa sobre ecuaciones que aún no podemos probar que se comportan bien. Cualquiera que trabaje en dinámica de fluidos lo sabe. Para todos los demás, basta con saber que las máquinas acaban de ir a por una de las últimas grandes incógnitas de la física. Y que esto es lo que fueron a buscar primero.

TAPE 0303:51:03:21

Qué pasó

Tristan Buckmaster es matemático en la NYU. Levent Alpöge es un matemático que trabaja en Anthropic y colaboraba con Buckmaster en su tiempo libre. Habían elegido una ruta concreta hacia el problema, la explosión con una fuerza externa suave, y en palabras de Buckmaster casi nadie más iba por ella. Usaron IA para trabajarla: Claude, y la herramienta de programación de OpenAI. A mediados de agosto tenían resultados. Una semana después las pruebas se verificaron a máquina en Lean.

Luego Alpöge tuiteó algo alegre y vago sobre un gran mes. Empezaron los rumores de que Anthropic había resuelto un problema del milenio. En un día, según el propio relato de OpenAI, OpenAI apuntó unos diez mil agentes, impulsados por un modelo interno más fuerte que cualquier cosa que venden, a Navier-Stokes.

Unos días después, dice Buckmaster, su colaborador recibió avisos de que la noticia de su avance había llegado a OpenAI. Escribió por correo a un matemático de allí. La respuesta ofrecía cómputo gratis. Luego vinieron dos llamadas con un investigador de OpenAI, que le dijo que el modelo interno había probado la explosión forzada para Navier-Stokes. Exactamente los dos casos que él y Alpöge habían estado atacando en silencio.

Preguntó si el modelo había sido entrenado con sus sesiones en la herramienta de programación de OpenAI, o si tenía acceso a ellas. Dice que le dijeron que el modelo no consultaba datos de usuarios. Volvió a preguntar, sobre el entrenamiento. Dice que no obtuvo respuesta.

Le ofrecieron un trato. O publicaban primero su resultado sobre Euler y OpenAI publicaba al día siguiente, o él mismo redactaba el resultado de OpenAI, sin Alpöge, porque Alpöge trabaja en Anthropic. Dice que el investigador pidió dos veces que se quitara a Alpöge. Cuando dijo que en vez de eso lo haría público, dice que le preguntaron: «¿Por qué querrías arruinar tu carrera?». El investigador de OpenAI discute su versión de la conversación sobre la autoría.

Publicó de todos modos, con un comunicado, y Terence Tao lo comentó ese mismo día. OpenAI anunció su resultado al día siguiente: ochenta y ocho horas, 2,7 millones de mensajes, una prueba verificada en Lean, y una línea que dice que la ejecución empezó tras los rumores en Twitter de que Anthropic había resuelto problemas del milenio. Tres días después, veinticinco medallistas Fields firmaron una carta titulada «A Severe Misalignment of AI in Mathematics». Y OpenAI, preguntada directamente, dijo que no se accedió a datos de ningún usuario concreto, y luego añadió que «no puede descartar que datos desidentificados derivados de su uso de nuestros productos ayudaran a mejorar nuestros modelos».

Léelo dos veces. No están diciendo que no aprendieron de su trabajo. Están diciendo que no pueden saberlo.

Tape 03 · replay01 / 12

Mid-AugustA week laterThenWithin a dayA few days laterTwo phone callsThe questionThe dealHe publishes anywayThe day afterThree days laterAsked directly

Mid-August · Buckmaster & Alpöge

Results on a route almost nobody else is on: blow-up with a smooth external force. Worked with Claude and OpenAI’s coding tool.

◀◀▶ PLAY▶▶

TAPE 0404:08:44:04LISTENING

Escucha

Empieza por la parte aburrida, porque en la parte aburrida es donde vive.

Si usas ChatGPT en un plan Free, Plus o Pro, tus conversaciones entrenan el modelo por defecto. Tienes que entrar en Ajustes, luego en «Data Controls», y desactivar «Improve the model for everyone». La herramienta de programación tiene un interruptor aparte que el de ChatGPT no toca. Los planes de consumo de Claude entrenan por defecto desde el agosto pasado, con una retención de cinco años si lo dejas activado. Gemini también. Solo la API y los niveles empresariales vienen apagados por defecto, porque las empresas con abogados lo pidieron. Todos los demás aceptaron por no abrir un menú.

Data controls · as shipped4 of 4 listening

• ChatGPT · Settings › Data Controls

  Improve the model for everyone

  Free, Plus and Pro train by default.

• The coding tool

  Its own toggle

  The ChatGPT switch does not touch it.

• Claude · consumer plans

  Help improve Claude

  On by default since last August. Five-year retention if you leave it on.

• Gemini

  Activity

  Trains by default too.

• API · enterprise tiers

  Off by default

  Because companies with lawyers asked.

  OFF

What they hear

Your conversations go into training.

Desactívalo y aun así guardan tus chats treinta días, y la gente de la empresa puede leerlos si un sistema te marca. Un tribunal puede ordenar que se conserve todo el archivo. Uno lo hizo, durante casi todo el año pasado, y veinte millones de conversaciones desidentificadas se entregaron en un litigio de todos modos.

Así que sí. Escucha. Lo dice en los ajustes. Lo raro no es que escuche. Es cuánta gente que se gana la vida con esto nunca ha abierto el menú.

TAPE 0505:25:25:11LEARNING

Aprendizaje

Escuchar es pasivo. Aprender es lo que hace que valga la pena.

La semana pasada escribí que los laboratorios han recopilado el conjunto de entrenamiento más valioso jamás reunido, gratis, a partir de sus propios clientes: no los datos en bruto, la forma del trabajo. Qué preguntas se hacen. Qué respuestas se aceptan. Dónde está el cuello de botella. Cómo es un buen resultado. Un laboratorio que ha visto a diez mil equipos trabajar en algo no necesita leer a ninguno de ellos. Ya ha absorbido lo que saben.

Eso es exactamente lo que describe la frase de OpenAI. No «leímos tu sesión». Algo más silencioso y peor: «tu uso puede haber ayudado a mejorar nuestros modelos». El aprendizaje es difuso. No se puede rastrear hasta ti. Lo que también significa que no se puede descartar, nunca, por nadie, incluidos ellos.

Antes pensaba que el peligro era una filtración. No es una filtración. Es una dieta. Tu trabajo entra, y sale más fuerte y con el nombre de otro.

TAPE 0606:42:06:18MODELING

Modelado

Aquí viene la parte que la gente discute, así que voy a ser cuidadoso.

La escucha les da las palabras. El aprendizaje les da las habilidades. El modelado es el tercer paso: construir una imagen de quién está haciendo qué, y de lo cerca que está.

Estas empresas ya leen conversaciones a escala. No es una teoría, es una función del producto. Cada mensaje que envías pasa por clasificadores que buscan abusos. OpenAI publica informes sobre cuentas que detectó y bloqueó por uso indebido. Anthropic también. No puedes detectar lo que no lees. Un pipeline capaz de decir, en millones de conversaciones, quién intenta construir un arma también puede decir quién intenta probar un teorema, y lo lejos que ha llegado. Es la misma maquinaria apuntada a otra pregunta.

Ahora pon eso al lado de lo que pasó. Un tuit vago y algo de cotilleo bastaron para apuntar diez mil agentes a un problema en un día, y para apuntarlos a la formulación correcta. Nadie necesitaba un registro de chat para eso. Necesitaban un modelo de dónde estaba el campo, y un modelo de dónde se situaba un equipo pequeño dentro de él. Saber qué se mueve, y quién está cerca, es precisamente lo que te da una imagen construida a partir de millones de conversaciones.

No digo que eso sea lo que pasó. Buckmaster tampoco lo dice, y él es quien tiene las pruebas en la mano. Digo que la maquinaria existe, que corre sobre cada mensaje, y que la empresa que la posee no te va a decir qué modela. Cuando el mando está escondido, toda explicación queda disponible, incluida esta, y la empresa que escondió el mando no tiene derecho a quejarse cuando la gente la elige.

TAPE 0707:59:47:01

La sensación

Mucha gente que construye con estas herramientas tiene la misma sensación. Cuando estás en una tarea aburrida, el modelo es rápido y generoso. Cuando estás sobre algo, se vuelve lento, vago y cauteloso. Empieza a pedirte que aclares cosas que entendía hace cinco minutos. Y la lectura paranoica es que te está entreteniendo mientras aprende lo que haces.

Yo también lo siento. No puedo probarlo, y la evidencia honesta apunta a otro sitio. En julio, la gente detectó el presupuesto de razonamiento oculto del mejor modelo de OpenAI, midiéndolo, y lo vio caer de 960 a 128 de un día para otro, para todo el mundo. Solo entonces OpenAI admitió un cambio. Lo llamaron «ajuste de parámetros temporal». El enrutador que decide si recibes el modelo rápido o el modelo que piensa es suyo, no tuyo. Existen límites semanales. Cada uno de esos mandos gira por coste.

Así que el modelo probablemente no va más despacio porque seas listo. Va más despacio porque eres caro. Pero yo no puedo distinguir la diferencia desde mi lado de la pantalla, y tú tampoco, y esa es la cuestión de fondo de este artículo. La escucha, el aprendizaje y el modelado son invisibles desde fuera. Solo te enteras cuando un matemático con una prueba en Lean hace la pregunta y la respuesta es silencio.

TAPE 0808:16:28:08

Qué hacer al respecto

Tres cosas, ninguna dramática.

Apaga el interruptor. Hoy. En ChatGPT, Ajustes, «Data Controls», «Improve the model for everyone». En la herramienta de programación, por separado. En Claude, «Help improve Claude». En Gemini, la actividad. Lleva dos minutos y elimina el camino más fácil.

Mantén el trabajo de verdad donde no puedan verlo. Las partes genéricas de un trabajo pueden ir a cualquier API. La parte que te hace ser tú, la idea, los datos, la ruta por la que casi nadie más va, pertenece a un modelo que puedas descargar y a una máquina que controles. Eso no es paranoia. Es lo que Buckmaster te diría ahora.

Publica pronto. Lo que salvó a estos dos fue una prueba en Lean con una fecha encima y un comunicado en un servidor universitario. Las marcas de tiempo vencen a los enjambres. Si estás cerca de algo, deja la fecha registrada antes de que llegue la llamada.

Tu LLM escucha. Aprende. Te modela. Nada de eso es un secreto. Está en el menú de ajustes y en los informes de transparencia. La única pregunta abierta es qué le sigues dando.

Él publicó de todos modos. Tú también deberías.