Imagina un modelo de lenguaje pequeño que revisa sus propias cuentas una y otra vez hasta quedarse sin espacio para responder. Lo normal sería corregirlo con más entrenamiento. En unos experimentos publicados el 2 de noviembre de 2026, investigadores del MIT CSAIL dejaron que otro modelo de IA mirara los números internos del modelo pequeño y los cambiara directamente. Su resultado en matemáticas pasó del 7,9 al 48,1 por ciento.
Los autores, Rikiya Takehi, Jayden Teoh, Alex Zhang y Omar Khattab, llaman a este enfoque weight-space programming, es decir, programación en el espacio de pesos. Usaron GPT-6 Astra, un modelo de lenguaje de frontera, en ocho experimentos y publicaron los registros completos en GitHub. ¿Qué nos dice realmente este resultado? Menos de lo que sugieren los titulares virales, pero aun así bastante.
¿Qué es la programación en el espacio de pesos?
Una red neuronal es, en el fondo, una enorme lista de números llamados pesos. Cada peso decide con qué fuerza una neurona artificial transmite una señal a la siguiente. En el entrenamiento, esos números suelen fijarse mediante descenso de gradiente: un optimizador mide cuánto fallan las respuestas y ajusta millones de pesos paso a paso. Nadie los escribe a mano y a las personas nos cuesta mucho interpretarlos.
La programación en el espacio de pesos prescinde del optimizador. El modelo de lenguaje lee los pesos como texto, razona qué calcula cada parte y escribe valores nuevos directamente, como quien edita código. En algunos experimentos también pudo ejecutar la red un número limitado de veces, las llamadas pasadas hacia delante, para probar sus cambios.
¿Qué pudo leer Astra en los números en bruto?
En las pruebas de lectura, Astra solo veía pesos. Ante cuatro redes de videojuegos con 17.253 pesos cada una, acertó siempre el juego: Breakout, Pong, Pac-Man y Freeway. Con pequeños modelos de difusión, que generan imágenes, identificó si cada uno dibujaba un círculo, un triángulo o un cuadrado, aunque trazó contornos mientras los modelos producen figuras rellenas. Viendo solo los cuatro bloques centrales de un modelo de lenguaje, reconoció si los datos de entrenamiento eran Python, japonés escrito con letras latinas o inglés.
Una prueba de lectura falló. Solo con los pesos, Astra no supo decir cuál de dos copias de Gemma 3 270M había sido ajustada para ser complaciente. Únicamente cuando pudo examinar patrones de atención sobre textos escritos por él mismo, encontró al adulador en los tres pares.
¿Qué reparó o construyó desde cero?
En una tarea de conducción, una red entrenada no lograba pasar un coche por una rampa en ningún intento. Astra cambió el 3,5 por ciento de sus pesos en un solo intento y sin herramientas, y después el coche lo consiguió en los 1.024 episodios. Al escribir redes de videojuegos desde cero, sin datos ni gradientes, superó en Breakout, Seaquest y Asterix a una referencia habitual de aprendizaje por refuerzo entrenada durante 100 millones de pasos. En el go de 9×9, con 50 pruebas, su red escrita a mano venció a otra del mismo tamaño entrenada con 20 millones de partidas.
¿Por qué se disparó la nota de Qwen en matemáticas?
El caso estrella es Qwen3.5-0.8B. Astra modificó 131.072 pesos, alrededor del 0,016 por ciento del modelo. Con 50 pasadas hacia delante, MATH-500 subió del 7,9 al 48,1 por ciento, la prueba de matemáticas escolares GSM8K del 13,8 al 67,1 por ciento y la de seguimiento de instrucciones IFEval del 21,0 al 62,3 por ciento. El modelo editado está publicado en Hugging Face y un desarrollador independiente lo reconstruyó a partir de los registros.
Lo decisivo es el mecanismo. Antes de la edición, el 93,0 por ciento de las respuestas chocaba con el límite de 32.768 tokens porque el modelo daba vueltas en su propio razonamiento. Después, la cifra fue del 33,1 por ciento. El modelo no aprendió matemáticas nuevas; simplemente dejó de atascarse. Un control lo confirma: en Gemma 3 270M, que apenas entra en bucles, la mejor edición solo movió MATH-500 del 6,8 al 7,7 por ciento. Según los autores, editar puede quitar un obstáculo, pero no añadir una capacidad que falta.
¿Es esto automejora recursiva?
No. Astra editó otros modelos, mucho más pequeños, no a sí mismo. Los autores describen estas capacidades como emocionantes pero todavía limitadas, sobre todo por la longitud de contexto y las herramientas. La automejora recursiva, un modelo que mejora sus propios pesos una y otra vez, aparece en sus perspectivas como una dirección posible, no como un resultado.
Nuestra valoración
Primero la curiosidad, luego la medición. Para nosotros, el hallazgo más sólido no es el salto en matemáticas, sino la lectura: un modelo generalista deduce para qué sirve una red a partir de números que a las personas nos resultan opacos. Eso apunta a la auditoría como uso práctico más cercano, algo que los autores también mencionan, por ejemplo detectar puertas traseras sin ejecutar el modelo. Sus otras ideas, optimizar a menor coste, activar o desactivar capacidades e injertar circuitos entre modelos, son plausibles, pero no se han probado a gran escala. Deducimos además que el mismo tipo de edición podría eliminar comportamientos de seguridad de modelos abiertos, así que la pregunta pendiente es quién revisa esos cambios, no solo quién los hace.
