Stell dir ein kleines Sprachmodell vor, das seine eigene Rechnung so lange überprüft, bis kein Platz mehr für eine Antwort bleibt. Normalerweise würde man das mit weiterem Training beheben. In Experimenten, die Forschende am MIT CSAIL am 2. November 2026 veröffentlicht haben, durfte stattdessen ein anderes KI-Modell die rohen Zahlen im Inneren des kleinen Modells ansehen und direkt ändern. Der Mathe-Wert stieg von 7,9 auf 48,1 Prozent.
Die Autoren Rikiya Takehi, Jayden Teoh, Alex Zhang und Omar Khattab nennen den Ansatz Weight-Space Programming. Sie setzten GPT-6 Astra, ein Frontier-Sprachmodell, in acht Experimenten ein und stellten die vollständigen Protokolle auf GitHub. Was sagt uns dieses Ergebnis? Weniger, als virale Schlagzeilen behaupten, und trotzdem eine Menge.
Was ist Weight-Space Programming?
Ein neuronales Netz ist im Kern eine riesige Liste von Zahlen, den sogenannten Gewichten. Jedes Gewicht legt fest, wie stark ein künstliches Neuron ein Signal an das nächste weitergibt. Beim Training werden diese Zahlen meist per Gradientenabstieg gesetzt: Ein Optimierer misst, wie falsch die Antworten sind, und verschiebt Millionen Gewichte Schritt für Schritt. Niemand schreibt sie von Hand, und Menschen können sie kaum deuten.
Weight-Space Programming lässt den Optimierer weg. Das Sprachmodell liest die Gewichte als Text, überlegt, was jeder Teil berechnet, und schreibt neue Werte direkt hinein, ähnlich wie man Code bearbeitet. In manchen Experimenten durfte es das Netz zusätzlich begrenzt oft ausführen, sogenannte Forward Passes, um seine Änderungen zu testen.
Was konnte Astra aus den rohen Zahlen lesen?
In den Lesetests sah Astra nur Gewichte. Bei vier Spiel-Netzen mit je 17.253 Gewichten nannte es jedes Mal das richtige Spiel: Breakout, Pong, Pac-Man und Freeway. Bei kleinen Diffusionsmodellen, die Bilder erzeugen, erkannte es, ob ein Kreis, ein Dreieck oder ein Quadrat entsteht, zeichnete allerdings nur Umrisse, während die Modelle gefüllte Formen erzeugen. Mit nur den vier mittleren Blöcken eines Sprachmodells erkannte es, ob die Trainingsdaten Python, in lateinischen Buchstaben geschriebenes Japanisch oder Englisch waren.
Ein Lesetest misslang. Allein anhand der Gewichte konnte Astra nicht sagen, welche von zwei Kopien von Gemma 3 270M auf Schmeichelei getrimmt war. Erst als es Aufmerksamkeitsmuster auf selbst geschriebenen Texten prüfen durfte, fand es den Schmeichler in allen drei Paaren.
Was hat es repariert oder neu gebaut?
In einer Fahraufgabe schaffte ein trainiertes Netz es in keinem Versuch, ein Auto über eine Rampe zu bringen. Astra änderte in einem einzigen Anlauf und ohne Werkzeuge 3,5 Prozent der Gewichte, danach gelang es in allen 1.024 Durchläufen. Beim Schreiben von Spiel-Netzen aus dem Nichts, ohne Daten und ohne Gradienten, schlug es in Breakout, Seaquest und Asterix eine übliche Reinforcement-Learning-Vergleichsbasis mit 100 Millionen Trainingsschritten. Im 9×9-Go besiegte sein von Hand geschriebenes Netz mit 50 Testläufen ein gleich großes Netz, das auf 20 Millionen Partien trainiert war.
Warum stieg der Mathe-Wert von Qwen so stark?
Der Vorzeigefall ist Qwen3.5-0.8B. Astra änderte 131.072 Gewichte, etwa 0,016 Prozent des Modells. Mit 50 Forward Passes stieg MATH-500 von 7,9 auf 48,1 Prozent, der Schulmathe-Test GSM8K von 13,8 auf 67,1 Prozent und der Test für Anweisungstreue IFEval von 21,0 auf 62,3 Prozent. Das bearbeitete Modell liegt auf Hugging Face, und ein unabhängiger Entwickler hat es aus den Protokollen nachgebaut.
Entscheidend ist der Mechanismus. Vor dem Eingriff liefen 93,0 Prozent der Antworten ins Limit von 32.768 Tokens, weil sich das Modell im eigenen Denken im Kreis drehte. Danach waren es 33,1 Prozent. Das Modell hat keine neue Mathematik gelernt, es bleibt nur nicht mehr hängen. Eine Gegenprobe bestätigt das: Bei Gemma 3 270M, das kaum in Schleifen gerät, hob die beste Änderung MATH-500 nur von 6,8 auf 7,7 Prozent. Laut den Autoren kann ein Eingriff ein Hindernis entfernen, aber keine fehlende Fähigkeit hinzufügen.
Ist das schon rekursive Selbstverbesserung?
Nein. Astra hat andere, viel kleinere Modelle bearbeitet, nicht sich selbst. Die Autoren nennen die Fähigkeiten spannend, aber noch begrenzt, vor allem durch Kontextlänge und Werkzeuge. Rekursive Selbstverbesserung, also ein Modell, das seine eigenen Gewichte immer wieder verbessert, steht in ihrem Ausblick als mögliche Richtung, nicht als Ergebnis.
Unsere Einschätzung
Das spannende Detail steckt in der Methode. Der stärkste Befund ist aus unserer Sicht nicht der Mathe-Sprung, sondern das Lesen: Ein allgemeines Modell erschließt den Zweck eines Netzes aus Zahlen, die für Menschen undurchsichtig sind. Daraus ergibt sich als naheliegendste Anwendung die Prüfung von Modellen, die auch die Autoren nennen, etwa das Aufspüren von Hintertüren, ohne das Modell laufen zu lassen. Ihre übrigen Ideen, günstigere Optimierung, Fähigkeiten an- und abschalten und Schaltkreise zwischen Modellen verpflanzen, sind plausibel, aber nicht im großen Maßstab getestet. Unsere Schlussfolgerung: Dieselbe Art von Eingriff könnte auch Sicherheitsverhalten aus offenen Modellen entfernen. Die offene Frage ist daher, wer solche Änderungen prüft, nicht nur, wer sie vornimmt.
