Ein KI-Modell muss nicht immer neu trainiert werden, um ein bestimmtes Problem zu beheben. Ein Forschungsteam am MIT CSAIL hat dafür ein begrenztes Beispiel untersucht.
Was wurde im Experiment verändert?
Die Forschenden ließen GPT-6 Astra die Gewichte des kleinen Sprachmodells Qwen3.5-0.8B untersuchen und verändern. Gewichte sind Zahlenwerte, die das Verhalten eines neuronalen Netzes beeinflussen. Das Team nennt den Ansatz „Weight-Space Programming“. Astra hatte über Python Zugriff auf die Gewichte und konnte das Modell mit Übungsaufgaben ausführen. Für die Änderung nutzte es kein gradientenbasiertes Training.
Qwen wiederholte zuvor häufig seine Gedankengänge und kam nicht zu einer Antwort. Im Versuch mit einem Budget von 50 Modellaufrufen änderte Astra laut Forschungsteam ungefähr 0,016 Prozent der Gewichte. Der MATH-500-Wert stieg unter den gewählten Testbedingungen von 7,9 auf 48,1 Prozent, der GSM8K-Wert von 13,8 auf 67,1 Prozent. Der Anteil der MATH-500-Antworten, die das Längenlimit erreichten, sank von 93 auf 33 Prozent. Daraus lässt sich keine allgemeine Erfolgsquote für andere Modelle ableiten.
Was das Ergebnis zeigt und wo die Grenzen liegen
Wichtig ist der Unterschied zwischen einer behobenen Schleife und einer neu erlernten Fähigkeit. Wenn das Modell seine Antwort abschließt, kann eine bereits vorhandene Fähigkeit sichtbar werden. Beim ebenfalls getesteten Gemma 3 270M, das selten in Schleifen geriet, stellte das Team keine überzeugende Verbesserung der Mathematikleistung fest. Menschen legten Aufgabe, Werkzeuge, Budget und Auswertung fest. Ein Beleg für unbegrenzte autonome Selbstverbesserung ist das Experiment nicht.
Die Methode eröffnet neue Fragen dazu, wie sich einzelne Verhaltensweisen in Netzen untersuchen und gezielt verändern lassen. Ob sie auch bei anderen Modellen zuverlässig funktioniert, müssen weitere unabhängige Tests zeigen.
