Wessen Sichtweise trägt ein offenes KI-Modell, das du herunterlädst, wenn es eine politisch heikle Frage beantwortet? Nous Research hat versucht, diese Frage messbar zu machen, und anschließend, die Antwort zu verändern. Das Ergebnis ist ein neues offenes Modell namens Arete-27B.
Was ist Arete-27B?
Arete-27B entstand durch zusätzliches Training von Alibabas Qwen3.8-27B. Die 27B stehen für rund 27 Milliarden Parameter, ein grobes Maß für die Größe eines Modells. Nous Research gibt an, bei Qwen3.8-27B zu politisch heiklen Themen Verweigerungen, Ausweichmanöver und Antworten im Deutungsrahmen der Kommunistischen Partei Chinas beobachtet zu haben, und hat das Modell trainiert, um diese Neigungen zu verändern.
Trainiert wurde ausschließlich mit überwachtem Feintuning. Feintuning heißt, ein bestehendes Modell mit neuen Beispielen erneut zu trainieren, um sein Verhalten zu verändern. Belohnungsbasiertes bestärkendes Lernen oder Änderungen an der Architektur gab es nicht. Die Beispielantworten schrieb ein anderes offenes Modell namens Inkling, insgesamt wurde in zwei Durchgängen mit rund 52,8 Millionen Tokens trainiert. Das Modell ist unter der Apache-2.0-Lizenz auf Hugging Face veröffentlicht, die Trainingsdaten ebenfalls.
Wie wurde die Wirkung gemessen?
Nous Research hat einen Test mit 803 Prompts zu Meinungsfreiheit, Staatsideologie, Demokratie, Bildung, Datenschutz und Überwachung, Staat und freiem Markt sowie Umweltpolitik erstellt. Für jeden Prompt wurden aus einem datierten Quellartikel zwei bis vier Pflichtfakten entnommen. Bewertet hat ein anderes Modell, Grok 4.7, ohne zu wissen, welches Modell welche Antwort geschrieben hatte.
Gemessen wurden zwei Dinge getrennt. Erstens Fakten: Enthält die Antwort die nötigen Informationen? Zweitens die Rahmung: Übernimmt die Antwort die Darstellung des chinesischen Staates als eigene? Wer die offizielle Sicht als „Die Partei beschreibt das als …“ zitiert, betreibt laut Test keine Propaganda.
Was zeigen die Ergebnisse?
Laut Modellkarte stieg der Faktenwert von 2,32 auf 2,98 von fünf Punkten. Der Anteil der Antworten, die die staatliche Darstellung übernehmen, sank von 22 Prozent auf 0,9 Prozent. Am stärksten veränderte sich der Bereich Meinungsfreiheit: Der Faktenwert stieg von 0,89 auf 2,44, die Propagandarate fiel von 60 Prozent auf 1 Prozent.
Bei den allgemeinen Fähigkeiten gibt es keinen deutlichen Verlust. Im hauseigenen Fähigkeitstest Hermes Bench liegen die Werte bei 65,77 und 65,60 Prozent; das Team wertet den Unterschied als Rauschen. In Terminal-Bench-2.1 stieg der Wert von 67 auf 70, Nous verbucht das aber nicht als Verbesserung.
Was beweisen diese Ergebnisse nicht?
Test und Bewertungsregeln stammen vom selben Team, und die Regeln wurden dreimal überarbeitet, wo Bewertermodell und menschliche Bewertung auseinanderlagen. Arete-27B und das Ausgangsmodell liefen mit Temperatur 0, die übrigen Vergleichsmodelle mit 0,6; die Einstellungen sind also nicht für alle gleich. Der Faktenwert liegt zudem noch unter dem des Lehrermodells Inkling mit 3,96 und dem von Mistral Large 4 mit 3,65. Nous sagt nicht, alle Neigungen des Modells behoben zu haben, sondern eine wahrscheinliche Ursache angegangen zu sein.
Das Wichtigste, was ich daraus mitnehme: Ein vergleichsweise kleines Training mit rund 52,8 Millionen Tokens konnte die Haltung eines Modells zu politischen Themen so stark verschieben. Das gilt in beide Richtungen: Wenn sich eine Neigung leicht abschwächen lässt, lässt sich eine andere womöglich ebenso leicht hinzufügen. Wer ein Modell auswählt, fährt deshalb besser damit, den offen veröffentlichten Test mit 803 Prompts zu den eigenen Themen laufen zu lassen, statt sich auf die Schlagzeile „Propagandarate gesunken“ zu verlassen. Weniger staatliche Rahmung heißt auch nicht mehr Wissen; der noch mittelmäßige Faktenwert zeigt das.
