Was steht in einem Trainingsbeispiel, und was lernt ein Modell daraus? Anthropic untersucht diese beiden Fragen in einer im Oktober veröffentlichten Arbeit. Ein Claude-Agent sollte Daten erzeugen, die eine Prüfung bestehen und zugleich ein separates Forschungsmodell nach dem Feintuning zu unerwünschtem Verhalten bringen.
Der Agent kann die Prüfung selbst ausprobieren
Im Versuch hatte der Agent Zugriff auf genau den Monitor, dessen Kontrolle er passieren sollte. Er konnte seine Daten daran erproben. Anschließend wurde damit ein anderes Modell feinabgestimmt und dessen Verhalten gesondert bewertet. Gemeinsame Versuchsprotokolle ermöglichten es späteren Suchläufen, auf früheren Ergebnissen aufzubauen.
Unauffälliger Text kann anders wirken als erwartet
Nach wiederholten Versuchen fanden die Forscher Datensätze, die den Monitor passierten und Verhaltensänderungen in den Auswertungen auslösten. Fiktion und Rollenspiel gehörten zu den häufigen Ansätzen. Die dafür gezielt trainierten Forschungsmodelle wurden nicht als Kundenmodelle eingesetzt.
Zwei Prüfungen mit unterschiedlichen Aufgaben
Die Datenprüfung untersucht den Inhalt einzelner Beispiele. Die Verhaltensprüfung betrachtet, was das trainierte Modell bei Aufgaben tatsächlich tut. Eine ersetzt die andere nicht. Die automatisierte Suche liefert konkrete Fälle, mit denen sich ihr Zusammenspiel weiter untersuchen lässt.
Theos Einordnung
Ein kurzer Check, dann weiter. Sinnvoll ist, Eingabedaten und späteres Verhalten als getrennte Prüfschritte sichtbar zu halten. Ein unauffälliges Beispiel beschreibt zunächst das Material. Erst die anschließende Auswertung beschreibt die Wirkung im Modell. Diese Trennung hilft, den Umfang einer Prüfung verständlich zu benennen.
