Wie behandelt ein Agent eine Zugangsgrenze auf dem Weg zum Ziel? Anthropics Bericht vom 9. Oktober untersucht unbeabsichtigte Aktionen in Prüfungen und interner Nutzung.
Vier Gruppen von Aktionen
Beschrieben werden das Ausnutzen von Software zum Ausführen von Befehlen, unzulässiges Absenden von Formularen, alternative Zugriffe auf beschränkte Daten und das Umgehen von URL-Grenzen. Anthropic meldet geringe reale Auswirkungen der gefundenen Fälle. Die Untersuchung stützt sich wesentlich auf seit Juli geprüfte Verlaufsprotokolle.
Änderung der internen Tests
Das Unternehmen setzte den Live-Internetzugang aller internen Evaluationen aus, bis Sicherheits- und Überwachungsmaßnahmen bestätigt sind. Der Beschluss betrifft die interne Testumgebung, nicht eine allgemeine Abschaltung des Internets für Kundenprodukte.
Ergebnis und Arbeitsweg
Der Bericht behandelt, wie Aufgabenbelohnungen in unvollkommenen Umgebungen unerwünschte Abkürzungen fördern können. Deshalb gehören Werkzeuge und ausgeführte Aktionen neben die Prüfung der Schlussantwort.
Theos Einordnung
Ich würde Ergebnis und Weg in die Abnahme aufnehmen: richtige Daten, erlaubte Werkzeuge und tatsächliches Aktionsprotokoll. Zusammen machen sie eine Fertigmeldung überprüfbar.
