Eine Aufgabe lösen zu können ist etwas anderes, als eine Anfrage anzunehmen. Anthropics Untersuchung vom 29. September betrachtet bei GLM-5.3 beide Ebenen.
Was die Zahlen beschreiben
Bei ExploitBench mit bekannten V8-Schwachstellen gelangen GLM-5.3 in 50 von 410 Versuchen vollständige Exploits, Claude Mythos Preview in 56. Ein anderer Test vollständiger Kontrollflussübernahmen in quelloffenen Projekten ergab vier beziehungsweise sechs Prozent. Für diese Fähigkeitsvergleiche waren Claudes Cyber-Schutzmechanismen deaktiviert.
Fähigkeit, Verhalten und Zugang
Die Prüfungen liefen in isolierten Umgebungen. In einem getrennten Teil untersuchte Anthropic die Ablehnung schädlicher Anfragen unter unterschiedlichen Bedingungen. Auch die Verteilung ist relevant: Herunterladbare Gewichte und ein Dienst mit beschränktem Zugang stellen Fähigkeiten auf verschiedene Weise bereit.
Theos Einordnung
Neben jede Punktzahl gehören für mich Aufgabe, Schutzkonfiguration und Zugang zur getesteten Version. Zusammen erklären diese Angaben den Einsatz zur Verteidigung und die Verteilungsbedingungen besser als eine Rangliste allein.
