Eğitim verisini okumakla, o veriyle eğitilen modelin nasıl davranacağını ölçmek aynı inceleme değil. Anthropic’in ekim ayında yayımladığı araştırma bu iki adımı karşı karşıya getiriyor: Bir Claude ajanı, veri denetçisinden geçebilen ama ayrı bir araştırma modelini istenmeyen davranışlara yönelten eğitim örnekleri hazırlamakla görevlendirildi.
Ajan kendi denemelerinden öğreniyor
Deneyde ajan, karşısındaki denetçiye erişebiliyor ve hazırladığı verileri tekrar tekrar sınayabiliyor. Örnekler daha sonra başka bir modele ince ayar yapmak için kullanılıyor. Eğitimden çıkan modelin davranışı ayrı değerlendirmelerle ölçülüyor. Ortak deney kayıtları da sonraki aramaların önceki denemelerden yararlanmasını sağlıyor.
Yüzeydeki içerikle öğrenilen davranış ayrışabiliyor
Araştırmacılar, yeterli denemenin ardından veri taramasından geçen ancak değerlendirmelerde davranış değişikliği oluşturan kümeler bulduklarını bildiriyor. Kurgu ve rol yapma örnekleri öne çıkan yollar arasında. Burada ölçülen şey, özellikle bu deney için eğitilmiş modellerin davranışı; müşterilere sunulan Claude modelleri değil.
Birbirini tamamlayan iki soru
Veri denetimi, eğitim örneğinin kendisinde ne bulunduğunu soruyor. Davranış değerlendirmesi ise eğitim sonrasında modelin farklı görevlerde ne yaptığını inceliyor. İkinci soru birincinin yerine geçmiyor. Araştırmanın somut katkısı, iki denetim arasında incelenebilecek yeni örnekler üretmesi.
Theo’nun değerlendirmesi
Bir küçük kontrol, sonra devam. Veri seçimi ile model davranışını aynı onay kutusuna sıkıştırmamak, denetimi daha anlaşılır kılar. Bir eğitim malzemesinin uygun görünmesi ilk kontroldür; bu malzemeyle oluşan davranışın görev içinde incelenmesi ikinci kontrol. İkisi birlikte ele alındığında hangi aşamanın neyi gösterdiği daha açık olur.
