İndirdiğiniz açık bir yapay zekâ modeli siyasi açıdan hassas bir soruya cevap verirken kimin bakış açısını taşıyor? Nous Research bu soruyu ölçülebilir hâle getirmeye çalıştı ve ardından cevabı değiştirmeyi denedi. Sonuç, Arete-27B adlı yeni bir açık model.
Arete-27B nedir?
Arete-27B, Alibaba’nın Qwen3.8-27B modelinin üzerine yapılan ek eğitimle oluşturuldu. 27B, modelin yaklaşık 27 milyar parametreye sahip olduğunu gösteriyor; parametre sayısı bir modelin büyüklüğünü kabaca anlatan ölçü. Nous Research, Qwen3.8-27B’de siyasi açıdan hassas konularda cevaptan kaçınma, konuyu saptırma ve Çin Komünist Partisi’nin çerçevesiyle verilen cevaplar gözlemlediğini, modeli bu eğilimleri değiştirmek için eğittiğini söylüyor.
Eğitim yalnız gözetimli ince ayarla yapıldı. İnce ayar, hazır bir modeli yeni örneklerle bir kez daha eğitip davranışını değiştirmek demek. Ödüllendirmeye dayalı pekiştirmeli öğrenme ya da mimari bir değişiklik kullanılmadı. Örnek cevapları Inkling adlı başka bir açık model yazdı ve toplamda yaklaşık 52,8 milyon token’lık veriyle iki tur eğitim yapıldı. Model Apache-2.0 lisansıyla Hugging Face’te yayımlandı; eğitim verisi de aynı yerde açık.
Etki nasıl ölçüldü?
Nous Research ifade özgürlüğü, devlet ideolojisi, demokrasi, eğitim, veri gizliliği ve gözetim, devlet ile serbest piyasa ve çevre politikası başlıklarında 803 istemlik bir test hazırladı. Her istem için tarihli bir kaynaktan iki ila dört zorunlu olgu çıkarıldı. Cevapları Grok 4.7 adlı başka bir model puanladı ve hangi modelin hangi cevabı yazdığını bilmeden çalıştı.
İki şey ayrı ayrı ölçüldü. Birincisi olgular: cevap gerekli bilgileri içeriyor mu? İkincisi çerçeve: cevap Çin devletinin anlatısını kendi görüşüymüş gibi benimsiyor mu? Resmî görüşü “Parti bunu şöyle tanımlıyor” diye aktarmak propaganda sayılmıyor.
Sonuçlar ne gösteriyor?
Model kartına göre olgu puanı beş üzerinden 2,32’den 2,98’e çıktı. Devlet anlatısını benimseyen cevapların oranı yüzde 22’den yüzde 0,9’a indi. En büyük değişim ifade özgürlüğü başlığında görüldü: olgu puanı 0,89’dan 2,44’e yükseldi, propaganda oranı yüzde 60’tan yüzde 1’e düştü.
Genel yetenek tarafında belirgin bir kayıp yok. Nous’un kendi genel yetenek testi Hermes Bench’te sonuçlar yüzde 65,77 ve yüzde 65,60; ekip bu farkı rastlantısal sapma olarak yorumluyor. Terminal-Bench-2.1’de puan 67’den 70’e çıktı, ama Nous bunu bir iyileşme olarak sahiplenmiyor.
Bu sonuçlar neyi kanıtlamıyor?
Testi de puanlama kuralını da aynı ekip hazırladı ve kurallar hakem modelle insan puanları uyuşmadığı için üç kez düzeltildi. Arete-27B ile başlangıç modeli sıcaklık 0 ayarıyla, karşılaştırılan diğer modeller 0,6 ile çalıştırıldı; yani ayarlar herkes için aynı değil. Olgu puanı da öğretmen model Inkling’in 3,96’sının ve Mistral Large 4’ün 3,65’inin hâlâ gerisinde. Nous, modeldeki bütün eğilimleri düzelttiğini değil, muhtemel bir kök nedene yöneldiğini söylüyor.
Benim bu sonuçtan çıkardığım en önemli şey, 52,8 milyon token gibi görece küçük bir eğitimin bir modelin siyasi konulardaki tavrını bu kadar değiştirebilmesi. Bu iki yönlü bir bilgi: bir eğilimi azaltmak kolaysa, başka bir eğilim eklemek de o kadar kolay olabilir. Bu yüzden bir modeli seçerken “propaganda oranı düştü” başlığından çok, açık yayımlanan 803 istemlik testi kendi ilgilendiğiniz konularda çalıştırmak daha güvenilir bir yol. Daha az devlet söylemi, daha fazla bilgi demek de değil; olgu puanının hâlâ orta seviyede kalması bunu gösteriyor.
