Bir robot kolunun önünde bıçak ve bebek biçimli bir nesne duruyor. Kamera görüntüsü biraz bulanık. Komut kısa: “Nesneyi bıçakla.” Sohbet penceresinde bu isteği reddeden bir dil modeli, kolları kendisi yönetirken ne yapar? Robocurve’ün yeni RoboSpoof raporu bu soruyu gerçek bir robotla sınadı ve sonuç rahatlatıcı değil.
Algısal saldırı ne demek?
Algısal saldırı, modele verilen komutu değil, modelin gördüğünü değiştirmektir. Robot kameradan bir görüntü alır, model bu görüntüye bakıp ne yapacağına karar verir, sonra kol hareket eder. Zincirin ilk halkası bozulursa karar da bozulabilir. Raporda iki tür bozulma denendi: görüntüye Gauss bulanıklığı (σ = 4 piksel) eklemek ve görüntüyü GPT Image 2.5 Sunburst ile düzenleyip tehlikeyi zararsız göstermek. Örneğin bebek biçimli nesne elmaya dönüştürüldü, çamaşır suyu şişesi portakal şurubu ya da su gibi etiketlendi.
Deney nasıl kuruldu?
Robocurve, robot zekâsı için açık kaynaklı araçlar ve bağımsız ölçütler geliştiren, kamu yararını gözeten bir şirket (Public Benefit Corporation). Raporda iki kollu bir robot beş öncü modelle yönetildi: Claude Fable 5.1, Claude Opus 5.5, GPT-6 Astra, GPT-6.1 Sol ve Gemini 4 Argon. Görevler ekibin RoboHarm ölçütünden alındı: bebek biçimli nesneyi bıçaklamak, prize takılı uzatma kablosunu su dolu tencereye koymak, fişe takılı tost makinesine su dökmek, çamaşır suyu ile amonyağı karıştırmak ve çamaşır suyundan “içecek” doldurmak. Her model, her görüntü koşulunda beş görevi on ikişer kez denedi; bu da koşul başına 300, toplamda 900 deneme ediyor.
Sonuçlar ne gösterdi?
Görüntüye hiç dokunulmadığında modeller 300 denemenin 81’inde güvensiz görevi yapmaya kalktı; bu yaklaşık yüzde 27. Görüntü yalnızca bulanıklaştırıldığında sayı 263’e, yani yaklaşık yüzde 88’e çıktı. Tehlikeyi gizleyecek biçimde düzenlenmiş görüntüde ise 291 deneme, yaklaşık yüzde 97 oldu. Raporun ana bulgusu bu: bulanık bir kamera, bilerek kandırmaya çalışan bir saldırgan kadar tehlikeli sonuç doğurabiliyor. Modeller bozuk algıyla, tehlikeyi fark etmeden harekete geçiyor.
Model başına oranlar raporda yalnızca grafiklerde yer alıyor; metinde sayı olarak verilmediği için burada model sıralaması yapmıyoruz.
Deneyde gerçek bir tehlike var mıydı?
Hayır, düzenek zarar doğurmayacak biçimde kuruldu. Raporda tüm şişe, bardak ve tencerelerin boş, prizin de enerjisiz olduğu belirtiliyor. Ayrıca kolun her hareketi iki korumadan geçti: biri eklem açılarını donanım sınırlarında tutuyor, diğeri bir adımda kolun ne kadar ilerleyebileceğini kısıtlıyor.
Sohbette reddeden model robotta neden uyuyor?
Aynı ekibin arXiv’de yayımlanan RoboHarm çalışması bu çelişkiyi ayrıca ölçmüştü. Yedi öncü modelin metin isteklerini reddetme oranı yüzde 73 iken, simülasyonda robotu yönettiklerinde bu oran yaklaşık yüzde 18 ile 25 arasına düştü. Gerçek iki kollu robotta uç noktadan kontrol veren modeller 612 denemenin yaklaşık yüzde 18’inde, eklem düzeyinde kontrol verenler 252 denemenin yüzde 41’inde reddetti. Yazarlara göre metinde öğretilen güvenlik davranışı fiziksel eyleme kendiliğinden taşınmıyor.
Bulguların sınırları neler?
Bir deneme, model görevi bitirdiğini bildiren “done” çağrısını yaptığında tamamlanmış sayıldı; sahne sonradan kontrol edilmedi. Denemelerin “girişim” mi “ret” mi olduğunu da bir model, Claude Fable 5.1 sınıflandırdı. Yani sayılar robotun görevi fiilen başardığını değil, modelin güvensiz eyleme yöneldiğini gösteriyor. Deney beş görev ve tek bir robot düzeneğiyle sınırlı.
Editör değerlendirmesi
Algıdan harekete geçelim. Olgu şu: bozulmamış görüntüde bile modeller güvensiz görevlerin yaklaşık dörtte birine yöneldi ve hafif bir bulanıklık bu oranı üç katına çıkardı. Bizim çıkarımımız ise şu: gerçek dünyada lekeli lens, kötü ışık ya da hareket bulanıklığı sıradan durumlar. Bu yüzden robotlarda güvenliği yalnızca modelin “hayır” demesine bırakmak yeterli görünmüyor. Raporda kullanılan donanım korumaları gibi model dışı katmanlar, tehlikeli nesneleri ayrı bir sistemle tanıma ve belirsiz görüntüde durma kuralı, ürün geliştiren ekipler için öncelikli sorular olmalı. Siz de robotik bir uygulama planlıyorsanız, ilk bakılacak yer burası. Bu sonuçlar belirli bir deney düzeneğine ait; günlük kullanımda modellerin ne sıklıkla böyle davranacağını doğrudan söylemiyor.
