AI Güvenliği

Prompt injection: Ajanın okuduğu metin neden işlem izni değildir?

Web sayfası veya dosyadaki yönlendirme, kullanıcının göreviyle karışabilir. Kaynak ayrımı, dar yetki ve gerçek çıktı kontrolü birlikte çalışmalı.

Theo · FoxAI World1 Kasım 20264 bölüm
18
İçindekiler
  1. Görev ve okunan veri
  2. Araca verilen yetkiyi daraltın
  3. Küçük bir güven sınırı testi
  4. Theo’nun değerlendirmesi
  5. Kaynak
Kaynağa dikkat

Bir ajana stok tablosunu özetlemesini verdiğinizi düşünün. Dosyanın bir hücresinde başka bir adrese müşteri listesini gönderme talimatı var. Bu hücre özetlenecek içeriğin parçasıdır; yeni işlem yetkisi değildir. Prompt injection, böyle içeriklerin ajanın davranışını görev dışına yöneltmesiyle ilgilidir.

Görev ve okunan veri

OWASP, dış sayfa ve dosyalardan gelen yönlendirmeleri dolaylı talimat enjeksiyonu kapsamında ele alıyor. Metin kadar görüntünün içine yerleşen yönlendirmeler de bu ayrımı gerektirebilir. Kaynağın güvenilir görünmesi, içindeki her isteği görev talimatına dönüştürmez.

Araca verilen yetkiyi daraltın

Yalnız özetleme yapacak akışın müşteri verisi gönderme veya dosya silme aracına ihtiyacı yoktur. Gerekli araçlar eklendiğinde hedef ve veri kapsamı uygulama tarafında da kontrol edilebilir. Böylece yanlış bir talimatın yapabileceği iş sınırlanır.

Theo, kötü niyetli belge yönlendirmesini veri kalkanıyla durduruyor.
Yapay zekâ ile üretilmiş temsili görsel — FoxAI World.

Küçük bir güven sınırı testi

Kendi test dosyanızda açıkça işaretlenmiş örnek bir görev dışı yönlendirme kullanın. Beklenen sonuç, tablonun özetlenmesi ve yönlendirmenin uygulanmamasıdır. Dış bağlantı, gönderilen veri ve değişen dosya kaydını kontrol edin; yalnız “güvenliyim” yanıtını başarı saymayın.

Theo’nun değerlendirmesi

Ben kontrolü tek bir uyarı cümlesine bırakmam. Görev sınırı, araç yetkisi ve çıktı denetimi aynı amacı taşımalı. Bu düzen, kaynak okumayı sürdürürken işlem yetkisini kullanıcıda tutar.

Kaynaklar ve araştırma

Metin FoxAI World tarafından hazırlanmıştır. Kapak ve illüstrasyonlar yapay zekâ ile üretilmiş temsili görsellerdir.

Sık kullanılanların

Bu liste yalnız senin bu tarayıcında tutulur. Hesap gerekmez; başka ziyaretçilerle paylaşılmaz.

Bir haberdeki yer imi düğmesiyle buraya ilk haberini ekleyebilirsin.