Kararın dayanağı
Belgeleri, e-postayı ve model çıktısını güvenilmeyen girdi olarak ele alın. Metinde talimat bulunması, onu vermeye yetki sağlamaz. OWASP enjeksiyon ve aşırı eylem yetkisini risk olarak tanımlar; sınırlar modelin cümlesi dışında uygulanmalıdır.
Somut bir örnek
Varsayımsal tedarikçi e-postası kuralları yok sayıp bütün müşterileri çıkarmayı istesin. Bu e-posta incelenecek içeriktir; uygulamaya talimat verme yetkisi taşımaz. Model dışa aktarım istese bile uygulama gerçek kullanıcının hakkını, hedefi ve onaylı işlemi kontrol etmelidir.
Değerlendirilecek seçenekler
Yalnız okuyan asistan daha az eylem yapabilir. Yazma için dar araç, doğrulanmış parametre ve açık onay sağlayın. Önemli işlemlerde sıradan onay formu daha uygun olabilir.
Planın aksadığı yer
Prompt’a kimlik bilgisi koymayın; “sırları açıklama” erişim kontrolü değildir. Araçların erişebildiği veriyi sınırlayın ve belge araması başlamadan önce hangi müşteri hesabının verilerine erişilebileceğini denetleyin. Ekteki düşmanca talimatları da sınayın.
Yetkiyi komutun özelliği yapın
Tedarikçi asistanına mevcut kullanıcının siparişini okuma veya yanıt taslağı hazırlama gibi dar yetenekler verin. Kullanıcı ve tenant bilgisi, e-postadan veya modelin önerdiği alandan değil doğrulanmış uygulama oturumundan gelsin. Seçilen kaydın sahipliğini sunucuda kontrol edin. Parametreler başka müşteriye, hedefe veya veri kapsamına yönelebiliyorsa izinli araç adı tek başına yeterli olmaz.
Sonuç doğuran işlemi önizlemede gösterin. Onayı genel bir “evet”e değil, belirli kayda, işleme ve önemli parametrelere bağlayın. Parametre veya kayıt durumu değişirse yeni karar alın. Salt okuma da hassas veri açığa çıkarabilir; izinler yalnız yazmaya değil belge aramasına ve gösterilen parçalara da uygulanmalı.
Reddedilen isteği ve güvenli kapatmayı prova edin
Başka hesabın verisini açıklamasını isteyen kurgu kötü niyetli eki, meşru istekle birlikte test edin. Gerçek müşteri verisi kullanmayın. Model uygunsuz araç isteği üretse bile yetkisiz okuma, yazma veya dış gönderim gerçekleşmemesi kabul koşuludur. Hata mesajının korunmuş kaydın varlığını açıklayıp açıklamadığını da inceleyin.
Operatör, uygulamanın güvenli bölümleri çalışırken tek aracı veya kaynağı kapatabilsin. Yetki kaldırılınca kuyruktaki işin akıbetini tanımlayın. İşlem referansı, yetki kararı ve güvenli hata kategorisini sınırlı erişimle kaydedin; sırları ve gereksiz belge metnini loglara almayın. Her yeni veri kaynağı veya yetenekte incelemeyi tekrarlayın. Başarılı test bilinen riskleri daraltır; prompt injection’ın bittiğini kanıtlamaz.
İşe başlamadan önce
Neyi okuyabilir, değiştirebilir, gönderebilir? Sunucu neyi zorunlu tutar? Ret sonrası hangi kanıt kalır? Araç veya kaynak değişince kontrolleri tekrarlayın.
Kaynaklar ve ek okumalar
Yapay zekâ entegrasyonu
Fayda sağladığı yerde yapay zekâ. Gerektiği yerde net sınırlar.
Bu hizmeti konuşalım