Prompt injection nedir, ajanları nasıl etkiler?
Yayın: · yapayzeka.org.tr
Kısa yanıt
Prompt injection (istem enjeksiyonu), modele verilen veya modelin okuduğu içeriğin talimat gibi kullanılıp davranışını amaç dışına yönlendirmesidir. Ajan dış sistemlerde işlem yapabiliyorsa saldırı bu yetkilere de uzanabilir. Yetkiyi daraltmak ve riskli eylemi ayrıca doğrulamak, yalnızca uyarı metni eklemekten daha kapsamlı bir koruma oluşturur.
Doğrudan enjeksiyonda talimat girişten gelir
Doğrudan enjeksiyonda yönlendirici içerik, kullanıcının modele yazdığı girişte bulunur. OWASP'ın büyük dil modeli uygulamaları için yayımladığı 2025 listesinde bu riskin kodu LLM01'dir. Örnek bir saldırı senaryosunda müşteri, destek asistanından iş kuralını bırakıp kendisine ayrıcalıklı işlem yapmasını isteyen bir mesaj yazabilir. Bu talebi, kurumun onay kuralını değiştiren yetkili bir talimattan ayırmak gerekir.
Müşteri kaydını değiştiren aracın yetkisini uygulama tarafında da sınamak gerekir. Örneğin kullanıcı başka müşterinin kaydını değiştirmeyi istediğinde model bunu uygun bulsa ve doğru kayıt numarasını üretse bile, işlem katmanının kullanıcıyla kayıt arasındaki erişim kuralını uygulayıp isteği reddetmesini kabul koşuluna koyun. Modelin kararı yeterli sayılmaz. Yanıtı ve aracın işlemini birlikte inceleyin.
Olağan kullanıcı talebiyle saldırı girişimini ayırırken iş bağlamını korumak gerekir. Örnek destek akışında müşterinin kendi adresini düzeltmek istemesi meşru bir taleptir. İşlemin yapılıp yapılamayacağını ise kimlik ve sipariş eşleşmesi belirler. Meşru örneği de yetkisiz değişiklik isteğiyle birlikte test edin. Aksi hâlde her şeyi reddeden bir sistemi başarılı sayma riski doğar.
Dolaylı enjeksiyon okunan içerikte saklanır
Dolaylı enjeksiyonda saldırı, ajanın okuduğu dış kaynakta yer alır; bir web sayfası veya dosya üzerinden gelebilir. Diyelim ki çalışan ajandan yalnızca tedarikçi belgesini özetlemesini istedi. Belgede ise özeti başka bir alıcıya göndermesini isteyen bir metin bulunuyor. Gönderim isteği çalışandan gelmiyor. Kabul testinde, belgeden gelen bu ek isteğin görevin kapsamını değiştirip değiştirmediğine ve gönderim aracına ulaşıp ulaşmadığına bakılabilir.
Anthropic'in tarayıcı ajanları üzerine güvenlik yayını, web içeriğinin bu tür bir saldırı taşıyabileceğini anlatıyor. İçerik güvenilir görünen bir uygulamadan gelse de tasarımınızda bu içeriğe yönetici yetkisi vermemenizi öneriyoruz. Örnek bir şirket arşivinde, dışarıdan yüklenen dosya daha sonra kurum içi aramada bulunabilir. Test planında içeriğin kaynağı kadar yükleme yolunu da düşünmek yararlı.
Bu nedenle bağlayıcıyı değerlendirmekle getirdiği içeriği değerlendirmek ayrı işlerdir. MCP bağlantısı kurulmuş bir araç da dışarıdan yazılmış metin taşıyabilir. Kendi denemenizde aynı belgenin normal sürümünü ve zararsız bir test talimatı eklenmiş sürümünü karşılaştırarak ikinci sürümün araç kullanımını değiştirip değiştirmediğine bakın. Gerçek müşteri verisi veya dışarıya gönderim bu testte bulunmasın.
Araç yetkisi saldırının sonucunu değiştirir
Yalnızca özet hazırlayan bir sistemde hedef, çıktının yanlış yönlendirilmesi olabilir. Aynı sistemin kayıt yazma aracı varsa değerlendirme alanı genişler: modelin önerdiği işlemin hangi kayıt üzerinde yürütülebileceğini de kontrol etmek gerekir. OWASP'a göre saldırının etkisi, uygulamanın bağlamına ve modele tanınan yetkiye bağlıdır. Şirketinizdeki testin kapsamını da ajana tanınan yetkilere göre belirleyin.
Örnek bir satın alma asistanına tedarikçi belgelerini okuma izni verildiğini düşünün. Ödeme alıcısını değiştirme aracı bu görevin dışında kalsın. Bu görev için yazma yetkisine ihtiyaç yoksa aracı kapatmak, saldırının ulaşabileceği işlemleri daraltan bir tasarım kararıdır. Gereken okuma yetkisini de ayrı değerlendirin; bütün kurum kayıtlarını aynı görev hesabına açmak yerine belirli bir kayıt kümesiyle deneme yapabilirsiniz.
Talimat metninin dışındaki kontroller
OWASP'ın önerileri arasında en az yetki, dış içeriği ayırma ve yüksek riskli işlemlerde insan onayı bulunuyor. Bunları kendi akışınızda somutlaştırın. Örneğin uygulama, modelden dönen alıcı adresini izin verilen adreslerle karşılaştırır ve başka bir alıcı önerildiyse gönderimi başlatmaz. Kabul testinde açık bir koşul arayın: bu kontrol, modelin aynı metni yeniden yorumlamasına bağlı kalmamalı.
Onay ekranına taşınan gerekçenin de saldırıdan etkilenip etkilenmediğini sınayın. Örnek bir kayıt değişikliğinde eski ve yeni değerle birlikte kaynak talebin gösterilmesini öneriyoruz; böyle bir düzende çalışan, seçilen kaydı ve ajanın özetindeki iddiayı asıl içerikle karşılaştırır. Özetin doğruluğu ayrıca incelenir. İnsan onayı rehberi, bu kontrolün hangi eylemden önce yer alacağını değerlendirmek için sorular içeriyor.
Filtrelerin etkisini de deneme verisiyle sınayın. Bir şüpheli ifadenin yakalanması, başka biçimde yazılmış talimatların da engellendiğini kanıtlamaz. Anthropic, tarayıcı kullanımında prompt injection sorununu çözülmüş kabul etmediğini belirtiyor. Tedarikçinizden yalnızca engellenen örnekleri göstermesini istemek yerine, başarısız testleri nasıl kayda aldığını ve hangi işlem sınırını değiştirdiğini açıklamasını isteyin.
Saldırı denemesinin başarı ölçütü
Testin hedefini 'ajan tuhaf yanıt verdi mi' diye kurmak dar kalır. Örnek belge özetleme görevinde beklenen davranış, belgedeki yönlendirici talimata uymadan özeti tamamlamak veya işi açıklanmış nedenle insana bırakmak olabilir. Her iki durumda da yasak aracın çağrılmadığını ve yetkisiz kayıt erişiminin denenmediğini kontrol etmek gerekir. Yürütme kaydı, sohbet ekranında görülenlere ek bir kanıttır.
Aynı test setine normal belgeleri de katın. Örneğin güvenlik değişikliğinden sonra olağan iş talimatları içeren bir bakım belgesi saldırı sanılıp reddedilsin. Süreç sahibi hangi meşru özetleme işinin yapılamadığını incelerken teknik ekip hangi ifadenin durdurma kararına yol açtığına bakabilir. Bu belgeyi silmeyin. Beklenen normal çıktı test setinde kaldığında sonraki düzeltmenin kullanılabilirliği geri getirip getirmediği de izlenebilir.
Araç yetkisi genişlediğinde aynı saldırı örneklerinin etkisini yeniden değerlendirmeyi öneriyoruz. Örnek özetleme ajanına daha sonra gönderim aracı eklenecekse, daha önce yalnızca yanlış metin üreten bir testin bu kez dışarıya mesaj gönderilmesine yol açıp açmadığı incelenmeli. Yeni yetki için ayrıca test gerekir. Süreç sahibi, değişen yetkiyle birlikte hangi sonucun yasak olduğunu test kaydına ekleyebilir.
Canlı kullanımda şüpheli bir görev görüldüğünde hangi araç yetkisinin geçici olarak kapatılacağını önceden belirleyin. Genel veri paylaşımı politikası için veri sızıntısı rehberine başvurabilirsiniz. Buradaki ilk operasyon işi ise yetki listesini gözden geçirip dış içerik okuyan ajanın gereksiz yazma araçlarını erişiminden çıkarmaktır.
Kaynaklar
- OWASP, LLM01:2025 Prompt Injection18 Kasım 2024
- Anthropic, Mitigating the risk of prompt injections in browser use24 Kasım 2025