Bir model çağrısından daha fazlası
Bir LLM isteği, çoğu zaman kullanıcı uygulaması, arka uç, model sağlayıcısı ve ek veri kaynaklarından oluşan bir akışın parçasıdır. Sorun yaşandığında yalnızca yanıt metnini görmek yetmez. Çağrının hangi istemciden geldiği, hangi uç noktaya gittiği ve aynı oturumdaki diğer isteklerle ilişkisi de önemlidir.
Başlangıç envanterinizde rota, istemci, zaman, durum kodu, gözlemlenebilen token sayıları ve gecikme yer alabilir. Bu alanların hangi protokollerde ve hangi yakalama noktalarında elde edilebildiğini açıkça belirtin. Şifreli veya görünmeyen bir akış için eksiksiz içerik görünürlüğü varsaymayın.
Kullanım ölçümü, güvenlik kararı değildir
Token hacmindeki ani değişim kapasite, maliyet veya hatalı tekrar denemeleri açısından araştırmaya değer olabilir. Ancak yüksek token sayısı otomatik olarak kötüye kullanım anlamına gelmez. Uzun bir belgeyi özetleyen meşru bir işlem de benzer bir artış üretebilir. Ölçümü kullanıcının iş akışı ve uygulamanın beklenen davranışıyla birlikte yorumlayın.
Benzer şekilde, istemde şüpheli görünen bir cümle bulmak ile başarılı bir prompt injection göstermek aynı şey değildir. OWASP, doğrudan kullanıcı girdilerinin yanında belge ve web içeriği gibi dolaylı kaynakların da talimat manipülasyonu taşıyabileceğini açıklar. Bulguyu modelin sonraki çıktısı ve uygulamanın yetki sınırlarıyla ilişkilendirin.
Örnek bir inceleme kaydı
Kurgusal bir destek asistanında /v1/chat/completions çağrısının alışılmadık biçimde tekrarlandığını düşünün. Önce tekrarların aynı oturumdan mı, bir uygulama hatasından mı yoksa farklı istemcilerden mi geldiğini ayırın. İstek kimliği ve zaman bilgisi, ham konuşmanın tamamını kaydetmeden ilk ilişkilendirmeyi kurmanıza yardımcı olabilir.
İçerik incelemesi gerekiyorsa erişimi yetkili kişilerle sınırlayın. API anahtarlarını, erişim tokenlarını ve gereksiz kişisel verileri kayıttan çıkarın. Maskelenen bir alanın sonraki araştırmaya etkisini de belgeleyin; görünmeyen veriyi varmış gibi değerlendirmeyin.
Kontrolü uygulama sınırlarında tamamlayın
Görünürlük, incelemeyi hızlandıran bir girdidir. Yetkilendirme, araç erişimi ve veri erişim kararlarının uygulama tarafında da açık kuralları olmalıdır. Bir model çıktısını, kullanıcıya veya araca yeni yetki verme gerekçesi olarak kabul etmeyin. Uygun yerlerde insan onayı, izin listeleri ve işleme özgü kontroller kullanın.
İlk ölçüm setini küçük tutun ve bir gerçek iş akışı üzerinden değerlendirin. Amaç, mümkün olan her şeyi saklamak yerine güvenlik ekibinin belirli bir olayı açıklayabildiği, kontrollü bir kayıt düzeni oluşturmaktır.
Kaynaklar ve ilgili okuma
Bu yaklaşımı kendi ortamınızda değerlendirmek ister misiniz?
Krepost ile görüşün