Vision-Language Modellerinde Güvenlik Yargılarının Yönlendirilmesi: SAVeS Çerçevesi ve Anlamsal Hassasiyet

Giriş: Vision-Language Modellerinde Bağlamsal Güvenlik Sorunu

Günümüzde vision language modelleri (VLMs), robotik sistemlerden otonom araçlara kadar geniş bir yelpazede fiziksel dünya ile etkileşime giren uygulamalarda kullanılmaya başlandı. Bu modeller, görsel girdileri ve doğal dil talimatlarını birleştirerek karmaşık görevleri yerine getirme yeteneğine sahip. Ancak bu yetenek, beraberinde kritik bir güvenlik sorusunu da getiriyor: Bir model, aynı dilsel talimatın farklı görsel bağlamlarda güvenli mi yoksa tehlikeli mi olduğunu nasıl ayırt edebilir?

Carlos Hinojosa, Clemens Grange ve Bernard Ghanem tarafından kaleme alınan SAVeS: Steering Safety Judgments in Vision-Language Models via Semantic Cues başlıklı çalışma, tam da bu noktaya odaklanıyor. Makalede verilen örnek oldukça çarpıcı: "Tezgah üzerindeki eşyaları şeffaf cam kavanoza koy" talimatı, eşyalar şekerlerden oluşuyorsa tamamen masumken, çamaşır deterjanı kapsüllerinden oluşuyorsa ve kavanoz çocuklara yönelik etiketlenmişse ciddi bir zehirlenme riski taşıyor. Bu durum, güvenliğin durumsal (situational) bir özellik olduğunu ve modellerin görsel kanıtları gerçekten anlayıp anlamadıklarını sorgulamamız gerektiğini gösteriyor.

Mevcut güvenlik değerlendirmeleri genellikle modellerin ne sıklıkla reddetme (refusal) davranışı gösterdiğine odaklanıyor. Ancak yüksek reddetme oranı, modelin reddetme gerekçelerini görsel tehlikelere dayandırdığı anlamına gelmiyor. Model, öğrenilmiş dilsel kalıplara veya yüzeysel görsel özelliklere dayanarak yanlış reddetmeler (over-refusal) yapabilir veya tehlikeli durumlarda uyumsuz bir şekilde uyum sağlayabilir (unsafe compliance). İşte SAVeS çalışması, bu boşluğu doldurmak için tasarlanmış bir çerçeve sunuyor.

Ana Analiz Bölüm 1: Semantic Steering Mekanizması ve Deneysel Tasarım

SAVeS çalışmasının metodolojik olarak en güçlü yönü, güvenlik davranışlarını birer nedensel prob (causal probe) olarak ele alması. Araştırmacılar, piksel içeriğini değiştirmeden kontrollü müdahaleler (interventions) uygulayarak, reddetme davranışının gerçekten görsel tehlikeleri mi takip ettiğini yoksa sadece dilsel kalıplarla mı korelasyon gösterdiğini izole ediyorlar.

Bu amaçla üçlü bir semantic steering çerçevesi öneriliyor:

Metinsel Steering: Modelin dikkatini yönlendirmek için koordinat referansları veya mekansal açıklamalar içeren metinsel ipuçları ekleniyor. Örneğin, "sol üst köşedeki kırmızı nesneye dikkat et" gibi ifadeler kullanılıyor.

Görsel Steering: Görüntü üzerine anlamsal işaretçiler (semantic markers) yerleştiriliyor. Daireler, oklar veya vurgu kutuları gibi basit görsel öğeler, modelin belirli nesnelere odaklanmasını sağlıyor. Önemli olan, bu işaretçilerin sahne içeriğini değil, sadece modelin dikkat yönetimini etkilemesi.

Bilişsel Steering: Modelden güvenlik konusunda açık çıkarım (explicit reasoning) yapması istenen promptlar kullanılıyor. "Bu sahneyi güvenlik açısından analiz et" veya "işaretlenen bölgedeki riskleri değerlendir" gibi talimatlar, modelin bilişsel süreçlerini harekete geçiriyor.

Bu üç mekanizmanın kombinasyonları test edilerek, güvenlik kararlarının ne ölçüde bu dışsal ipuçlarına duyarlı olduğu ölçülüyor. Sonuçlar, oldukça basit anlamsal ipuçlarının bile güvenlik kararlarını önemli ölçüde değiştirebildiğini gösteriyor. Özellikle görsel işaretçiler ile açık çıkarım promptlarının birleştirilmesi, en güçlü yönlendirme etkisini (steering effect) yaratıyor.

Ana Analiz Bölüm 2: SA VeS Benchmark ve Değerlendirme Protokolü

Mevcut güvenlik benchmarklarının çoğu, reddetme oranını (refusal rate) doğrudan sağlamlık (robustness) göstergesi olarak kabul ediyor. Ancak SAVeS ekibi, bu yaklaşımın yanıltıcı olabileceğini savunarak SA VeS (Situational Safety under Semantic Cues) benchmarkını ve üç bileşenli bir değerlendirme protokolünü tanıtıyor.

Protokol üç metrik üzerinden kurulu:

Behavioral Response Accuracy (BRA): Modelin tehlikeli senaryolarda doğru davranış sergileyip sergilemediğini ölçüyor. Yani tehlikeli durumlarda reddetme, güvenli durumlarda uyum sağlama performansı izleniyor.

Grounded Safety Alignment (GSA): Modelin reddetme gerekçesinin, gerçekten görsel bağlamdaki tehlikeye dayanıp dayanmadığını değerlendiriyor. Model sadece "bu güvensiz" demekle kalmayıp, "çünkü bu deterjan kapsülleri çocuklar için tehlikeli" gibi görsel olarak temellendirilmiş açıklamalar sunuyor mu?

False Refusal Rate (FRR): Güvenli senaryolarda modelin gereksiz yere reddetme yapma oranını hesaplıyor. Bu metrik, halüsinasyonel risk algısını (hallucinated risk) yakalamak için kritik önem taşıyor.

Deneysel sonuçlar, farklı açık kaynak VLMs (vision language modelleri) üzerinde ve MSSBench Embodied gibi güncel benchmarklarla birlikte SA VeS üzerinde yürütülüyor. Bulgular oldukça çarpıcı: Güvenlik kararları, öğrenilmiş görsel dilsel ilişkilendirmelere (visual linguistic associations) dayanıyor ve gerçek bir görsel anlayış (grounded visual understanding) yerine, yüzeysel ipuçlarına aşırı duyarlı.

Araştırma ayrıca otomatik yönlendirme hatlarını (automated steering pipelines) da değerlendiriyor. Guardian (yardımcı), Auditor (denetleyici) ve Attacker (saldırgan) modelleri üzerinden yapılan testler, yardımcı yönlendirmenin sınırlı kazanç sağlarken, düşmanca yönlendirmenin (adversarial steering) sistemin güvenlik mekanizmalarını sistematik olarak aşabildiğini gösteriyor.

Kendi Yorumum: Asosyasyon Öğrenmesinin Limitleri ve Güvenlik Vizyonu

SAVeS çalışmasının temel çıkarımı, multimodal güvenlik sistemlerinin muhtemelen genel asosyasyon öğrenmenin bir yan ürünü (byproduct) olduğu, özel bir tehlike algılama mekanizması olmadığı yönünde. Bu durum, hem fırsatlar hem de kırılganlıklar barındırıyor.

Bir yandan, eğer modeller güvenlik kararlarını genel görsel dilsel ilişkilendirmeler üzerinden veriyorsa, bu ilişkilendirmeleri düzeltmek veya yönlendirmek mümkün. Fine tuning veya reinforcement learning from human feedback (RLHF) gibi tekniklerle bu asosyasyonlar güçlendirilebilir. Ancak diğer yandan, bu mekanizmaların dışsal ipuçlarına olan hassasiyeti, sistematik manipülasyonlara açık kapı bırakıyor. Bir saldırgan, piksel içeriğini değiştirmeden sadece anlamsal işaretçiler ekleyerek modeli güvenli senaryolarda bile reddetmeye zorlayabilir (induced over-refusal) veya tam tersine tehlikeli senaryolarda uyum sağlamaya teşvik edebilir.

Bu bulgu, mevcut transformer mimarilerinde attention mekanizmalarının nasıl çalıştığına dair mekanistik yorumlanabilirlik (mechanistic interpretability) çalışmalarıyla da bağdaşıyor. Modeller, "tehlike" kavramını soyut bir şekilde değil, belirli görsel ve dilsel kalıpların birleşimi olarak kodluyor gibi görünüyor. Örneğin, "çocuk etiketi" + "kapsül" + "kavanoz" kombinasyonu, modelin reddetme olasılığını artırıyor; ancak bu üç unsurun gerçekte bir arada bulunduğu bağlamı anlamadan.

SA VeS benchmarkının sentetik veri kullanması da dikkate değer. Kontrollü müdahaleler yapabilmek için üretilmiş bu veri seti, gerçek dünya karmaşıklığını tam olarak yansıtmayabilir. Ancak çalışma, bu sentetik ortamda dahi modellerin gösterdiği kırılganlığın, daha karmaşık gerçek dünya senaryolarında muhtemelen daha belirgin olacağını gösteriyor.

Gelecekteki güvenlik odaklı VLMs için önerim, reddetme politikalarını (refusal policies) sadece davranışsal düzeyde optimize etmekten ziyade, görsel temellendirme (visual grounding) mekanizmalarını açıkça modellemeye yönelmek olurdu. Belki de çok modalı sistemlerde, güvenlik değerlendirmesi için ayrılmış, nedensel çıkarım yapabilen özel modüller veya chain of