Çerçeveli Körlük: Vision-Language Modellerinde Soru Biçimlendirmesinin Görsel Dikkati Yönlendirmesi

Giriş

Vision-Language Modelleri (VLMs), görsel ve dilsel modaliteleri birleştirerek çok yönlü akıl yürütme görevlerinde büyük ilerlemeler kaydetmiş olsa da, temel bir soru hala yanıt bekliyor: Bu modeller gerçekten gördüklerini mi değerlendiriyor, yoksa güçlü dilsel önselere (language priors) dayanarak mantıklı görünen yanıtlar mı üretiyor? "Tinted Frames: Question Framing Blinds Vision-Language Models" başlıklı çalışma, bu soruya mekanistik bir perspektiften yaklaşarak VLMLerin "seçici olarak kör" olduğunu gösteriyor. Araştırmacılar, aynı görsel içeriği değerlendirmeyi gerektiren soruların, açık uçlu (open-ended), evet/hayır (yes/no) veya çoktan seçmeli (multiple choice question, MCQ) gibi farklı biçimlerde sunulmasının, modelin görsel girdiye ayırdığı dikkat miktarını ve dağılımını kökten değiştirdiğini ortaya koyuyor.

Bu bulgu, VLMLerin değerlendirilmesinde kullanılan temel varsayımları sarsıyor. Eğer bir model, aynı görsel kanıtı değerlendirirken sorunun çerçevesine (framing) göre farklı "bakış" stratejileri sergiliyorsa, bu durum model yeteneklerinin ölçülmesinde ciddi tutarsızlıklara yol açıyor. Makalede sunulan dikkat haritaları (attention maps), açık uçlu sorularda hedef nesnelere yoğunlaşan modelin, kısıtlı çerçevelerde (constrained framings) görsel bağlamdan koparak anlamsız arka plan tokenlerine yöneldiğini gösteriyor.

Mekanistik Analiz: Dikkat Dağılımı ve Çapraz Çerçeve Tutarsızlığı

Çalışmanın metodolojik olarak en dikkat çekici yönü, dikkatin (attention) sadece niceliksel değil niteliksel olarak da incelenmesi. Araştırmacılar, attention rollout tekniğini kullanarak, katmanlar arası bilgi akışını izliyor ve modelin çıktı üretme kararlarında hangi görsel bölgelere başvurduğunu haritalıyor. Bu analiz, kısıtlı çerçevelerin sadece görsel girdiye toplam dikkati azaltmakla kalmayıp, aynı zamanda görevle ilgili bölgelerden uzaklaşarak "dikkat lavabosu" (attention sink) olarak adlandırılan anlamsız tokenlere kaydırdığını gösteriyor.

Makalede tanımlanan cross-framing inconsistency (çapraz çerçeve tutarsızlığı) metriği, aynı anlamsal sorunun farklı biçimlerde sunulduğunda model tutarlılığını ölçüyor. Bulgular, açık uçlu soruları doğru yanıtlayan modellerin, özellikle nesne yerelleştirme (object grounding) gerektiren görevlerde, aynı sorunun evet/hayır veya MCQ versiyonlarında başarısız olduğunu gösteriyor. Örneğin, bir görseldeki koltuğun rengini açık uçlu olarak doğru tanımlayan model, "Büyük koltuk beyaz mı?" sorusuna "Hayır" veya MCQ seçenekleri arasında "Siyah" (B seçeneği) yanıtını verebiliyor. Bu tutarsızlık, modelin dilsel önsellerinin görsel kanıtlarla çatıştığı durumlarda görsel dikkatin yetersizliğinden kaynaklanıyor.

Araştırmacılar, bu dikkat yanlış tahsisinin (attention misallocation) doğruluk kaybının temel nedeni olduğunu mekanistik olarak doğruluyor. Yani soru çerçevesi, dolaylı olarak dikkat dağılımını değiştirerek (F→A), bu da tahmin kalitesini düşürerek (A→Y) hatalara yol açıyor. Bu bulgu, VLMLerin "kör" olduğu yönündeki genel kanıyı, bu körlemenin seçici ve bağlamsal olduğu şeklinde nüanslandırıyor.

Verimlilik mi, Körlük mü? Alternatif Bir Bakış Açısı

Söz konusu makaleye dair yapılan bir eleştirel değerlendirmede, bu fenomenin "körleşme" olarak nitelendirilmesinin yerinde olup olmadığı sorgulanıyor. Alternatif görüşe göre, model görsel girdiden kasıtlı olarak kopmuyor; aksine, kısıtlı seçeneklerin (constrained options) verimli akıl yürütme imkanı tanıdığını doğru bir şekilde çıkarıyor. MCQ veya evet/hayır formatlarında, model görsel detaylara tam odaklanmak yerine dilsel önselere başvurarak daha hızlı ve hesaplama açısından verimli kararlar alıyor. Gözlemlenen doğruluk düşüklüğü, körlükten ziyade, önsellerin düşmanca tasarlanmış (adversarial) seçeneklerle karşılaşmasının bedeli olarak yorumlanabilir.

Bu perspektif, sorunun sadece model davranışında değil, değerlendirme tasarımında (evaluation design) yattığını öne sürüyor. Farklı soru yapılarının farklı akıl yürütme derinliklerini tetiklemesi doğal bir sonuçtur ve tüm çerçevelerde tek tip dikkat kalıpları (uniform gaze patterns) zorlamak, semptomları tedavi etmeye çalışmak gibidir. Bu görüşe göre, açık uçlu sorular görsel zorunluluk gerektirirken, kısıtlı çerçeveler dilsel çıkarımı yeterli kılabilir. Modelin görsel dikkati azaltması, bir zayıflık değil, mevcut bağlam için optimal kaynak tahsisi (resource allocation) olabilir.

Ancak bu argüman, VLMLerin güvenilirliği ve sağlamlığı (robustness) açısından sorular barındırıyor. Eğer bir model, seçeneklerin kısıtlı olduğunu fark ettiğinde görsel kanıtları göz ardı ediyorsa, bu durum kötü niyetli olarak tasarlanmış seçenekler karşısında sistematik olarak başarısız olacağı anlamına gelir. Güvenlik açısından kritik uygulamalarda (örneğin tıbbi görüntü analizi veya otonom sistemler), modelin her durumda görsel kanıtlara sıkı sıkıya bağlı kalması (visually grounded) gerekir. Dolayısıyla "verimlilik" argümanı, pratik kullanım senaryolarında kabul edilemez hataların sıklığını artırabilir.

Kendi Yorumum ve Özgün Çıkarımlar

Bu iki bakış açısı arasındaki gerilim, yapay zeka sistemlerinde verimlilik ile sağlamlık arasındaki temel ikilemi yansıtıyor. Makalenin önerdiği prompt-tuning çözümü, bu ikilemi aşmak için ilginç bir yol sunuyor. Araştırmacılar, öğrenilebilir soft tokenler kullanarak kısıtlı çerçevelerin dikkat dağılımını, açık uçlu ayarların sağlam kalıplarına hizalaymayı başarıyor. Bu müdahale, model ağırlıklarını değiştirmeden sadece hafif bir istem ayarlamasıyla (lightweight prompt-tuning) görsel zeminlemenin (visual grounding) geri kazanılabileceğini gösteriyor.

Bu bulgu, "verimlilik" argümanının kısmen geçersiz kılındığını düşündürüyor. Eğer model, ek hesaplama maliyeti olmadan ve mimari değişiklik gerektirmeden görsel dikkati artırabiliyorsa, bu durum kısıtlı çerçevelerdeki düşük dikkatin kaçınılmaz bir verimlilik stratejisi değil, istenmeyen bir yan etki olduğunu destekliyor. Yani model "doğru bir şekilde" verimli davranmıyor; aksine dilsel önsellerin baskınlığına kapılarak görsel kanıtları göz ardı ediyor.

Ancak değerlendirme tasarımı konusundaki eleştiri ciddiye alınmalıdır. Benchmark tasarımcıları, MCQ formatlarının doğası gereği modelin dilsel çıkarım kapasitesini ölçtüğünü, saf görsel anlayışı değil, görsel dilsel entegrasyonu test ettiğini kabul etmelidir. Farklı çerçevelerin farklı bilişsel talepler oluşturduğu gerçeği, tek bir metrikle model değerlendirmenin yetersizliğini gösteriyor. Gelecekteki değerlendirme protokolleri, çapraz çerçeve tutarlılığını bir kalite göstergesi olarak standartlaştırmalı ve modellerin görsel kanıtlara ne ölçüde bağlı kaldığını sistematik olarak raporlamalıdır.

Son olarak, transformer mimarisindeki attention mekanizmalarının bu kadar kolay çerçeve bağımlı hale gelmesi, mimari tasarımda görsel ve dilsel akışların entegrasyonunu yeniden düşünme ihtiyacını ortaya koyuyor. Belki de mevcut mimarilerde görsel tokenlerin dilsel bağlam karşısındaki konumu, bu asimetrik dikkat dağılımına zemin hazırlıyor.

Sonuç

"Tinted Frames" çalışması, Vision-Language Modellerinin değerlendirilmesinde ve geliştirilmesinde önemli bir paradigma değişimi öneriyor. Model yeteneklerini ölçerken kullandığımız soru çerçevelerinin, modelin "görme" biçimini doğrudan etkilediği gerçeği, mevcut benchmark sonuçlarının yeniden yorumlanmasını gerektiriyor. Makalenin gösterdiği gibi, kısıtlı çerçevelerdeki düşük performans sadece bir değerlendirme hatası değil, modelin görsel kanıtlardan kopma eğiliminin bir belirtisidir.

Prompt-tuning ile bu sorunun hafifletilebilir olması, gelecekteki VLMLerin hem verimli hem de görsel olarak sağlam kalabileceğine dair umut veriyor. Ancak bunun için topluluğun, farklı soru biçimlerinin tetiklediği farklı dikkat stratejilerini kabul ederek, değerlendirme protokollerini ve hatta eğitim hedeflerini buna göre yeniden yapılandırması gerekiyor. Görsel dil modellerinin gerçekten "gördüklerini" anladığından emin olmak istiyorsak, onlara sorduğumuz soruların çerçevesini de en az içeriği kadar ciddiye almalıyız.