Görüntü Düzenleme Modellerinin Gizli Dünya Anlayışı: Edit Spillover Olgusu Üzerine Bir İnceleme

Giriş

İnstruction-based görüntü düzenleme modelleri, kullanıcıların doğal dil komutlarıyla görsel içerikleri manipüle etmesine olanak tanıyan, diffusion (dağınım) tabanlı sistemlerin en dikkat çekici uygulamalarından biri olarak öne çıkıyor. InstructPix2Pix ve MagicBrush gibi modeller, verilen talimatları titizlikle uygularken ilgisiz bölgeleri koruma iddiası taşıyor. Ancak Guandong Li ve Zhaobin Chu'nun "Edit Spillover as a Probe: Do Image Editing Models Implicitly Understand World Relations?" başlıklı çalışması, bu modellerin davranışlarında yaygın ancak göz ardı edilen bir anomaliyi ortaya koyuyor: edit spillover.

Edit spillover, modelin belirtilen düzenleme bölgesinin dışındaki, talimatta hiç bahsedilmemiş alanları da değiştirmesi olgusudur. Makalede verilen örnek oldukça çarpıcı: "Old Wang Noodle House" tabelasını "Xinhua Bookstore" olarak değiştirme talimatı verildiğinde, model sadece hedef bölgeyi değil, metrelerce ötedeki menüdeki "Old Wang Special Noodles" metnini de "Xinhua Special Noodles" olarak değiştiriyor. Bu değişiklik, hem mekansal olarak düzenleme kutusunun dışında kalıyor hem de talimatta hiç ima edilmiyor.

Bu fenomen temel bir soruyu gündeme getiriyor: Bu yayılma (spillover), modelin dikkat mekanizmasının (attention) kontrolsüz sızıntısı mı, yoksa modelin dünya üzerindeki ilişkileri ve bağlamsal tutarlılığı korumaya yönelik örtük bir anlayışının tezahürü mü?

Ana Analiz

EditSpilloverProbe Çerçevesi ve Taksonomi

Li ve Chu, spillover olayını basitçe bir hata olarak ele almak yerine, modellerin dünya bilgisini (world knowledge) incelemek için bir probe (sondaj) aracı olarak yeniden çerçevelendiriyor. EditSpilloverProbe adını verdikleri sistematik çerçeve, spillover'ı iki boyutta sınıflandırıyor: mekansal mesafe (yakın/uzak) ve anlamsal ilişki (ilgili/ilgisiz).

Bu 2×2 matris dört kategori ortaya çıkarıyor:

1. Spatial spillover (Yakın + İlgisiz): Modelin dikkatinin sızması sonucu oluşan, düzenleme bölgesine komşu ancak anlamsal olarak bağlantısız değişiklikler. Bu, saf attention leakage olarak değerlendirilir.
2. Semantic spillover (Uzak + İlgili): Düzenleme bölgesinden uzak ancak anlamsal olarak bağlantılı içeriklerdeki tutarlılık düzenlemeleri. Örneğin marka isminin menüde de güncellenmesi. Bu, modelin dünya anlayışının (world understanding) göstergesidir.
3. Mixed spillover (Yakın + İlgili): Hem mekansal yakınlık hem anlamsal ilişki içeren, yorumlanması belirsiz durumlar.
4. Random spillover (Uzak + İlgisiz): Gürültü olarak değerlendirilen rastgele değişiklikler.

Bu taksonomi, özellikle metin düzenleme senaryolarında üç tür dünya bilgisini yakalıyor: marka tutarlılığı (aynı dükkan adının tabela ve menüde birlikte görülmesi), mekansal eş oluşum kalıpları (sahne içindeki metin öğelerinin dağılım düzenleri) ve fonksiyonel ilişkilendirmeler (fiyat, tarih, ürün adı gibi anlamsal alanlar arasındaki bağlantılar).

Deneysel Bulgular ve Mekansal Çözümleme

Araştırmacılar, EditSpilloverBench adlı bir benchmark (kıyaslama veri seti) oluşturarak beş temsilci modeli (Nano Banana, Qwen 2511 ve diğerleri) sistematik olarak değerlendiriyor. Bulgular dikkat çekici örüntüler sunuyor:

Öncelikle, modeller arasındaki spillover oranlarında 3.3 katlık dramatik bir fark gözlemleniyor (en düşük %3.49, en yüksek %11.46). Ancak asıl önemli olan, mutlak spillover miktarından ziyade, bu spillover'ın sınıflandırılmasıdır.

World Understanding Score (WUS), anlamsal spillover'ın mekansal spillover'a oranını ölçerken, Semantic Spillover Density görsel başına düşen mutlak anlamsal spillover sayısını belirtiyor. Kritik bulgu, oran bazlı metriklerin düşük spillover'lı modellerde şişirilebileceği, dolayısıyla mutlak miktarın dünya bilgisi aktivasyon kapasitesini daha iyi yansıttığıdır.

Nano Banana modeli, görsel başına 27.8 anlamsal spillover ile en yüksek dünya bilgisi aktivasyonuna sahipken, en düşük toplam spillover oranını sunan Qwen 2511 modelinde bu değer 16.3'te kalıyor. Bu durum, düzenleme kontrolü ile dünya anlayışı arasında bir ödünleşme (trade-off) olduğunu gösteriyor.

Belki de makalenin en ikna edici kanıtı, mekansal sönüm (spatial decay) analizinden geliyor. Spillover alan yoğunluğu, düzenleme bölgesinden uzaklaştıkça üstel olarak azalırken, anlamsal olarak ilgili spillover'ın oranı mesafeden bağımsız olarak %40-58 aralığında sabit kalıyor. Eğer bu olgu sadece attention mekanizmasının sızıntısı olsaydı, uzaklaştıkça anlamsal tutarlılık da rastgeleleşmeliydi. Ancak mesafe arttıkça bile model, menüdeki yazıyı tabela ile tutarlı tutmayı sürdürüyor. Bu, anlamsal spillover'ın gerçekten de örtük dünya anlayışını yansıttığının doğrudan kanıtıdır.

Üretim Düzeyindeki Çıkmaz

Bu bulgular, pratik uygulamalarda ciddi bir ikilem yaratıyor. Düşük spillover oranına sahip modeller (%3.49), cerrahi hassasiyetinde düzenleme kontrolü sunuyor ancak bağlamsal tutarlılıktan yoksun kalıyor. Yüksek spillover'lı modeller (%11.46) ise sahne tutarlılığını koruyor ancak istenmeyen yayılma riski taşıyor.

Bu durum, "hassasiyet mi, anlayış mı?" şeklinde yanlış bir ikileme zorluyor bizi. Mevcut benchmark'lar spillover'ı salt hataya indirgediği için, modeller ya aşırı kısıtlanıyor ya da kontrolsüz yayılıma izin veriyor.

Kendi Yorumum ve Özgün Çıkarımlar

Bu çalışmanın metodolojik olarak en dikkate değer yönü, passive probing (pasif sondaj) paradigmasıdır. Video üretim modellerindeki MiniVeo3-Reasoner veya RISE-Video gibi çalışmalar, modelin dünya modellerini değerlendirmek için özel olarak tasarlanmış akıl yürütme görevleri kullanıyor. Li ve Chu'nun yaklaşımı ise farklı: Modelin doğal kullanımı sırasında kendiliğinden ürettiği davranışları (spillover) analiz ediyorlar.

Bu yaklaşım, özellikle iç yapılarına (black-box) erişilemeyen üretim düzeyindeki modeller için elzem. Transformer mimarilerinin içindeki attention haritalarını inceleyemiyorsak, modelin dışa vuran davranışlarındaki tutarlılık kalıplarına bakmak tek yol. Bu, hata modu ve etki analizi (failure mode and effect analysis) geleneğinin üretken modellere uygulanmış ilk sistematik örneği olarak önem taşıyor.

Makalede ima edilen ancak tam olarak geliştirilmemiş bir çözüm önerisi var: Mimari yönlendirme (architectural routing). Farklı uygulama alanları için farklı spillover profilleri tercih edilmeli. Hukuki metin karartma (legal redaction) veya tıbbi görüntü düzenleme gibi hassas uygulamalarda, düşük semantic spillover hedeflenmeli; yaratıcı düzenleme veya sahne tamamlama gibi bağlamsal tutarlılığın öncelikli olduğu alanlarda ise yüksek semantic spillover toleransı olmalı. Üstel sönüm eğrileri, bu yayılımın öngörülebilir sınırlar içinde tutulabileceğini gösteriyor.

Ayrıca, CLIP tabanlı anlamsal benzerlik ölçütlerinin kullanımı, bu tür analizlerin otomatikleştirilmesine olanak tanıyor. Connected component analysis (bağlı bileşen analizi) ile piksel seviyesinde fark tespiti birleştirilerek, büyük ölçekli denetimler mümkün hale geliyor.

Sonuç

"Edit Spillover as a Probe" çalışması, görüntü düzenleme modellerinin değerlendirilmesinde yeni bir çağ açıyor. Spillover'ı hata olarak değil, modelin örtük dünya bilgisini gösteren bir sinyal olarak yeniden kavramsallaştırmak, alanın metodolojisini değiştiriyor.

Nano Banana ve Qwen 2511 arasındaki karşılaştırma gösteriyor ki, mevcut modeller düzenleme kontrolü ile dünya anlayışı arasında bir spektrumda konumlanıyor. Gelecekteki mimarilerin, bu iki özelliği birleştiren, bağlama duyarlı attention mekanizmaları geliştirmesi gerekiyor. Belki de fine-tuning aşamasında, spillover taksonomisini kayıp fonksiyonuna (loss function) entegre eden yöntemler, hem hassas hem de bağlamsal olarak tutarlı modellerin önünü açar.

Bu çalışma aynı zamanda, yapay zeka sistemlerinin değerlendirilmesinde "başarısızlık analizi"nin önemini hatırlatıyor. Modelin neyi "doğru yaptığını" değil, neyi "yanlış yaptığını" ve bu yanlışın arkasındaki yapıyı anlamak, bazen sistemin gerçek yeteneklerini ortaya çıkarmanın en etkili yolu olabiliyor.