Vision Transformers'ta Figür-Zemin Organizasyonunun Lokasyonu ve Editlenmesi: BEiT Modellerinde Gestalt Prensiplerinin Mekanistik Analizi

Giriş: Global Receptive Field ve Algısal Örgütlenme Arasındaki Köprü

Vision Transformers (ViT'ler), bilgisayarlı görü alanında evrimsel bir dönüşümü temsil ediyor. Dosovitskiy ve arkadaşlarının 2021 yılında ortaya koyduğu bu mimari, görsel işlemeyi tamamen self-attention mekanizmaları üzerinden yeniden tanımlıyor. Convolutional Neural Networks (CNN'ler) gibi geleneksel mimarilerin inductive bias olarak adlandırılan yerel alıcı alan (local receptive field) kısıtlamalarından farklı olarak, ViT'ler görüntüyü birbirleriyle etkileşen yamaçlar (patches) dizisi olarak modelleyerek global uzamsal ilişkiler kurabiliyor. Bu esneklik, modelin uzak mesafelerdeki görsel öğeler arasında long-range interactions kurmasını mümkün kılıyor.

Ancak mimari kapasite ile algısal organizasyon arasındaki ilişki hâlâ derinlemesine incelenmesi gereken bir alan. İnsan görme sisteminin temelini oluşturan Gestalt psikolojisi prensipleri, özellikle figür-zemin organizasyonu (figure-ground organization), ViT'lerin içsel temsillerinde nasıl somutlaşıyor? Arnold ve Gröbner'in "Locating and Editing Figure-Ground Organization in Vision Transformers" başlıklı çalışması, bu soruyu mekanistik düzeyde yanıtlamaya yönelik kapsamlı bir girişim sunuyor.

Figür-zemin ayrımı, görsel sahnenin ön plan (figür) ve arka plan (zemin) olarak işlevsel bölütlenmesini ifade ediyor. Bu süreçte convexity (dışbükeylik) öncüsü, insan algısında belirleyici bir rol oynuyor. Kanizsa ve Peterson'ın klasik çalışmalarında da gösterildiği üzere, insanlar içbükey sınırları zemin olarak algılama eğilimindeyken, dışbükey bölgeleri figür olarak önceliklendiriyor. Arnold ve Gröbner'in araştırması, bu temel algısal eğilimin BEiT (BERT-based Image Transformer) modellerinde de ortaya çıktığını, ancak bunun pasif bir yan ürün olmadığını, belirgin fonksiyonel birimler tarafından aktif olarak yönetildiğini gösteriyor.

Yöntem ve Deneysel Tasarım: Dart Stimulüsü ve Mekanistik Yorumlanabilirlik

Araştırmacılar, figür-zemin çatışmasını kontrollü bir şekilde oluşturmak için dart (ok ucu) şeklinde sentetik görüntüler tasarlıyor. Bu şekillerde, yerel geometrik kanıt ile global organizasyon öncüleri arasında rekabet yaratan bir maskeleme stratejisi uygulanıyor. Spesifik olarak, içbükey dart şeklinin dışbükey gövdesi (convex hull) arasındaki fark bölgesi maskeleniyor. Bu durumda model iki olası tamamlama arasında seçim yapmak zorunda: yerel içbükey çentik (concave completion) mi yoksa global dışbükey üçgen mi (convex completion)?

BEiT modeli, bu görevde masked image modeling yaklaşımıyla çalışıyor ve araştırmacılar modelin içsel aktivasyonlarını logit attribution yöntemiyle analiz ediyor. Bu teknik, modelin residual stream'indeki aktivasyonları, ayrık görsel codebook uzayına izdüşümünü sağlayarak, figür-zemin kararının hangi alt yapılarda kodlandığını belirlemeye olanak tanıyor. Ayrıca activation scaling (aktivasyon ölçekleme) tekniği kullanılarak, belirli attention head'lerin fonksiyonel katkılarına müdahale edilebiliyor.

Deneysel sonuçlar, BEiT'in bu çatışma durumunda güvenilir bir şekilde dışbükey tamamlamayı tercih ettiğini gösteriyor. Bu tercih, modelin içsel kod kitabında (visual codebook) tanımlanabilir örüntüler olarak beliriyor. Özellikle dikkat çekici olan, figür-zemin organizasyonunun erken ve ara katmanlarda belirsiz (ambiguous) kalması, ancak son katmanlarda ani bir şekilde çözümlenmesi (resolve). Bu bulgu, algısal organizasyonun kademeli bir süreç değil, belirli bir hesaplama derinliğinde kararlaşan bir operasyon olduğunu düşündürüyor.

Bulgular: Modüler Organizasyon ve Tek Bir Attention Head'in Gücü

Çalışmanın en çarpıcı bulgusu, dışbükeylik öncüsünün (convexity prior) spesifik bir attention head tarafından tohumlanması (seed). Logit attribution analizleri, L0H9 (Layer 0, Head 9) kodlu attention head'in erken aşamada zayıf bir dışbükeylik önyargısı oluşturduğunu gösteriyor. Bu head, ağın ilk katmanlarında yer almasına rağmen, tercihin yönünü belirleyen kritik bir rol üstleniyor.

Araştırmacılar, bu spesifik head üzerinde activation scaling uygulayarak modelin perceptual conflict (algısal çatışma) kararını sürekli bir spektrum boyunca kaydırabiliyor. Yani L0H9'un aktivasyonlarını aşağı ölçeklendirdiklerinde (downscaling), modelin dışbükey tamamlama eğilimi azalıyor ve içbükey kanıtın yönlendirdiği tamamlamalar öne çıkıyor. Bu, tek bir fonksiyonel birimin modülasyonunun, modelin figür-zemin ayrımındaki dağılımsal kütle (distributional mass) kaymasına yol açabileceğini kanıtlıyor.

Bu bulgu önemli çünkü dışbükeylik öncüsünün pasif bir istatistiksel artık olmadığını, aksine ağ içinde aktif bir güç olarak yer aldığını gösteriyor. Ayrıca, farklı Gestalt prensiplerinin (closure, continuity, proximity gibi) farklı attention head'lere yerleşmiş olabileceği hipotezini destekliyor. Eğer convexity, closure veya symmetry gibi prensipler gerçekten de ayrılmış fonksiyonel birimlerde lokalize oluyorsa, bu durum Vision Transformers'ta domain-specific alt ağların varlığına işaret ediyor.

Kendi Yorumum: Özelleşmiş Devreler ve Bilişsel Analogiler

Bu çalışmanın çıkarımları, yapay sinir ağları mekanistik yorumlanabilirlik alanında yeni bir perspektif açıyor. L0H9'un tek bir tohum (seed) olarak işlev görmesi ve downstream katmanlarda figür-zemin kararının propagasyonunu etkilemesi, insan görsel korteksindeki hiyerarşik işlemeye dair nörobilimsel anomalilerle paralellik gösteriyor. İnsan beyninde ventral stream ve dorsal stream gibi fonksiyonel olarak özelleşmiş yollar (domain-specific streams) bulunuyor. Arnold ve Gröbner'in bulguları, ViT'lerin de benzer şekilde prior-spesifik alt ağlara (subnetworks) örgütlendiğini düşündürüyor.

Bu modülerlik anlayışının pratik sonuçları derin. Eğer closure (tamamlama), continuity (süreklilik) veya similarity (benzerlik) gibi diğer Gestalt prensipleri de benzer şekilde izole edilebilir attention head'lere karşılık geliyorsa, bu durum fine-tuning veya model düzenleme (model editing) süreçlerinde çok daha hassas müdahaleler yapılmasını mümkün kılacak. Örneğin, bir modelin belirli bir benchmark'ta şekil önyargısını (shape bias) artırmak istediğimizde, tüm ağı perturbasyonlara maruz bırakmak yerine, sadece ilgili Gestalt prensibinin kodlandığı spesifik head'lere odaklanabiliriz. Bu, collateral damage (yan hasar) riskini minimize ederek, modelin diğer yeteneklerini koruyarak hedeflenen davranış değişikliklerini gerçekleştirmemizi sağlar.

Ayrıca, erken katmanlarda (early layers) ortaya çıkan bu öncüllerin (priors) nasıl later katmanlarda (later layers) bütünleşerek kararlaştığı (resolve) sorusu, transformer mimarilerinde bilgi akışının dinamikler