Bilimsel Disiplinlerde Görsel Düzenleme: GRADE Benchmark'ının Işığında Yapay Zeka Modellerinin Çıkarım Sınırları

Giriş

Birleşik çok modlu modellerin (Unified Multimodal Models, UMM'ler) son yıllardaki yükselişi, görsel algı ve üretim yeteneklerinin tek bir çatı altında toplanması yönünde önemli adımlar sundu. Bu modeller, doğal dil komutlarını görsel içeriklere dönüştürme, mevcut görselleri düzenleme ve çok adımlı çıkarım zincirleri kurma kapasiteleriyle öne çıkıyor. Ancak mevcut değerlendirme protokolleri büyük ölçüde doğal görüntüler (fotoğraflar, günlük sahneler) ve yüzeysel ortak duyu (commonsense) çıkarımlarıyla sınırlı kalıyor. Bu durum, modellerin disiplin spesifik, yapılandırılmış bilgi gerektiren akademik senaryolardaki performansını ölçme konusunda ciddi bir boşluk yaratıyor.

Liu ve arkadaşlarının sunduğu "GRADE: Benchmarking Discipline-Informed Reasoning in Image Editing" çalışması, bu boşluğu doldurmaya yönelik ilk kapsamlı girişimi temsil ediyor. GRADE (Grounded Reasoning Assessment for Discipline-informed Editing), akademik alanlara özgü bilgi ve çıkarım gerektiren görsel düzenleme görevleri için tasarlanmış ilk benchmark olarak karşımıza çıkıyor. Doğal görüntü düzenlemede başarılı olan modellerin, kimyasal yapı formülleri, geometrik diyagramlar veya istatistiksel görselleştirmeler gibi alan bilgisi yoğun içeriklerde nasıl başarısız olduğunu sistematik olarak ortaya koyuyor.

Ana Analiz: GRADE'nin Metodolojisi ve Çok Boyutlu Değerlendirme

GRADE, 10 farklı akademik disiplini (doğa bilimlerinden sosyal bilimlere, uygulamalı alanlara kadar) kapsayan 520 özenle seçilmiş örnekten oluşuyor. Bu örnekler, araştırma asistanlarının geometrik şekilleri düzeltmesi, kimyasal bağ yapılarını modifiye etmesi veya veri görselleştirmelerini iyileştirmesi gibi pratik akademik senaryoları yansıtıyor. Benchmark'ın asıl yeniliği, yalnızca piksel düzeyinde görsel kaliteyi değil, disiplin bilgisinin yapılandırılmış uygulanmasını ölçen çok boyutlu değerlendirme protokolünde yatıyor.

Değerlendirme üç temel boyutta gerçekleştiriliyor:

Discipline Reasoning (Disiplin Çıkarımı): Alan bilgisinin doğru uygulanmasını, ince taneli puanlama noktaları (fine-grained scoring points) ile ölçer. Örneğin, bir graf teorisi probleminde belirli düğümler arasındaki en kısa yolun kırmızı ile işaretlenmesi istendiğinde, modelin sadece renk değiştirmesi değil, algoritmik olarak doğru kenarları seçmesi gerekir.

Visual Consistency (Görsel Tutarlılık): Görev bağımlı tutarlılık kısıtlarını değerlendirir. Mevcut görsel yapının korunması, istenmeyen modifikasyonların önlenmesi ve orijinal yapının bütünlüğünün sağlanması bu kategoride incelenir.

Logical Readability (Mantıksal Okunabilirlik): Akademik temsillerin mantıksal olarak net ve yapılandırılmış olmasını değerlendirir. Bir diyagramın sadece görsel olarak çekici değil, aynı zamanda disiplinin kurallarına uygun, yorumlanabilir ve pedagogik açıdan anlamlı olması beklenir.

Yazarlar, GRADE üzerinde 20 adet son teknoloji (state-of-the-art) modeli değerlendirmiş; hem açık kaynak (open-source) hem de kapalı kaynak (closed-source) sistemleri kapsayan geniş bir analiz sunmuş. Sonuçlar çarpıcı: Nano Banana Pro [11] ve GPT-Image-1.5 [28] gibi diğer benchmark'larda benzer performans gösteren modeller, GRADE altında belirgin şekilde farklılaşıyor (sırasıyla %46.2 ve %16.0). Bu durum, GRADE'nin örtük akademik bilgiyi ve yapılandırılmış çıkarımı ölçmede ne kadar güçlü bir ayırt ediciliğe (discriminative power) sahip olduğunu gösteriyor.

Özellikle dikkat çekici olan, açık kaynak ve kapalı kaynak modelleri arasındaki uçurum. En iyi açık kaynak model olan Qwen-Edit-2511 [45] yalnızca %2.7 performans gösterirken, kapalı kaynak sistemler çok daha yüksek skorlar alıyor. Bu performans çöküşü (performance collapse), mevcut mimarilerin örtük (implicit) disiplin bilgisi gerektiren düzenleme senaryolarında temel bir darboğaz yaşadığını kanıtlıyor.

Mimari Kısıtlar: Piksel Üretiminden Sembolik Çıkarıma

GRADE üzerindeki başarısızlıkların kökeninde, mevcut difüzyon modellerinin (diffusion models) ve transformer mimarilerinin temel bir varsayım yatıyor: tüm görüntüler doğal görüntüler gibi işlenmelidir. Ancak bilimsel diyagramlar, fotoğraflardan temelde farklıdır. Bir kimyasal molekül yapısı veya bir fizik serbest cisim diyagramı, piksellerin istatistiksel dağılımından ziyade sembolik ilişkiler, geometrik kısıtlar ve mantıksal kurallar bütünü olarak anlaşılmalıdır.

Makalede yapılan analizler, mevcut modellerin dolaylı (implicit) talimatları işleme kapasitesinin sınırlı olduğunu gösteriyor. Örneğin, "A düğümü ile H düğümü arasındaki en kısa yolu kırmızı ile çiz" gibi bir komut, modelin önce graf teorisi bilgisini kullanarak Dijkstra algoritması benzeri bir çıkarım yapmasını, ardından bu sembolik sonucu görsel bir modifikasyona dönüştürmesini gerektirir. Mevcut uçtan uca (end-to-end) sistemler bu ara çıkarım adımını atlayarak doğrudan piksel üretimine geçtiğinde, mantıksal tutarlılık kayboluyor.

Bu gözlem, tweet'te belirtilen temel mimari sınırlamayı doğruluyor: Bilimsel diyagramları doğal görüntüler gibi ele almak başarısızlığa mahkumdur. Bu alanlar, piksel üretiminden önce sembolik çıkarım (symbolic reasoning) gerektirir. Difüzyon modellerinin gürültü giderme (denoising) süreci, mantıksal kısıtların (logical constraints) açık bir şekilde temsil edilmediği durumlarda, bilimsel doğruluğu garanti edemez.

Kendi Yorumum: Hibrit Mimariye Doğru Bir Bölünme

GRADE'nin ortaya koyduğu bu sınırlamalar, önümüzdeki dönemde birleşik çok modlu modellerin mimarisinde köklü bir dönüşümü zorunlu kılacaktır. Mevcut yaklaşım, büyük ölçekli veri setleri üzerinde fine-tuning (ince ayar) yaparak ve model kapasitesini (parameter count) artırarak sorunları çözmeyi hedefliyor. Ancak GRADE sonuçları gösteriyor ki, ölçek artışı yerine mimari yenilik şart.

Öngörüm odur ki, önümüzdeki 36 ay içinde, mevcut difüzyon tabanlı oluşturucuların yerini, açık sahne grafikleri (explicit scene graphs) veya sembolik ara temsiller kullanan hibrit mimariler alacaktır. Bu sistemlerde, mantıksal kısıtların sağlanması (constraint satisfaction) ve piksel tabanlı oluşturma (rendering) süreçleri ayrıştırılacaktır. Model önce bir bilgi grafiği (knowledge graph) veya sahne grafiği (scene graph) oluşturarak sembolik düzeyde çıkarım yapacak, ardından bu yapısal temsili görsel içeriğe dönüştürecektir.

Bu dönüşüm, bugün LoRA (Low-Rank Adaptation) adaptörlerinin standart hale geldiği gibi, alan spesifik çıkarım modüllerinin (domain-specific reasoning modules) standartlaşmasını beraberinde getirecektir. Günlük fotoğraf düzenleme (piksel merkezli) ve profesyonel bilimsel illü