TopoBench: Büyük Dil Modellerinin Topolojik Muhakeme Çıkmazları

Giriş

Son yıllarda büyük dil modelleri (LLM'ler) cebirsel problemlerden sembolik mantığa uzanan geniş bir yelpazede etkileyici performanslar sergiledi. Ancak bu başarı hikayesinin önemli bir kör noktası var: topolojik ve geometrik akıl yürütme. Özellikle global uzamsal kısıtları (spatial invariants) sürekli olarak korumayı gerektiren görevlerde, en gelişmiş modeller bile ciddi zorluklar yaşıyor. Bu bağlamda Mayug Maniparambil ve arkadaşlarının sunduğu "TopoBench: Benchmarking LLMs on Hard Topological Reasoning" çalışması, yapay zeka alanında kritik bir boşluğu dolduruyor.

TopoBench, altı farklı bulmaca ailesinden oluşan ve her biri belirli bir topolojik kısıtı test eden kapsamlı bir benchmark (performans ölçüm standardı) sunuyor. Flow Free (yol bağlantısı), Bridges (ağ bağlantısı), Loopy (döngü kapanışı), Galaxies (dönsel simetri), Undead (yansıma) ve Pattern (kesişen eksenlerde süreklilik) gibi bulmacalar, modellerin sadece yerel hamleleri değil, global uzamsal değişmezlikleri koruma becerisini ölçüyor. Çalışmanın çarpıcı bulgularından biri, en güçlü kapalı kaynak model olan GPT-5-mini-high'ın zor seviyede (hard tier) sadece %24, en iyi açık kaynak model DeepSeek V3.2'nin ise %10 başarı oranına ulaşabilmesi. Bu performans düşüklüğü, LLM'lerin uzamsal muhakeme yeteneklerinde derin bir kriz olduğunu gösteriyor.

Ana Analiz: Başarısızlık Modlarının Anatomisi

Çalışmanın metodolojik olarak en güçlü yanı, sadece doğruluk oranları raporlamakla kalmayıp, hata mekanizmalarını ince detaylı bir şekilde ayıklamasıdır. Araştırmacılar, 750 adet düşünce zinciri (chain of thought) izini bir hata taksonomisi kullanarak sınıflandırmış ve dört temel başarısızlık modu tespit etmiştir:

Erken Bağlanma (Premature Commitment): Model, çözümün erken aşamalarında yanlış bir yola sapıyor ve sonrasında bu hatalı varsayımı düzeltmek yerine ona bağlı kalıyor. Deneysel müdahaleler gösteriyor ki, altın çözüm öneklerine (gold solution prefixes) bu hata modeli enjekte edildiğinde, özellikle Bridges ve Undead bulmacalarında yaklaşık 11 puanlık (percentage point) doğruluk düşüşü gözlemleniyor.

Kısıt Unutma (Constraint Forgetting): Model, çok adımlı bir çözüm sürecinde daha önce doğruladığı global kısıtları (örneğin bir düğümün belirli sayıda bağlantıya sahip olması gerekliliği) sonraki adımlarda ihlal ediyor. İzlemlerde sadece %2-7 arasında görülmesine rağmen, bu hata türü en zararlı müdahalelerden biri olarak öne çıkıyor. Bu durum, hata sıklığı ile nedensel zarar arasında zayıf bir korelasyon olduğunu gösteriyor; yani sık yapılan hatalar her zaman en kötü sonuçları doğurmuyor.

Tekrarlayan Muhakeme (Repeated Reasoning): Model aynı mantık yolunu anlamlı bir varyasyon olmadan tekrar deniyor. İzlemlerde sıkça görülmesine karşın, deneysel müdahaleler bu modelin doğruluk üzerinde ölçülebilir bir olumsuz etkisi olmadığını gösteriyor. Bu bulgu, tekrarlayan muhakemenin arama sürecinin masum bir yan ürünü olduğunu, modelin aslında farklı olasılıkları keşfetmeye çalıştığını düşündürüyor.

Araştırmacılar, bu hataları tespit etmek için LLM-as-judge protokolü kullanmış ve ardından kontrollü müdahalelerle (interventions) her hata tipinin nedensel rolünü test etmiştir. Bu iki aşamalı tanı yaklaşımı, gozlemsel veriler ile nedensel mekanizmaları ayırt etmek açısından metodolojik olarak örnek teşkil ediyor.

Darboğazın Konumu: Temsil mi, Muhakeme mi?

TopoBench'in en kritik çıkarımı, darboğazın nerede olduğunu tespit etmesidir. Çalışma, hata kaynağının yapılandırılmış kısıtları uzamsal temsillerden çıkarma (constraint extraction) sürecinde olduğunu, bu kısıtlar üzerinde muhakeme etme yeteneğinde değil. Bu ayrım, alan için dönüştürücü nitelikte bir perspektif sunuyor.

Araştırmacılar bu hipotezi test etmek için üç müdahale stratejisi uygulamıştır. İlki, her satırı eşit sayıda token ile temsil eden hücre hizalı (cell-aligned) ızgara kodlamalarıdır. Bu basit düzenleme, çoğu bulmaca ailesinde doğruluğu artırmıştır. İkinci olarak, harici bir motorun tahta durumunu sürdürdüğü ve yapılandırılmış kısıt bilgisi sağladığı araç destekli (tool-augmented) bir ortam test edilmiştir. Bridges bulmacasının zor seviyesinde, yapılandırılmış kısıt bilgisine erişim doğruluğu %10 artırmıştır. Ancak ilginç bir şekilde, mevcut ASCII ızgara görünümünü sağlayan bir araç doğruluğu düşürmüştür. Bu ablasyon çalışmaları, kazanımların uzamsal görselleştirmeden değil, yapılandırılmış durum özetlerinden (kalan dereceler, bağlantı bilgileri) kaynaklandığını kanıtlamaktadır.

Üçüncü olarak, erken bağlanma hatalarını azaltmak amacıyla planlama ve geri izleme (backtracking) davranışlarını teşvik eden prompt müdahaleleri test edilmiştir. Ancak bu yaklaşım anlamlı bir iyileşme sağlamamıştır, bu da söz konusu davranışların yalnızca prompt mühendisliği ile güvenilir bir şekilde elde edilemediğini göstermektedir.

Kendi Yorumum ve Özgün Çıkarımlar

Bu çalışmayı kristal büyümesi (crystal growth) dinamiği üzerinden analiz etmek, LLM'lerin sınırlılıklarını anlamak için güçlü bir metafor sunar. Premature commitment olgusu, nükleasyon sırasında kinetik tuzaklanmaya (kinetic trapping) paraleldir; sistem enerjik olarak optimal olmayan bir yapıya erken bağlanır ve yerel minimumdan kaçamaz. Constraint forgetting ise latis uyumsuzluk hatalarına (lattice mismatch) benzer; her katman (adım) tek başına stabilize görünse de, birikimsel bir uyumsuzluk tüm yapının çökmesine yol açar.

En dikkat çekici olan repeated reasoning bulgusudur. Bu davranışı tavlama (annealing) teorisi çerçevesinde değerlendirmek gerekir. Termal dalgalanmaların (thermal fluctuations) yerel minimumlardan kaçışı sağladığı gibi, tekrarlayan muhakeme denemeleri modelin farklı çözüm havuzlarını keşfetmesine olanak tanır. Çalışmanın bu bulguyu zararsız olarak tespit etmesi, LLM'lerin içsel arama mekanizmalarının aslında daha sofistike olduğunu, ancak bu aramanın verimli bir şekele (scaffolding) ihtiyaç duyduğunu gösterir.

Transformer mimarisinin doğası gereği attention mekanizmaları, uzamsal ilişkilerdeki lokal korelasyonları etkili bir şekilde modeller. Ancak global topolojik kısıtlar (örneğin bir döngünün kapalı kalması veya bir grafin bağlı kalması), uzun menzilli bağımlılıklar (long-range dependencies) gerektirir. TopoBench'in gösterdiği gibi, model grid üzerindeki hücreleri tek tek işleyebilir ancak bu hücrelerin global olarak tutarlı bir yapı oluşturduğunu sürdüremez. Bu, fine-tuning veya daha büyük modellerle çözülebilecek bir sınır değil, mimari bir kısıtlamadır.

Gelecek için önerim, bu tür topolojik görevlerde saf dil modellerinden ziyade hibrit sistemlere yönelmektir. Graph neural network'lerin (GNN) uzamsal kısıtları işleme kapasitesi ile LLM'lerin sembolik muhakeme yeteneklerinin birleştirilmesi, constraint extraction darboğazını aşabilir. Alternatif olarak, uzamsal akıl yürütme için özel tasarlanmış attention mekanizmaları (örneğin koordinat gömüleri veya hiyerarşik uzamsal özetler) içeren mimariler geliştirilmelidir. TopoBench'in sağladığı yapılandırılmış hata taksonomisi, bu yeni mimarilerin hangi bilişsel fonksiyonları yerine getirmesi gerektiğini hassas bir şekilde tanımlamamıza olanak tanıyacaktır.

Sonuç

TopoBench, LLM'lerin uzamsal akıl yürütme yeteneklerini değerlendirmede çığır açan bir kapsam sunmaktadır. Çalışma, en gelişmiş modellerin bile global topolojik kısıtları sürdürmede ciddi yetersizlikler gösterdiğini, ancak bu başarısızlıkların temelinde yatan mekanizmanın saf muhakeme eksikliği değil, uzamsal temsillerden yapılandırılmış