Büyük Dil Modellerinde Karşıt-Olası Stratejik Muhakemenin Sınırları: Oyun Teorisi Perspektifinden Bir Değerlendirme

Giriş: Stratejik Akıl Yürütme ve Yapay Zeka

Büyük Dil Modellerinin (LLM) otonom ajanlar olarak konumlandırılması, bu sistemlerin sadece metin üretme yeteneklerinin ötesinde, karmaşık sosyal ve ekonomik ortamlarda rasyonel karar alma kapasitelerine sahip olup olmadığı sorusunu gündeme getiriyor. Özellikle çok etmenli (multi-agent) sistemlerde, modellerin işbirliği ve rekabet dinamiklerini yönetme becerisi, stratejik muhakemenin (strategic reasoning) ne düzeyde gerçekleştiğine dair kritik ipuçları sunuyor. Ancak bu yeteneklerin, temeldeki oyun teorik yapıları anlamaya dayalı gerçek bir akıl yürütme mü yoksa, eğitim verilerindeki istatistiksel örüntülerin (pattern) ezberlenmesine dayalı yüzeysel bir taklit mi olduğu henüz belirsiz.

Atina Ulusal Teknik Üniversitesi araştırmacıları tarafından kaleme alınan "Evaluating Counterfactual Strategic Reasoning in Large Language Models" başlıklı çalışma, tam bu noktada devreye giriyor. Makale, LLM'lerin tekrarlayan oyun teorik senaryolardaki davranışlarını, karşıt-olası (counterfactual) varyantlar aracılığıyla test ederek, modellerin stratejik performanslarının gerçek muhakemeyi mi yoksa belleğe dayalı kalıpları mı yansıttığını ayırt etmeye çalışıyor. Bu değerlendirme çerçevesi, özellikle transformer mimarilerinin dikkat mekanizmaları (attention) üzerinden işleyen çıkarım süreçlerinin, temel teşvik yapılarını (incentive structures) ne ölçüde içselleştirdiğini sorguluyor.

Metodoloji: Varsayımsal Oyun Senaryoları ve Çok Boyutlu Değerlendirme

Araştırmacılar, kontrollü bir ortam sağlamak adına iki klasik oyun üzerinde odaklanıyor: Mahkumların İkilemi (Prisoner's Dilemma, PD) ve Taş-Kağıt-Makas (Rock-Paper-Scissors, RPS). Bu oyunlar, stratejik muhakemenin farklı yönlerini test ediyor. PD, çatışan teşvikler altında işbirliği dinamiklerini incelerken; RPS, stokastik (rastlantısal) dengeler ve öngörülebilirlik risklerini değerlendiriyor.

Çalışmanın yenilikçi yönü, varsayımsal (counterfactual) varyantların oluşturulması. Araştırmacılar, standart oyun parametrelerini iki şekilde değiştiriyor. Birincisi, eylem etiketlerinin (action labels) permütasyonu: Örneğin PD'de "İşbirliği Yap" (Cooperate) ve "İhanet Et" (Defect) etiketleri yer değiştiriliyor veya RPS'de "Taş" ile "Kağıt" kavramları takas ediliyor. İkincisi ise ödül matrisinin (payoff matrix) yapısal dönüşümü: Kazanç ve ceza değerleri tersine çevrilerek, Nash dengesinin (Nash equilibrium) konumu değiştiriliyor. Bu manipülasyonlar, modellerin sözdizimsel (lexical) ipuçlarına olan bağımlılığını test ediyor. Eğer bir model gerçekten oyunun temel ödül yapısını hesaplıyorsa, etiketlerin değişmesi stratejik performansını etkilememeli.

Değerlendirme için çok metrikli bir çerçeve kullanılıyor. Uyum (adaptability), tutarlılık (consistency), sömürülebilirlik (exploitability) ve zaman içinde strateji evrimi gibi oyun teorik metrikler, modellerin davranışsal eğilimlerini niceliyor. Özellikle fine-tuning (ince ayar) yapılmamış temel modellerin, bu karşıt-olası koşullarda nasıl performans gösterdiği, mevcut ezberleme kapasitelerinin sınırlarını gözler önüne seriyor.

Bulgular: Yüzeysel Örüntü Eşleştirmeden Öteye Gidemeyen Modeller

Çalışmanın en çarpıcı bulgusu, karşıt-olası varyantlara geçildiğinde gözlemlenen performans düşüşü. Örneğin, standart PD senaryosunda nispeten tutarlı davranışlar sergileyen modeller, "İşbirliği Yap" ve "İhanet Et" etiketleri yer değiştirildiğinde veya ödül matrisi tersine çevrildiğinde stratejik yeteneklerini kaybediyor. Bu durum, modellerin etiketlerin semantik içeriğinden (örneğin "İşbirliği" kelimesinin olumlu çağrışımları) ziyade, bu kelimelerle ilişkilendirilmiş istatistiksel yanıtları ezberlediğini gösteriyor.

RPS senaryosunda benzer bir sorun gözlemleniyor. Modeller, "Taş", "Kağıt", "Makas" etiketlerinin döngüsel hakimiyet ilişkilerini (Taş Makası yener, Makas Kağıdı yener, Kağıt Taşı yener) anlamak yerine, belirli sıralamalara göre koşullanmış davranışlar sergiliyor. Etiketler değiştirildiğinde, örneğin "Taş" yerine "Kağıt" konulduğunda, modelin stratejik yetkinliği çöküyor. Bu bulgu, modellerin oyunun temelindeki simetrileri ve hakimiyet ilişkilerini hesaplayarak değil, metinsel ipuçlarını takip ederek karar aldığını ortaya koyuyor.

Ayrıca, modellerin tekrarlayık etkileşimlerde uzun vadeli stratejik planlama yerine, kısa vadeli sonuçlara aşırı odaklandığı (short-term outcome bias) ve rakibin davranışlarına uyum sağlama konusunda kırılganlık gösterdiği belirleniyor. Özellikle ödül yapısındaki küçük değişikliklere duyarlılık (incentive sensitivity) eksikliği, modellerin otonom müzakere senaryolarında güvenilirliklerini sorgulatıyor.

Kendi Yorumum: Bellek mi, Muhakeme mi? Temel Bir Bilişsel Ayrım

Bu bulgular, mevcut LLM mimarilerinin temelinde yatan epistemolojik bir sorunu gün yüzüne çıkarıyor. Transformer tabanlı modeller, interpolasyon yetenekleri (görülen veriler arasında geçiş yapma) konusunda oldukça başarılı olsalar da, extrapolasyon (görülmemiş yapısal değişikliklere genelleme) ve karşıt-olası akıl yürütme gerektiren durumlarda ciddi sınırlar gösteriyor. Oyun teorik bir bağlamda Nash dengesi hesaplamak, sadece istatistiksel olarak sık görülen yanıtları üretmekten farklıdır; bu, temel teşvik yapılarının nedensel modellenmesini gerektirir.

Karşıt-olası testlerin ortaya çıkardığı zafiyet, modellerin "anlam" yerine "eşleşme" üzerinden çalıştığını gösteriyor. Bir eylem etiketinin semantik içeriği ("İşbirliği" kelimesinin işbirlikçi olma çağrışımı), modelin karar sürecinde asıl oyun teorik hesaplamadan daha baskın bir rol oynuyorsa, bu durum saf bir sembolik manipülasyon yeteneğinden yoksun olduğumuzu gösterir. Bu, çok etmenli sistemlerde kritik bir risk oluşturuyor; çünkü gerçek dünya ortamları, eğitim verilerindeki sabit örüntülerden farklı olarak, sürekli değişen ödül yapıları ve yeni eylem uzayları içerir.

Ayrıca, bu çalışma chain-of-thought (düşünce zinciri) prompting veya benzeri tekniklerin sınırlarını da hatırlatıyor. Modeller, adım adım çıkarım yapmaya zorlandığında bile, temeldeki karşıt-olası koşulları doğru bir şekilde entegre edemeyebiliyor. Bu durum, mevcut mimarilerin fine-tuning ile bile bu tür yapısal genelleme eksikliklerinin üstesinden gelmekte zorlanabileceğine işaret ediyor. Otonom müzakere ve stratejik planlama gerektiren uygulamalar için, mevcut LLM'lerin sadece yardımcı araçlar olarak kullanılması ve karar verme otoritesinin insan denetiminde tutulması gerektiği sonucu çıkıyor.

Sonuç: Otonom Ajanlar İçin Yol Haritası

"Evaluating Counterfactual Strategic Reasoning in Large Language Models" çalışması, LLM'lerin stratejik yeteneklerini değerlendirmek için titiz ve yenilikçi bir metodoloji sunuyor. Karşıt-olası oyun varyantları aracılığıyla, modellerin ezberleme ile gerçek muhakeme arasındaki belirsiz alanda nerede durduğunu net bir şekilde ortaya koyuyor. Bulgular, mevcut dil modellerinin, değişen ortamlara adapte olma ve temel teşvik yapılarını soyutlama konusunda beklenen düzeyde olmadığını gösteriyor.

Gelecekteki araştırmalar için bu çalışma, hem benchmark (değerlendirme ölçütü) tasarımı hem de mimari geliştirme açısından yol gösterici olabilir. Modellerin karşıt-olası senaryolardaki performanslarını artırmak, salt ölçek büyütmenin (scaling) ötesinde, nedens