Çok Dilli Dil Modellerinde Ölçekleme Yasaları ve Oyun Teorisi: ShapleyLaw Analizi

Giriş

Çok dilli büyük dil modellerinin (LLM) ön eğitiminde (pretraining), farklı dillerin eğitim külliyatındaki oranlarını belirlemek, modelin genel performansını doğrudan etkileyen kritik bir optimizasyon problemidir. Bir dilde öğrenilen temsillerin (representations) başka bir dile aktarılması olarak tanımlanan cross lingual transfer (çapraz dilsel transfer) olgusu nedeniyle, yalnızca her dil için ayrı ayrı veri miktarını değil, diller arası etkileşimlerin karmaşık ağını da hesaba katmak gerekmektedir. He et al. (2025) tarafından öne sürülen FamilyLaw gibi mevcut yaklaşımlar, dilleri ailelerine göre gruplayarak farklı aileler arasında transfer olmadığını varsayar. Ancak bu varsayım, Japonca ve Çince arasındaki karakter benzerliği veya coğrafi yakınlık gibi durumlarda çürümektedir. İşte tam bu noktada, Cao ve arkadaşlarının "ShapleyLaw: A Game-Theoretic Approach to Multilingual Scaling Laws" başlıklı çalışması, çok dilli ön eğitimi bir cooperative game theory (işbirlikçi oyun teorisi) problemi olarak formüle ederek, Shapley değerleri (Shapley values) yardımıyla dil düzeyinde çapraz transferi nicelendirmeyi amaçlar. Bu makale, optimal dil karışım oranlarının (mixture ratios) belirlenmesi için matematiksel olarak zarif ancak pratikte tartışmalı bir çerçeve sunmaktadır.

Ana Analiz: Oyun Teorisi ve Çapraz Dilsel Transferin Ölçülmesi

Çalışmanın temel metodolojik yeniliği, multinlğual pretraining sürecini bir kooperatif oyuna dönüştürmesidir. Bu formülasyonda her bir dil, oyunun bir oyuncusu (player) olarak ele alınır ve ödül (payoff), hedef dildeki test kaybının (test loss) azalması olarak tanımlanır. Shapley value, oyun teorisinde bir oyuncunun marjinal katkılarının tüm olası koalisyonlar üzerinden ağırlıklı ortalamasını ifade eden bir çözüm kavramıdır. Cao ve arkadaşları, bu değeri bir eğitim dilinin hedef dil performansına olan katkısı olarak yorumlayarak çapraz dilsel transferin nicel bir ölçüsünü elde ederler.

Makalede Şekil 1a'da sunulan normalleştirilmiş Shapley değerleri matrisi (normalized SV matrix), bu yaklaşımın en ikna edici kanıtıdır. Matris asimetrik bir yapı sergiler. Örneğin, Japonca verisinin Çince test performansına olan katkısı yaklaşık 0.25 iken, Çince verisinin Japonca performansına olan katkısı 0.02 civarındadır. Bu durum, FamilyLaw'in varsaydığı dil ailesi bağımsızlığını ve simetrik transfer varsayımını çürüten önemli bir bulgudur. Japonca, Çince ve İspanyolca farklı dil ailelerine