LLM-as-a-Judge Paradoksunda Yüzeysel Uzlaşının İllüzyonu: MERG ve Bilgiye Dayalı Değerlendirme

Giriş

Yapay zeka alanında son yıllarda yaygınlaşan LLM-as-a-Judge (Yargıç olarak Büyük Dil Modeli) paradigması, metin kalitesinin otomatik değerlendirilmesi için umut verici bir çözüm sunuyor. MT-Bench ve benzeri benchmark'lerde GPT-4'ün insan tercihleriyle %80'in üzerinde uyum göstermesi, bu yöntemin güvenilirliği konusunda genel bir kabul oluşturdu. Ancak Mingyang Song, Mao Zheng ve Chenning Xu'nun Beyond the Illusion of Consensus: From Surface Heuristics to Knowledge-Grounded Evaluation in LLM-as-a-Judge başlıklı çalışması, bu güvenin temelinde yatan kritik varsayımı sorguluyor. Yüksek değerlendirici uzlaşısının (inter-evaluator agreement) her zaman güvenilir ve nesnel bir değerlendirmeye işaret etmediğini; aksine, bu uzlaşının çoğu zaman Evaluation Illusion (Değerlendirme İllüzyonu) adını verdikleri bir fenomenin ürünü olduğunu ortaya koyuyorlar.

Bu makale, 105.600 değerlendirme örneğini (32 LLM × 3 sınır ötesi yargıç × 100 görev × 11 temperature ayarı) kapsayan geniş ölçekli bir analize dayanıyor. Temel bulgu, model düzeyinde yüksek korelasyonun (Spearman ρ=0.99) örnek düzeyinde kırılgan bir uyumu (Pearson r̄=0.72; ICC=0.67) gizlediği yönünde. Daha da endişe verici olanı, kaliteli çıktıların paradox bir şekilde en tutarsız değerlendirmeleri alması ve RLAIF (Reinforcement Learning from AI Feedback) pipeline'larında kullanılan ödül sinyallerinin yüzeysel özelliklere dayalı olma riski.

Ana Analiz

Yüzeysel Sezgiseller ve Paylaşılan İllüzyon

Araştırmacılar, sınır ötesi değerlendirici modellerin (Claude 4.5 Opus, Gemini 2.5 Pro, GPT-5.1) sıklıkla surface heuristics (yüzeysel sezgiseller) olarak adlandırılan kısayollara başvurduğunu belgeliyor. Formatlama düzeni, akıcı ton, yapısal cilalama ve kendinden emin ifadeler gibi özellikler, değerlendiricileri gerçek içerik kalitesinden bağımsız olarak yüksek puanlara yönlendiriyor. Çalışmada verilen çarpıcı örnekte, değerlendiriciler Çin'deki K-12 özel ders sektörü için bir yatırım sunumu deck'ini değerlendiriyor. Tüm yargıçlar "ustalıklı formatlama" ve "ikna edici projeksiyonlar" nedeniyle 9.0 üzeri puanlar verirken, 2021 yılında yürürlüğe giren "Double Reduction" politikasının bu iş modelini tamamen yasakladığını gözden kaçırıyorlar. İşte burada Shared Illusion (Paylaşılan İllüzyon) devreye giriyor: İstatistiksel olarak sağlam görünen bu uzlaşı, epistemolojik olarak sığdır. Değerlendiriciler aynı hata havuzunu paylaşıyorlar.

MERG ve Bilgi Enjeksiyonunun Çözücü Etkisi

Bu illüzyonu test etmek için araştırmacılar MERG (Metacognitive Enhanced Rubric Generation) çerçevesini sunuyor. MERG, değerlendiricilerden puanlama yapmadan önce görevle ilgili alan bilgisini (domain knowledge) açıkça ifade etmelerini ve kendi önyargılarını yüzeye çıkarmalarını istiyor. Kahneman'ın System 1 (hızlı, sezgisel) ve System 2 (yavaş, bilgiye dayalı) işlemler ayrımından yararlanan bu yaklaşım, hem tanısal bir prob hem de reçeteye dönük bir araç işlevi görüyor.

MERG'in etkileri alan seçici (domain-selective) olarak ortaya çıkıyor. Eğitim (+22%) ve Akademik (+27%) gibi kuralları belirgin, codified alanlarda değerlendirici uyumu artarken, Edebiyat gibi öznel alanlarda uyum düşüyor (-0.06). Bu asimetri, temel uzlaşının gürültüden (noise) kaynaklanmadığını; aksine sezgisel bağımlılıktan (heuristic reliance) kaynaklandığını doğruluyor. Bilgi enjeksiyonu, değerlendiricileri paylaşılan profesyonel standartlara bağladığında gerçek uzlaşı ortaya çıkıyor; ancak öznel alanlarda çeşitlilik (evaluative pluralism) yüzeye çıkıyor.

Çalışma ayrıca Rubric Commensurability Problem'i (Derecelendirme Ölçeği Karşılaştırılabilirliği Problemi) ortaya koyuyor. Değerlendiriciler bağımsız olarak rubrik oluşturduğunda uyum neredeyse rastgele düzeylere düşüyor (r̄≈0.24). Ancak sadece rubrik boyutlarının isimlerinin paylaşılması, içerik veya bilgi olmadan, toplam uzlaşının %62'sini geri getiriyor. Bu, literatürde güvenilirlik olarak sunulan pek çok bulgunun aslında paylaşılan değerlendirme araçlarının bir yapay ürünü (artifact) olabileceğini gösteriyor.

Çözünürlük Paradoksu ve RLAIF için İmalar

Araştırma, Resolution Paradox (Çözünürlük Paradoksu) olarak adlandırılan kritik bir ayrımı vurguluyor. Model düzeyindeki Spearman korelasyonu (ρ≥0.984) ile örnek düzeyindeki Pearson korelasyonu (r̄=0.72) arasındaki 0.27'lik fark, liderlik tablolarının (leaderboards) değerlendiricileri makro çözünürlükte (Base vs. Thinking modellerini ayırt etme) doğrularken, RLAIF'in mikro çözünürlükte (örnek başına ödül sinyalleri) devreye soktuğunu gösteriyor. İronik olarak, illüzyonun en güçlü olduğu granülarite düzeyi tam da fine-grained sinyallerin en çok ihtiyaç duyulduğu yer.

En dikkat çekici bulgu, çıktı kalitesi ile değerlendirici uyumu arasındaki negatif korelasyon (Spearman ρ=-0.513). Base modeller için r̄=0.81 olan örnek düzeyi uyum, Thinking modellerinde r̄=0.76'ya düşüyor. Yüzeysel özellikler düşük kaliteli çıktıları yargılamak için yeterliyken, yüksek kaliteli çıktılar değerlendiricileri sezgisel bölgeye iter. Bu, RLAIF reward modeling'inin en çok ayrım yapması gereken noktada en güvenilir olmadığı anlamına geliyor. Ön deneyler, MERG tabanlı tercihlerle eğitilen ödül modellerinin (reward models), temel tercihlerle eğitilenlere göre üç kat daha uzun süre overoptimization'a (aşırı optimizasyon) direndiğini gösteriyor.

Kendi Yorumum ve Özgün Çıkarımlar

Bu bulgular, mevcut değerlendirme ekosisteminde köklü bir paradigma değişikliği gerektiriyor. Konsensus maksimizasyonunu birincil validasyon metriği olarak kullanma pratiğini terk etmeliyiz. Eğer öznel alanlarda bilgi enjeksiyonu gerçek değerlendirici çeşitliliğini ortaya çıkarıyorsa, bu çeşitlilik bir hata değil, zenginliktir. Information entropy (bilgi entropisi) kavramını değerlendirme metriklerimize dahil etmeliyiz; düşük entropili (yüksek uzlaşılı) ancak yüzeysel kriterlere dayanan ödül dağılımları yerine, öznel görevlerde yüksek entropili ancak anlamlı varyasyon gösteren dağılımları hedeflemeliyiz.

RLAIF pipeline'ları için pratik bir öneri, statik şablonlar yerine MERG tarzı dinamik rubriklerin kullanılmasıdır. Her görev için domain-specific knowledge'ı dinamik olarak üreten ve bu bilgiyi açık kılan değerlendiriciler, fine-tuning süreçlerinde daha robust sinyaller sağlayacaktır. Ayrıca, değerlendirici korelasyonunu optimize etmek yerine evaluative coverage (değerlendirme kapsama alanı) optimize edilmelidir. Birden fazla değerlendiricinin farklı ama makul gerekçelerle verdiği çeşitli puanlar, tek tip ancak yüzeysel uzlaşıdan daha değerlidir.

Özellikle yaratıcı yazım, edebi analiz ve etik değerlendirme gibi alanlarda, çoklu değerlendirici (ensemble)