RAG Tabanlı Büyük Dil Modellerinde Conformal Factuality'nin Sağlamlığı: Yeni Metrikler ve Sistematik Bulgular

Giriş

Büyük dil modellerinin (LLM'ler) güvenilirliğini tehdit eden en temel sorunlardan biri halüsinasyonlar, yani akıcı ve ikna edici görünen ancak gerçekte yanlış olan çıktılardır. Geri alım ile güçlendirilmiş üretim (Retrieval-Augmented Generation, RAG) mimarileri, bu sorunu hafifletmek amacıyla üretimi harici bilgi kaynaklarına dayandırarak modelin dayanaklarını güçlendirmeye çalışır. Ancak RAG, üretilen yanıtların doğruluğuna dair istatistiksel bir garanti sunmaz. İşte tam bu noktada, konformal öngörü (conformal prediction) çerçevesi, dağılımdan bağımsız olarak belirli bir kapsama garantisi (coverage guarantee) sağlayarak dikkatleri üzerine çekmiştir. Bu yaklaşım, üretilen yanıtları atomik iddialara ayırarak, her birini bir doğruluk skoru fonksiyonu ile değerlendirir ve kalibrasyon verisi üzerinden belirlenen bir eşik değeri kullanarak şüpheli iddiaları filtreler. Ne var ki, "Is Conformal Factuality for RAG-based LLMs Robust? Novel Metrics and Systematic Insights" başlıklı bu kapsamlı çalışma, bu yöntemin pratikte karşılaştığı temel gerilimleri ve kırılganlıkları sistematik bir şekilde ortaya koymaktadır. Makale, yüksek doğruluk garantilerinin kullanışlılık (usefulness) pahasına gelebileceğini ve garantilerin dağılım kaymaları (distribution shifts) karşısında ne kadar kolay bozulabildiğini göstererek alandaki önemli bir boşluğu doldurmaktadır.

Ana Analiz

Conformal Factuality Mekanizması ve Bilgilendiricilik Metrikleri

Konformal factuality filtreleme süreci üç temel aşamadan oluşur: yanıt üretimi (generation), iddia düzeyinde skorlama (scoring) ve kalibrasyon tabanlı filtreleme (calibration). LLM'in ürettiği ilk yanıt, anlamsal olarak analiz edilebilir atomik iddialara bölünür. Her iddia için bir doğruluk skoru hesaplanır ve bu skorlar, kalibrasyon veri setindeki hata dağılımına göre belirlenen bir eşik değeri (threshold) ile karşılaştırılır. Eşiğin altında kalan iddialar çıkarılarak filtrelenmiş çıktı (filtered output) elde edilir.

Ancak Chen ve arkadaşlarının vurguladığı kritik nokta, geleneksel değerlendirme metriklerinin bu süreçteki bilgilendiricilik kaybını göz ardı etmesidir. Örneğin, boş bir yanıt (vacuous output) teknik olarak %100 doğru kabul edilebilir ancak pratikte kullanışsızdır. Bu eksikliği gidermek için yazarlar, non-empty rate (boş olmama oranı), non-vacuous empirical factuality (boş olmayan yanıtlardaki ampirik doğruluk), sufficient correctness (sorgunun cevabını çıkarmak için yeterli olan doğruluk) ve conditional sufficient correctness (koşullu yeterli doğruluk) gibi yeni metrikler önermektedir. Bu metrikler, doğruluk ile bilgilendiricilik arasındaki inherent trade-off'u nicel olarak yakalamayı mümkün kılar. Çalışma, yüksek doğruluk seviyelerinde (örneğin %95 kapsama garantisi) kullanışlılığın ciddi şekilde düştüğünü, yani sistemin anlamlı bilgileri de yanlışlıkla filtreleyerek boş veya çok kısıtlı yanıtlar ürettiğini göstermektedir.

Dağılım Kaymalarına ve Dikkat Dağıtıcılara Karşı Kırılganlık

Konformal öngörü teorik olarak dağılımdan bağımsız (distribution-free) garantiler sunsa da, bu garantiler kalibrasyon verisinin dağılımının, gerçek kullanım ortamının dağılımına yakın olmasına koşulludur. Chen ve arkadaşlarının yaptığı kapsamlı değerlendirme, bu varsayımın ne kadar hassas olduğunu ortaya koymaktadır. Çalışma, farklı veri setleri (soru cevaplama, matematiksel akıl yürütme), farklı model aileleri (reasoning yetenekleri olan ve olmayan modeller) ve dağılım kaymaları (distribution shifts) senaryoları altında yöntemi test etmiştir.

Bulgular, conformal factuality garantilerinin distractor'lar (yanıltıcı, alakasız dokümanlar) ve domain shift'ler karşısında kolayca bozulduğunu göstermektedir. Örneğin, kalibrasyon verisi farklı bir kaynak alanından (source domain) geliyorsa ve dağıtım (deployment) zamanında farklı bir alana (target domain) geçiliyorsa, önceden hesaplanan eşik değerler geçerliliğini yitirmekte ve garanti bozulmaktadır. Bu durum, RAG sistemlerinin sürekli değişen bilgi ortamlarında (örneğin güncel haber veritabanları veya dinamik tıbbi literatür) kullanıldığı senaryolar için ciddi bir sınırlama oluşturmaktadır. Yani, sistem ne kadar iyi kalibre edilirse edilsin, dağılım değiştiğinde statik kalibrasyon değerleri güvenilirliği temin edememektedir.

Hesaplama Verimliliği ve Doğrulayıcı Mimarisinde Ölçeklendirme

Makalenin en dikkat çekici pratik bulgularından biri, doğruluk skoru hesaplama mekanizmalarının hesaplama maliyeti üzerinedir. Literatürde yaygın olarak LLM tabanlı güven skorlayıcıları (confidence scorers) kullanılırken, bu çalışma hafif entailment tabanlı doğrulayıcıların (lightweight entailment-based verifiers) LLM tabanlı yöntemlere eşdeğer veya üstün performans gösterebildiğini, bunu yaparken ise 100 kat daha az FLOP (floating point operation) gerektirdiğini ortaya koymaktadır.

Entailment (çıkarım/mantıksal sonuç çıkarma) modelleri, doğal dil çıkarımı (Natural Language Inference, NLI) görevleri için eğitilmiş, ikili veya üçlü sınıflandırma yapan görece küçük modellerdir. Bu modeller, bir iddianın referans metin tarafından desteklenip desteklenmediğini (entailment, contradiction, neutral) belirlemek üzere tasarlanmıştır. Çalışma, bu görevin üretim (generation) değil, ayrım (discrimination) gerektiren bir sınıflandırma problemi olduğunu ve bu nedenle milyarlarca parametreli üretici modeller yerine milyonlarca parametreli ayrım modellerinin kullanılmasının yeterli olduğunu göstermektedir. Bu bulgu, RAG pipeline'larının hesaplama bütçesi ve gecikme (latency) kısıtları göz önüne alındığında hemen uygulanabilir bir optimizasyon yolu sunmaktadır.

Kendi Yorumum ve Özgün Çıkarımlar

Bu çalışmanın ortaya koyduğu temel gerilim, istatistiksel güvenilirlik (statistical reliability) ile kullanışlılık (utility) arasındaki inherant çatışmadır. Conformal prediction çerçevesi, tipik olarak "kapsama garantisi" (coverage guarantee) sağlar; yani üretilen çıktıların belirli bir oranının doğru olacağını garanti eder. Ancak bu garanti, çıktının bilgilendirici olacağını garanti etmez. Bu, güvenlik kritik uygulamalarda (tıbbi teşhis, hukuki danışmanlık) tehlikeli bir ikilem yaratır: Ya yanlış bilgi riskini alırsınız (düşük eşik), ya da kullanıcıya hiçbir şey söylemezsiniz (yüksek eşik). Makalenin önerdiği "sufficient correctness" metrikleri, bu ikilemi nicelleştirmekte önemli bir adım olsa da, sorunun köküne çözüm getirmemektedir. Gelecekteki araştırmaların, post-hoc filtreleme yerine, üretim sırasında doğruluğu doğrudan artıran mekanizmalar (örneğin, geri alım sırasında daha iyi bağlam seçimi veya üretim sırasında ara kontroller) üzerine odaklanması gerektiği açıktır.

Ancak en temel paradigma değişikliği, doğrulama görevinin niteliğiyle ilgilidir. Tweet'te de vurgulandığı gibi, eğ