Sıralama Sistemlerinde Güven Eşikleri: Yapısal ve Bağlamsal Belirsizliğin Ayrımı

Giriş

Modern öneri sistemleri, reklam açık artırmaları ve klinik triyaj kuyrukları gibi sıralama tabanlı karar sistemleri, kullanıcıya sunulan listeler üzerinde ne zaman müdahalede bulunacaklarını ve ne zaman geri çekilerek (abstention) varsayılan davranışa döneceklerini sürekli olarak değerlendirmek zorundadır. Bu sistemler, kullanıcı deneyimini optimize ederken, adil sonuçlar sağlarken veya acil vakaları önceliklendirirken, belirsiz oldukları girdiler için aşırı müdahaleci davranmak performansı düşürürken, az müdahale etmek de kritik fırsatları kaçırabilir. Ronald Doku'nun "The Confidence Gate Theorem: When Should Ranked Decision Systems Abstain?" başlıklı çalışması, bu ikilemi teorik bir çerçeve ve çok alanlı deneysel analizle ele alıyor. Makale, güven tabanlı çekilme mekanizmalarının ne zaman karar kalitesini monotonik olarak iyileştirdiğini ve ne zaman sistematik başarısızlıklar sergilediğini formel koşullarla tanımlıyor.

Ana Analiz: Güven Eşiği Teoremi ve Formel Koşullar

Doku'nun teoremi, seçici doğruluk (selective accuracy) eğrilerinin monotonik olarak artması için iki temel koşul öne sürüyor: rank alignment (C1) ve no inversion zones (C2). C1, sistemin güven skorlarının gerçek doğruluk olasılığı ile uyumlu sıralanmasını gerektirir; yani yüksek güvenli tahminlerin gerçekten daha doğru olması beklenir. C2 ise tersine dönme bölgelerinin olmamasını şart koşar; belirli bir güven eşiğinin altındaki tüm örnekler, üstündeki örneklerden daha düşük doğruluk sergilemelidir. Bu koşullar matematiksel olarak basit görünse de, pratikte dağılım kaymaları (distribution shift) altında nasıl bozulduklarını anlamak makalenin merkezinde yer alıyor.

Makale, bu formel çerçeveyi üç farklı alanda doğruluyor: işbirlikçi filtreleme (MovieLens, üç farklı dağılım kayması senaryosu), e-ticaret amaç tespiti (RetailRocket, Criteo, Yoochoose) ve klinik yol triyajı (MIMIC-IV). Her bir senaryoda, güven eşiklerinin (confidence gate) performans eğrileri incelenmiş ve C1 ile C2 koşullarının sağlanıp sağlanmadığı test edilmiştir.

Ana Analiz: Yapısal ve Bağlamsal Belirsizlik Ayrımı

Çalışmanın en kritik katkısı, belirsizliğin kaynağını iki kategoriye ayırmasıdır: yapısal belirsizlik (structural uncertainty) ve bağlamsal belirsizlik (contextual uncertainty). Yapısal belirsizlik, eksik veriden kaynaklanır; cold start (soğuk başlangıç) durumlarındaki yeni kullanıcılar veya seyrek etkileşim geçmişi olan öğeler bu kategoriye girer. Bağlamsal belirsizlik ise eksik bağlamdan kaynaklanır; temporal drift (zamansal kayma) gibi, sistemin eğitim verisinden farklı bir zamanda veya koşulda çalıştığı durumları kapsar.

Deneysel bulgular, bu ayrımın pratik sonuçlarını net bir şekilde ortaya koyuyor. Yapısal belirsizlik durumlarında, gözlem sayıları (observation counts) gibi yapısal olarak temellendirilmiş güven sinyalleri neredeyse monotonik çekilme kazançları sağlıyor. Ancak aynı sinyaller, MovieLens veri setinin zamansal bölünmesinde (temporal split) bağlamsal kayma altında rastgele çekilme kadar çok monotonite ihlali (monotonicity violation) üretiyor. Bağlam farkındalığı olan alternatifler; ensemble disagreement (farklı modellerin tahmin çeşitliliği) ve recency features (yenilik özellikleri) gibi yöntemler, bu boşluğu kısmen daraltıyor (ihlalleri 3'ten 1-2'ye indiriyor) ancak monotoniteyi tam olarak restore edemiyor. Bu durum, bağlamsal belirsizliğin niteliksel olarak farklı ve daha zorlu bir problem olduğunu gösteriyor.

Ana Analiz: Artık Tabanlı İstisna Etiketlerinin Çöküşü

Makale, yaygın bir uygulama olan model artıklarına (residuals) dayalı istisna tespitine karşı temiz bir olumsuz sonuç sunuyor. Birçok üretim sistemi, tahmin hatalarına göre tanımlanan istisna etiketlerini sınıflandırarak müdahale kararları alır. Doku'nun analizi, bu etiketlerin dağılım kaymaları altında nasıl discriminate güçlerini kaybettiğini gösteriyor. MovieLens üzerindeki üç farklı bölünmede, eğitim setinde 0.71 olan AUC değeri, test setlerinde 0.61-0.62 seviyelerine düşüyor. Bu belirgin performans kaybı, istisna tabanlı müdahale stratejilerinin neden üretim ortamlarında güvenilmez olduğunu açıklıyor. Artıklar, verinin değişmez özellikleri değil, modelin belirli bir zamandaki hatalarının yansımalarıdır ve bu nedenle zamanla değişen sistemlerde stabil sinyaller sağlamazlar.

Kendi Yorumum ve Özgün Çıkarımlar

Teorik olarak yapısal ve bağlamsal belirsizlik arasındaki ikilik net olsa da, üretim ortamlarında bu ayrım bulanıklaşıyor. Gerçek dünya sistemlerinin çoğu, hem cold start sorunu yaşayan yeni öğelerle (yapısal belirsizlik) hem de zamansal trendlerin değiştiği dinamik ortamlarda (bağlamsal belirsizlik) aynı anda karşı karşıya kalıyor. Klinik karar destek sistemlerinde seyrek görülen hastalıklar ve değişen tedavi protokolleri; e-ticaret platformlarında yeni ürünler ve mevsimsel davranış değişiklikleri bu ikiliğin somut örnekleridir.

Makalenin vurguladığı temel sorun, mevcut güven sinyallerinin silolaşmış (siloed) olmasıdır. Gözlem sayıları dağılım kayması altında çökerken, ensemble disagreement hesaplama maliyetini yapısal seyreklik durumlarında boşa harcıyor. Daha derin bir sınırlama ise, belirsizlik tipini önceden bilmeden bu kaynakları uyarlayarak ağırlıklandırabilen birleşik bir sinyalin (unified confidence signal) eksikliğidir. Bağlam farkındalığı yöntemleri ihlalleri azaltıyor olsa da, kalan 1-2 monotonite ihlali ısrarla devam ediyor. Bu rezidüel non-monotonite, zamansal kaymanın sıralama çıktılarının geometrisini nasıl bozduğuna dair mevcut anlayışımızın yetersiz olduğunu düşündürüyor. Belki de evrensel güven eşiklerinin (universal confidence gate) peşinde koşmak yerine, belirsizlik tipini çevrimiçi olarak tespit eden ve buna göre sinyal seçen adaptif mekanizmalar geliştirmeliyiz.

Ayrıca, exception label yaklaşımının çöküşü, model hatalarını doğrudan hedefleyen supervised learning stratejilerinin temel bir zayıflığını gösteriyor. Dağılım kaymaları altında invariant özellikler aramak yerine, sistemin kendi belirsizliğini nasıl kalibre ettiğini (calibration) anlamaya odaklanmak daha sürdürülebilir bir yol gibi görünüyor.

Sonuç

"The Confidence Gate Theorem" çalışması, sıralama sistemlerinde güven eşiklerinin dağılım kaymaları altında nasıl davrandığını sistematik olarak inceleyen nadir deneysel katkılardan biri. Makale, ML mühendisleri için somut bir dağıtım diyagnostiği (deployment diagnostic) sunuyor: Bir gü