Potansiyel Tabanlı İçsel Motivasyon: Karmaşık ve Markov Olmayan Ödül Fonksiyonlarında Optimaliteyi Koruma

Giriş

Derin pekiştirmeli öğrenme (deep RL) alanında seyrek ödül (sparse reward) probleminin çözümü uzun süredir araştırmacıların odak noktasında. Aracının (agent) yalnızca görevi tamamladığında nadir bir ödül aldığı ortamlarda, rastgele keşif (exploration) yetersiz kalıyor ve öğrenme süreci pratik olarak durma noktasına geliyor. Bu soruna karşı geliştirilen içsel motivasyon (intrinsic motivation, IM) yöntemleri, merak (curiosity), yenilik arayışı (novelty seeking) veya öngörü hatası (prediction error) gibi ara ödüllerle araciyi keşfe teşvik ediyor. Ancak bu yaklaşımların kritik bir riski var: dikkatsizce tasarlanmış içsel ödül fonksiyonları, ortamın asıl optimal politika kümesini değiştirebiliyor ve aracinin görevi tamamlamak yerine "ödül hacking"i (reward hacking) yaparak içsel bonusları maksimize eden sahte optimal davranışlara yakınsamasına yol açabiliyor.

Ng, Harada ve Russell'ın 1999'da ortaya koyduğu potansiyel tabanlı ödül şekillendirme (potential-based reward shaping, PBRS), bu riski teorik olarak çözen bir çerçeve sunuyor. PBRS, ödül fonksiyonunu durumların (state) potansiyel fonksiyonu cinsinden yeniden yazdığında, optimal politikaların kümesinin korunduğunu ispatlıyor. Ancak klasik PBRS, potansiyel fonksiyonların yalnızca mevcut duruma bağlı olduğunu ve ortam dinamiklerinden bağımsız olduğunu varsayıyor. Modern derin öğrenme bağlamında ise içsel motivasyon modelleri, sinir ağı ağırlıklarına, geçmiş deneyim geçmişine (history), hatta büyük dil modellerinden (LLM) gelen geri bildirime bağlı olarak sürekli değişen, Markov özellikli olmayan (non-Markovian) ve istasyonar olmayan fonksiyonlar. İşte tam bu noktada "Potential-Based Intrinsic Motivation: Preserving Optimality With Complex, Non-Markovian Shaping Rewards" başlıklı çalışma devreye giriyor. Bu makale, PBRS'nin varsayımlarını genelleterek öğrenilebilir, karmaşık ve geçmişe bağımlı içsel ödül fonksiyonları için de optimalite garantileri sunan PBIM (Potential-Based Intrinsic Motivation) ve GRM (Generalized Reward Matching) yöntemlerini tanıtıyor.

Sorunun Tanımı: İçsel Motivasyon ve Optimalite Çelişkisi

Klasik pekiştirmeli öğrenme teorisi, sabit bir ödül fonksiyonu altında optimal politikanın varlığını ve tekliğini garanti eder. Ancak pratik uygulamalarda karşılaştığımız fine-tuning (ince ayar) senaryoları, insan geri bildiriminden öğrenme (RLHF) veya keşif bonusları gibi modeller, ödül fonksiyonunun eğitim süreci boyunca değiştiği, hatta aracinin kendi iç durumuna bağlı olarak evrimleştiği durumları içerir. Örneğin, bir merak modülü (curiosity module) aracinin ziyaret etmediği durumları tahmin edemeyebilir ve bu durumlara yüksek ödül atayabilir. Aracinin bu "ilginç" durumlarda takılıp kalarak asıl görevi ihmal etmesi, literatürde sıkça raporlanan bir fenomendir.

Geleneksel PBRS, potansiyel fonksiyonunun Φ(s) şeklinde yalnızca mevcut duruma bağlı olmasını ve şekillendirilmiş ödülün F(s,a,s') = γΦ(s') - Φ(s) formunda yazılmasını gerektirir. Burada γ indirim faktörüdür. Bu form, Bellman denklemlerinin optimal politikayı değiştirmeden çözülebilmesini sağlar. Ancak modern IM yöntemleri, R_intrinsic(s_t, a_t, h_t, θ_t) gibi ifadelerle karakterize edilir; burada h_t geçmiş deneyimleri, θ_t ise eğitilebilir ağ parametrelerini temsil eder. Bu durumda klasik PBRS teoremi doğrudan uygulanamaz çünkü potansiyel fonksiyonu artık sadece duruma değil, zamana ve öğrenme geçmişine de bağlıdır.

PBRS'nin Genelleştirilmesi: PBIM ve GRM'nin Teknik Altyapısı

Makalenin temel teknik katkısı, potansiyel tabanlı şekillendirmenin sınırlarını genişleterek bu karmaşık fonksiyon sınıfını kapsayacak şekilde uzatmasıdır. Yazarlar öncelikle PBIM yöntemini öneriyor. PBIM, içsel ödülü potansiyel farkları cinsinden ifade etmek için geçici (transient) potansiyel fonksiyonları kullanır. Ancak asıl genelleme GRM (Generalized Reward Matching) ile gelir. GRM, herhangi bir ödül fonksiyonunu, onu potansiyel tabanlı forma dönüştüren bir "sarıcı" (wrapper) olarak işlev görür.

GRM'nin matematiksel çekirdeği şu şekilde özetlenebilir: Verilen bir içsel ödül fonksiyonu R_int için, GRM bu ödülü iki terimin farkı olarak yeniden yazar: bir "potansiyel" terimi ve bir "artık" (residual) terim. GRM, potansiyel tabanlı kısmı izole ederek optimaliteyi korurken, artık kısmın etkisini ortadan kaldırır veya minimize eder. Makalede ispatlanan kritik teorem şudur: GRM, tüm potansiyel tabanlı ödül şekillendirme fonksiyonlarını kapsayacak kadar geneldir. Bu, GRM'nin PBRS'nin en genel hali olduğunu ve herhangi bir potansiyel tabanlı dönüşümün GRM çerçevesi altında ifade edilebileceğini gösterir.

Teknik olarak, GRM şekillendirilmiş ödülü şu formda ifade eder:

F_GR M = γΦ(s', h', θ') - Φ(s, h, θ) + Ψ(s, a, h, θ)

Burada Ψ terimi, Markov olmayan bağımlılıkları absorbe eden bir düzeltme terimidir. Yazarlar, bu formun optimal politika kümesini değiştirmediğini, yani aracinin asıl görev ödülünü maksimize eden davranışı değiştirmeden içsel motivasyonu kullanabileceğini rigoruz bir şekilde ispatlar.

Deneysel Sonuçlar ve Teorik Güvenceler

Makalede önerilen yöntemlerin etkinliği MiniGrid DoorKey ve Cliff Walking ortamlarında test edilir. MiniGrid DoorKey, aracinin bir kapıyı açmak için önce anahtarı alması gereken, seyrek ödüllü bir navigasyon bulmacasıdır. Cliff Walking ise klasik RL literatüründen bilinen, optimal olmayan kısa yolların (ucurumun kenarından gitmek) cazip göründüğü ama riskli olduğu bir ortamdır.

Deney sonuçları üç bulguyu net şekilde ortaya koyar:

• Optimalite Korunumu: Standart içsel motivasyon (merak tabanlı) kullanan araciler, DoorKey ortamında kapıyı açmak yerine rastgele hareket ederek yüksek keşif bonusu almaya devam ediyor ve suboptimal davranışa yakınsıyor. PBIM ve GRM ile sarılmış araciler ise görevi tamamlayan optimal politikaya yakınsıyor.
• Öğrenme Hızı: GRM'nin optimalite garantisi vermesi, öğrenme hızından ödün verildiği anlamına gelmez. Tam tersine, potansiyel tabanlı şekillendirme, araciye faydalı bir önyargı (inductive bias) sağlayarak eğitim süresini kısaltıyor.
• Genelleme: GRM'nin farklı mimarilerde (recurrent networks, transformer tabanlı içsel ödül modelleri) tutarlı şekilde çalışması, yöntemin uygulanabilirliğini gösteriyor.

Kendi Yorumum ve Özgün Çıkarımlar

Bu çalışma, klasik pekiştirmeli öğrenme teorisinin modern derin öğrenme pratiğiyle yeniden buluşmasının önemli bir örneği. Son on yılda, içsel motivasyon alanında çoğunlukla deneysel ve sezgisel yöntemler hakimdi. Ancak "Potential-Based Intrinsic Motivation" makalesi, bu sezgisel yaklaşımları rigoruz bir teorik çerçeveyle donatıyor ve pratik olarak uygulanabilir algoritmalar sunuyor.

Öngörüm şudur: Önümüzdeki üç yıl içinde, potansiyel tabanlı düzenleme (potential-based regularization), istasyonar olmayan ödül modelleri için varsayılan bir güvenlik katmanına dönüşecek. İnsan geri bildiriminden öğrenme (RLHF) senaryolarında, ödül modeli (reward model) sürekli güncellenen ve bazen tutarsızlıklar gösteren bir yapıdır. GRM tarzı bir sarıcı, bu tutarsızlıkların aracinin optimal politikasını bozmasını engelleyecek. Benzer şekilde, büyük dil modellerinin (LLM) geri bildirimini kullanan araciler için, LLM'nin bağlama bağlı olarak değişen ödül değerlendirmeleri GRM çerçevesinde güvenli bir şekilde işlenebilecek.

Ancak pratik zorluklar var. GRM'nin hesaplama maliyeti, özellikle yüksek boyutlu sürekli kontrol problemlerinde (continuous control) veya çok aracılı (multi-agent) sistemlerde nasıl ölçeklenecek? Potansiyel fonksiyonunun geçmişe bağımlılığı, uzun vadeli bağımlılıkların (long-term dependencies) modellenmesinde approximation error'ları (yaklaşım hatalarını) nasıl etkileyecek? Bu soruların cevabı, yöntemin endüst