Potential Tabanlı Ödül Şekillendirmede Etkinliği Artırma: Başlangıç Değerleri ve Sürekli Fonksiyonların Gizli Kısıtlamaları

Pekiştirmeli öğrenme (reinforcement learning) sistemlerinin en temel zorluklarından biri, seyrek (sparse) ve bilgilendirici olmayan ödül sinyalleriyle karşılaştıklarında kredi atama (credit assignment) problemini çözmeye çalışmaktır. Özellikle derin pekiştirmeli öğrenme (deep reinforcement learning) bağlamında, ajan uzun süreli bir deneme yanılma süreci boyunca hiçbir geri bildirim almadan çalışmak zorunda kalabilir. İşte bu noktada reward shaping, yani ödül şekillendirme, uzman bilgisini formal bir çerçeveye dönüştürerek ajanın öğrenme sürecini hızlandırmak için yaygın olarak kullanılan bir teknik olarak öne çıkar. Ancak bu alanın klasik çalışmalarından Ng ve arkadaşlarının (1999) potential tabanlı ödül şekillendirme (potential-based reward shaping, PBRS) yöntemiyle sağladığı policy invariance (politika değişmezliği) garantisi, optimal politikanın korunmasını sağlasa da, öğrenme hızı veya sample efficiency (örnek verimliliği) üzerinde herhangi bir garanti sunmaz. "Improving the Effectiveness of Potential-Based Reward Shaping in Reinforcement Learning" başlıklı bu çalışma, tam da bu boşluğu doldurarak PBRS'nin etkinliğinin başlangıç koşullarına olan kritik bağımlılığını ortaya koyar.

Politika Değişmezliği ve Örnek Verimliliği Arasındaki Boşluk

PBRS'nin temelinde, potansiyel fonksiyonu Φ(s) kullanılarak şekillendirilmiş ödülün F(s,a,s') = γΦ(s') - Φ(s) formülüyle hesaplanması yatar. Bu formülasyon, optimal politikanın ve politikaların getirilerine (returns) göre sıralamasının değişmediğini matematiksel olarak garanti eder. Ancak bu garanti, ajanın bu şekillendirilmiş ödülleri keşif (exploration) sürecinde ne ölçüde etkili kullanabileceği konusunda bir şey söylemez. Makale, PBRS'nin etkinliğinin kritik olarak initial Q-values (başlangıç Q değerleri) ve dışsal ödüllerin (external rewards) belirlediği bir dinamiğe bağlı olduğunu vurgular. Başlangıçta rastgele initialize edilmiş bir derin sinir ağı için Q değerleri, potansiyel fonksiyonun ürettiği şekillendirme sinyalleriyle uyumsuz bir aralıkta olabilir. Bu durum, ajanın şekillendirme ödüllerini kullanarak etkili bir kılavuzluk elde etmesini engeller.

Yazarlar, bu hizalama problemini çözmek için potansiyel fonksiyonuna basit bir doğrusal kaydırma (linear shift) uygulanmasının yeterli olduğunu formal olarak kanıtlar. Yani Φ'(s) = Φ(s) + c şeklindeki bir dönüşüm, potansiyel fonksiyonunda kodlanmış tercihleri (preferences) değiştirmeden, başlangıç Q değerleriyle uyumlu bir dinamik aralık oluşturur. Bu yaklaşım, derin öğrenme bağlamında başlangıç Q değerlerini ayarlamanın zorluğunu ve istenmeyen yan etkilerini (örneğin batch normalization katmanlarıyla etkileşim veya belirli initialization şemalarına bağımlılık) göz önünde bulundurduğunda özellikle pratik bir çözüm sunar.

Sürekli Potansiyel Fonksiyonların Teorik Sınırlılıkları

Çalışmanın ortaya koyduğu bir diğer kritik bulgu, sürekli (continuous) potansiyel fonksiyonların işaret atama (sign assignment) konusundaki teorik sınırlılıklarıdır. Pürüzsüz ve sürekli fonksiyonlar, durum uzayı (state space) boyunca pozitif ve negatif şekillendirme değerlerini atama konusunda belirsizlikler yaratır. Özellikle seyrek ödül ortamlarında, bu belirsizlik tutarsız kılavuzluk sinyallerine yol açabilir. Örneğin, potansiyel fonksiyonunun eğiminin küçük olduğu bölgelerde şekillendirme ödülü neredeyse sıfır olurken, bazı geçişlerde beklenmedik şekilde işaret değiştiren sinyaller oluşabilir.

Bu gözlem, ayrık (discrete) veya parçalı (piecewise) potansiyel fonksiyonlarının daha temiz bir kredi ataması sağlayabileceğini düşündürür. Sürekli fonksiyonların yaratığı bu ambiguous sign assignment (belirsiz işaret atama) sorunu, ajanın mevcut tahminlerine göre tutarlı yönlendirme sinyalleri almasını engeller. Gridworld ortamlarındaki deneyler, bu teorik sınırlılığın pratik sonuçlarını gözler önüne serer. Cart Pole ve Mountain Car gibi klasik kontrol problemlerinde ise bu bulguların derin pekiştirmeli öğrenme bağlamında da geçerli olduğu, sinir ağı tabanlı fonksiyon yaklaşımcıları (function approximators) kullanıldığında dahi doğrusal kaydırmanın etkinliğini koruduğu görülür.

Potansiyel Fonksiyonları Adaptif Bias Terimleri Olarak Yeniden Çerçeveleme

Bu bulgular ışığında, potansiyel fonksiyonlarını statik geometrik öncüller (static geometric priors) olarak değil, başlatmaya (initialization) bağımlı adaptif bias terimleri olarak ele almak gerekir. Geleneksel yaklaşımda, Φ fonksiyonu genellikle uzman bilgisinin nesnel bir temsili olarak görülür ve sabit kabul edilir. Ancak bu çalışma, potansiyel fonksiyonunun etkinliğinin, ağın başlangıçtaki değer dağılımıyla olan ilişkisine bağlı olduğunu gösterir. Bu, ödül şekillendirme tasarımında paradigmaya dair önemli bir çıkarım sunar.

Derin öğrenme pratiği düşünüldüğünde, ağırlıkların rastgele başlatılması veya belirli initialization şemaları (örneğin Xavier veya He initialization) kullanılması, Q değerlerinin başlangıç dağılımını belirler. Potansiyel fonksiyonunun bu dağılıma göre normalize edilmesi, öğrenme sürecinin ilk aşamalarında ajanın şekillendirme sinyallerini anlamlı bir şekilde yorumlayabilmesi için elzemdir. Bu bağlamda, potansiyel fonksiyonunun dinamik aralığı bir tür dynamic range adapter olarak çalışır ve ödül sinyallerini ağın exploitable zone olarak adlandırabileceğimiz, gradyan güncellemelerinin etkili olduğu bölgeye hizalar.

Ayrıca, sürekli potansiyellerin sınırlılıkları göz önüne alındığında, seyrek ödüllü ortamlarda parçalı lineer potansiyeller