Yaşam Boyu Pekiştirmeli Öğrenmede Ölçeklenebilir Planlama: Minimal Değer Eşdeğer Kısmi Modeller

Giriş

Model tabanlı pekiştirmeli öğrenme (model-based reinforcement learning), ajanların çevrelerini saf etkileşimden öğrenerek içsel modeller inşa etmesi üzerine kurulu temel bir paradigmadır. Geleneksel yaklaşımda, bu modellerin amacı ortamın her yönünü, her dinamiğini ve her durum geçişini mümkün olduğunca hassas bir şekilde yeniden oluşturmaktır. Ancak bu tutum, özellikle yaşam boyu öğrenme (lifelong learning) senaryolarında ciddi ölçeklenebilirlik ve sağlamlık sorunları barındırır. Ortamın sürekli değiştiği (nonstationary), görevlerin evrimleştiği ve ajanın sürekli olarak yeni durumlarla karşılaştığı uzun vadeli etkileşimlerde, çevrenin tamamını modellemeye çalışmak üstel örneklem karmaşıklığı (exponential sample complexity) ve birleşik hata birikimi (compounding error accumulation) gibi kaçınılmaz sonuçlar doğurur.

"Minimal Value-Equivalent Partial Models for Scalable and Robust Planning in Lifelong Reinforcement Learning" başlıklı çalışma, bu kritik soruna kökten bir çözüm önermektedir. Makaleye göre, optimal karar verme sürecinde işlevsel bir rolü olmayan çevresel değişkenleri modellemek hesaplama kaynağının israfından öte, dağılım kaymalarına (distribution shift) karşı kırılgan sistemler inşa etmek anlamına gelir. Yazarlar, yalnızca karar alma süreci için gerekli olan çevresel yönleri modelleyen "minimal değer eşdeğer kısmi modeller" (minimal value-equivalent partial models) kavramını formalize ederek, ölçeklenebilir ve sağlam planlama için yeni bir çerçeve sunmaktadır.

Tam Modellerin Krizi ve Değer Eşdeğerliğin Önemi

Geleneksel model tabanlı sistemlerde, bir geçiş modeli (transition model) $s_{t+1} \sim P(\cdot|s_t, a_t)$ şeklinde tanımlanır ve