Olasılık Fonksiyonel İnişi: Üretici Ağlar, Varyasyonel Çıkarım ve Pekiştirmeli Öğrenmenin Birleştirici Çerçevesi

Giriş

Derin öğrenme araştırmaları son yıllarda farklı alanlara ayrılarak ilerlemiş görünüyor. Üretici çekişmeli ağlar (GANs), varyasyonel çıkarım (variational inference) ve pekiştirmeli öğrenme (reinforcement learning) gibi başlı başına disiplinlere dönüşen bu alanlar, kendi özel terim dağarcıklarını, optimizasyon tekniklerini ve değerlendirme protokollerini (benchmark) geliştirdiler. Ancak Casey Chu, Jose Blanchet ve Peter Glynn tarafından kaleme alınan "Probability Functional Descent: A Unifying Perspective on GANs, Variational Inference, and Reinforcement Learning" başlıklı çalışma, bu ayrılığın aslında yapay bir bölünme olduğunu ve söz konusu üç alanın da aynı temel optimizasyon probleminin farklı örnekleri olduğunu gösteriyor.

Makalenin merkezinde, olasılık ölçüleri uzayında (probability measures) tanımlı fonksiyonellerin minimize edilmesi fikri yatıyor. Yazarlar, GANs, varyasyonel çıkarım ve pekiştirmeli öğrenmenin tamamının birer olasılık fonksiyonel inişi (probability functional descent, PFD) problemi olarak yeniden çerçevelenebileceğini ileri sürüyor. Bu perspektif değişimi, farklı algoritmalar arasındaki matematiksel bağlantıları görünür kılarak, disiplinler arası teknik aktarım için yeni imkanlar sunuyor.

Olasılık Fonksiyonel İnişinin Teorik Temelleri

Standart derin öğrenme optimizasyonu, sonlu boyutlu bir parametre uzayında gradyan inişi (gradient descent) gerçekleştirir. Ancak GANs gibi modellerde amaç, ağırlık parametrelerinin kendisi değil, üretici ağın tanımladığı olasılık dağılımının optimize edilmesidir. İşte PFD çerçevesi tam burada devreye giriyor.

Chu ve meslektaşları, optimizasyon problemini şu şekilde formüle ediyor:

min J(μ)
μ ∈ P(X)

Burada P(X), X üzerindeki Borel olasılık ölçülerinin uzayını; J ise bir olasılık dağılımını reel sayıya eşleyen olasılık fonksiyonelini (probability functional) temsil ediyor. Bu sonsuz boyutlu uzayda standart gradyan tanımlı değildir. Yazarlar bu sorunu, istatistiksel dayanıklılık literatüründen gelen von Mises kalkülüsünü (von Mises calculus) kullanarak aşıyorlar.

Von Mises kalkülüsüne göre, bir fonksiyonelin türevi, etki fonksiyonu (influence function) olarak bilinen bir nesneyle ifade edilebilir. Bu fonksiyonel türev, Gâteaux türevi yaklaşımıyla tanımlanır ve bize dağılım uzayında lineer bir yaklaşım (linear approximation) olanağı tanır. PFD algoritması, bu etki fonksiyonunu kullanarak fonksiyonel değeri azaltacak yönde dağılımı günceller. Kritik nokta şudur: etki fonksiyonunun kendisi bir fonksiyondur ve bu fonksiyonu farklı şekillerde tahmin etmek, farklı algoritmalar üretmek anlamına gelir.

Üç Algoritma Ailesinin Yeniden Sınıflandırılması

Makalede sunulan çerçeve, mevcut algoritmaların hepsinin aslında PFD'nin farklı uygulamaları olduğunu gösteriyor. Temel fark, etki fonksiyonunun nasıl tahmin edildiğinde yatıyor.

Üretici Çekişmeli Ağlar (GANs): GANs bağlamında, μ üretici ağın (generator) oluşturduğu veri dağılımını; ν ise gerçek veri dağılımını temsil eder. Optimize edilen fonksiyonel, genellikle μ ve ν arasındaki bir farklılık ölçüsü (divergence) D(μ||ν)'dir. Etki fonksiyonu ise ayırt edici ağın (discriminator) optimal değeri D*(x) ile ilişkilidir. Farklı GAN türleri, bu etki fonksiyonunu farklı şekillerde tahmin eder:

• Minimax GAN ve Wasserstein GAN, konveks ikilik (convex duality) kullanarak etki fonksiyonunu bir min-max problemi olarak çözer.
• Non-saturating GAN, ikili sınıflandırma (binary classification) perspektifiyle aynı fonksiyonu tahmin eder.

Varyasyonel Çıkarım (Variational Inference): Burada μ, yaklaşık sonsal dağılım (approximate posterior) q(z)'dir ve minimize edilen fonksiyonel KL ıraksaması DKL(q(z)||p(z|x))'tir. Etki fonksiyonu, log q(z) ile log p(x,z) arasındaki farka bağlıdır. Black-box varyasyonel çıkarım (Ranganath et al., 2014) bu türevi analitik olarak hesaplarken, adversarial varyasyonel Bayes (Mescheder et al., 2017) aynı matematiksel nesneyi GAN'larda olduğu gibi ikili sınıflandırma ile tahmin eder.

Pekiştirmeli Öğrenme (Reinforcement Learning): Politika (policy) π(a|s) optimize edilmek istenen dağılımdır. Fonksiyonel J(π), beklenen ödül (expected reward) değeridir. Etki fonksiyonu ise avantaj fonksiyonu (advantage function) Aπ(s,a) = Qπ(s,a) - Vπ(s)'dir. Politika gradyanı (policy gradient, Williams 1992), bu etki fonksiyonunu Monte Carlo örnekleme ile tahmin ederken; aktör-kritik (actor-critic, Konda & Tsitsiklis 2000) yöntemleri en küçük kareler (least squares) yaklaşımıyla aynı türevi hesaplar. Dual aktör-kritik yöntemleri ise konveks ikilik kullanarak bu tahmini gerçekleştirir.

Bu sınıflandırma, Table 2'de özetleniyor: Farklı algoritmalar, aynı matematiksel nesne olan etki fonksiyonunun farklı tahmin yöntemlerinden ibaret.

Kendi Yorumum ve Disiplinler Arası Etkileşim İmkanları

Bu birleştirici çerçevenin en derin çıkarımı, farklı alanlarda geliştirilen tekniklerin aslında birbirinin yerine kullanılabilir olmasıdır. Literatürdeki jargon bariyeri, aynı optimizasyon probleminin çözümlerinin alanlar arasında serbestçe dolaşmasını engelliyor.

Örneğin, pekiştirmeli öğrenmede politika gradyanları