Batch Normalization'un Gizli Geometrisi: Veri Uyumlu Bölümlemeler ve Akıllı Başlatma

Giriş

Derin öğrenme literatüründe neredeyse herhangi bir state-of-the-art modelin mimarisine baktığımızda, batch normalization (BN) katmanlarıyla karşılaşırız. Ioffe ve Szegedy'nin 2015 yılında ortaya attığı bu teknik, 40.000'den fazla atıf alarak modern yapay sinir ağlarının (deep networks, DNs) vazgeçilmez bir bileşeni haline geldi. Geleneksel olarak BN, gradyanların dağılımını stabilize ederek kayıp fonksiyonunun (loss landscape) düzleşmesini sağlayan bir optimizasyon yardımcısı olarak anlaşılıyordu. Ancak Randall Balestriero ve Richard G. Baraniuk'un "Batch Normalization Explained" başlıklı çalışması, bu görüşün tek başına yetersiz olduğunu ve BN'nin çok daha derin, bağımsız bir öğrenme mekanizması barındırdığını gösteriyor.

Bu makalenin temel argümanı şudur: Batch normalization, pasif bir normalizasyon işleminden öte, sürekli parçalı doğrusal (continuous piecewise affine, CPA) spline olarak modellenebilen derin ağların girdi uzayını, veri yapısına göre geometrik olarak adapte eden bağımsız bir unsupervised learning tekniğidir. Bu perspektif değişimi, BN'nin neden gelişmiş mimarilerde (örneğin residual networks) ve Adam gibi sofistike optimizasyon algoritmalarıyla birlikte bile performans artışı sağladığını açıklıyor.

Spline Geometrisi ve Veriye Uyumlu Bölümleme

Modern derin ağların çoğu, matematiksel olarak CPA spline'lar olarak modellenebilir. Bu yaklaşıma göre bir derin ağ, girdi uzayını (input space) "doğrusal bölgeler" (linear regions) olarak adlandırılan parçalara ayırır ve her bölge içinde birer doğrusal (affine) dönüşüm uygular. Aktivasyon fonksiyonlarının (ReLU, leaky-ReLU gibi) yarattığı bu bölümleme, ağın karar sınırlarını (decision boundaries) ve ifade kapasitesini belirler.

Balestriero ve Baraniuk'un analizi, BN'nin bu spline bölümlemesinin geometrisini, eğitim verisine (training data) olan toplam en küçük kareler (Total Least Squares, TLS) mesafesini minimize edecek şekilde adapte ettiğini gösteriyor. Başka bir deyişle, BN katmanları içeren bir ağ, rastgele başlatılmış ağırlıklara (random weights) sahip olsa bile, katman çıktılarındaki istatistiksel momentleri kullanarak bölüm sınırlarını (partition boundaries) veri noktalarına doğru çeker.

Bu adaptasyon iki temel parametre üzerinden gerçekleşir:

• Öteleme (translation): BN parametresi μ (batch mean), bölüm sınırlarını veri bulutunun merkezine doğru kaydırır.
• Katlamak (folding): BN parametresi σ (batch standard deviation), bölüm sınırlarını veriye doğru katlayarak bölgesel hassasiyeti artırır.

Makaledeki Figür 1 bu etkiyi çarpıcı biçimde ortaya koyuyor. BN kullanılmayan bir ağda, katlanmış hiperdüzlemler (folded hyperplanes) girdi uzayına rastgele dağılırken; BN uygulandığında bu sınırlar eğitim örneklerinin etrafında yoğunlaşıyor. Bu durum, veriye yakın bölgelerde daha hassas bir fonksiyon yaklaşımı (finer approximation) imkanı tanıyor ve ağın veri topolojisini (data topology) öğrenmeden önce algılamasına olanak sağlıyor.

Akıllı Başlatma ve Minibatch Varyasyonu

Bu bulgunun pratik sonuçlarından biri, BN'nin sağladığı "akıllı başlatma" (smart initialization) etkisidir. Geleneksel derin ağlarda, ağırlıkların rastgele başlatılması genellikle veriden bağımsız bir bölümleme oluşturur. Ancak BN katmanları, gradyan tabanlı öğrenme başlamadan önce, hatta ağın hiç eğitilmemiş olmasına rağmen, spline geometrisini veri yapısına göre şekillendirir. Bu, optimizasyon sürecinin daha verimli bir başlangıç noktasından başlamasını sağlar.

Makalenin ikici önemli katkısı, minibatch istatistiklerinin varyasyonunun rolünü yeniden tanımlamasıdır. Eğitim sırasında, her mini yığındaki (mini-batch) farklı örnekler, BN istatistiklerinde (μ ve σ) küçük değişimlere neden olur. Geleneksel yaklaşım bu varyasyonu istenmeyen bir gürültü olarak görüp inference (test) aşamasında tüm eğitim setinin istatistikleriyle sabitlemeye çalışır.

Ancak "Batch Normalization Explained" çalışması, bu varyasyonun aslında bir dropout benzeri bir düzenleyici (regularizer) olduğunu gösteriyor. Minibatch'ler arasındaki istatistiksel dalgalanmalar, spline bölüm sınırlarını ve dolayısıyla sınıflandırma problemlerindeki karar sınırlarını stokastik olarak pertürbe eder (stochastic perturbation). Bu rastgelelik, eğitim örnekleri ile karar sınırı arasındaki boşluğu (margin) artırarak overfitting (aşırı öğrenme) riskini azaltır ve genelleme (generalization) performansını iyileştirir.

Kendi Yorumum ve Özgün Çıkarımlar

Bu makalenin getirdiği perspektif, derin öğrenme alanında inductive bias (önyargı/önbilgi) anlayışımızı kökten değiştirmemizi gerektiriyor. Normalizasyon katmanlarını, sadece optimizasyonu kolaylaştıran pasif mekanizmalar olarak görmek yerine, veri topolojisini kodlayan aktif geometrik adaptörler olarak düşünmeliyiz.

Bu bulgu, özellikle transfer learning (aktarımlı öğrenme) ve fine-tuning bağlamlarında önemli çıkarımlar sunuyor. Eğer BN katmanları, ağırlıklardan bağımsız olarak veri yapısını öğrenebiliyorsa, önceden eğitilmiş modellerde (pre-trained models) bu katmanların dondurulması (freezing) veya yeniden kalibre edilmesi, hedef veri setinin geometrisine adapte olma kapasitesini doğrudan etkiler. Bu, fine-tuning stratejilerinde BN katmanlarının özel olarak ele alınmasını gerektirebilir.

Ayrıca, bu teori modern mimarilerde (örneğin ResNet, DenseNet) BN'nin neden hala kritik olduğunu açıklıyor. Bu mimariler zaten optimizasyon yüzeyini düzleştiren yapılar (skip connections) içermelerine rağmen, BN kullanımı performansı önemli ölçüde artırıyor. Bunun nedeni, BN'nin sadece optimizasyonu kolaylaştırmaktan öte, veriye uygun spline bölümlemesi oluşturarak ağın temsil kapasitesini (representation capacity) artırmasıdır.

Bir diğer önemli çıkarım ise, minibatch varyasyonunun kasıtlı olarak korunması veya kontrol edilmesi gerektiği yönünde. Inference sırasında batch istatistiklerinin sabitlenmesi, eğitimdeki bu stokastik perturbasyonu ortadan kaldırır. Belki de Monte Carlo dropout benzeri bir yaklaşımla, test sırasında da çeşitli minibatch istatistikleri örnekleyerek ensemble yapmak, belirsizlik kalibrasyonu (uncertainty calibration) ve robustness açısından faydalı olabilir.

Sonuç

"Batch Normalization Explained" çalışması, literatürde uzun süredir devam eden "BN neden işe yarar?" sorusuna fonksiyon yaklaşımı perspektifinden tatmin edici bir yanıt sunuyor. BN'nin etkisi sadece kayıp fonksiyonunun eğriliğini azaltmak değil; aynı zamanda derin ağın girdi uzayındaki geometrik bölümlemesini, eğitim verisinin yapısına uygun olarak bağımsız bir şekilde adapte etmektir.

Bu bulgu, batch normalization'ı passive bir normalizasyon aracından, veri yapısını kodlayan aktif bir unsupervised learning mekanizmasına dönüştürüyor. Gelecekteki mimari tasarımlarda, bu geometrik adaptasyon prensibini bilerek hareket edebilir; belki de veriye özel bölümleme oluşturan alternatif normalizasyon şemaları geliştirebiliriz. Derin öğrenmenin sadece ağırlıkların optimizasyonu değil, aynı zamanda girdi uzayının akıllıca bölümlenmesi olduğu gerçeği, bu makaleyle bir kez daha güçlü bir şekilde vurgulanıyor.