TELLA ve Sürekli Pekiştirmeli Öğrenmenin Ölçüm Paradoksu

Giriş

Sürekli pekiştirmeli öğrenme, yapay zeka ajanlarının birden fazla ortam ve görev arasında geçiş yaparken önceki deneyimlerini unutmadan yeni beceriler edinmesini gerektiren temel bir problemdir. Bu alanın en büyük zorluklarından biri, farklı yaklaşımların karşılaştırılmasını sağlayacak reproducible (tekrarlanabilir) deney düzeneklerinin ve standart benchmark (karşılaştırma ölçütü) setlerinin bulunmamasıdır. "Continual Reinforcement Learning with TELLA" başlıklı çalışma tam bu noktada devreye girerek, yaşam boyu öğrenen ajanların test ve değerlendirmesi için TELLA adlı bir araç sunmaktadır. TELLA, belirli müfredatlar (curricula) altında tekrarlanabilir deneyler sunarken detaylı veri kaydı ve standart analiz imkanları sağlamaktadır. Ancak bu teknik katkı, alanın derinlerinde yatan epistemolojik bir gerilimi de gün yüzüne çıkarmaktadır. Standardizasyon çabası ile gerçek dünya koşullarının getirdiği durağan olmayan (non stationary) karmaşıklık arasındaki gerilim, sürekli öğrenme araştırmalarının temel bir ikilemini oluşturmaktadır.

TELLA'nın Teknik Altyapısı ve Standardizasyon Çabası

TELLA çerçevesinin temel teknik katkısı, DARPA Lifelong Learning Machines (L2M) Programı kapsamında oluşturulan müfredatlar dahil olmak üzere, tanımlanabilir ve paylaşılabilir öğrenme ortamları sunmasıdır. Araştırmacılar kendi görev dizilerini tanımlayabileceği gibi, standartlaştırılmış müfredatlar üzerinde çalışarak sonuçlarını karşılaştırabilirler. Sistem, ajanın öğrenme sürecini adım adım kaydederek fine tuning (ince ayar) performansını, görevler arası geçiş dinamiklerini ve öğrenme eğrilerini detaylı şekilde analiz etme imkanı tanımaktadır.

Bu yaklaşım bilimsel açıdan elzemdir. Sürekli öğrenme alanında yaşanan "katastrofik unutma" (catastrophic forgetting) problemini çözmeye yönelik çeşitli yöntemler önerilmekte ancak bu yöntemlerin karşılaştırılması güçleşmektedir. TELLA, bu karşılaştırılabilirlik sorununu adresleyerek attention (dikkat) mekanizmaları, regularization tabanlı yöntemler ve yapısal plastisite algoritmalarının objektif değerlendirmesini mümkün kılmaktadır. Özellikle birden fazla görev dizisinin (task sequence) sistematik olarak test edilebilmesi, algoritmaların genelleme yeteneklerinin ölçülmesi açısından kritik öneme sahiptir.

Standardizasyonun Yarattığı Epistemolojik Kriz

Ancak TELLA'nın sunduğu bu düzenek, sürekli öğrenmenin özüne dair temel bir soruyu gündeme getirmektedir. Önceden tanımlanmış müfredatlar kullanarak tekrarlanabilirlik sağlamak, aslında yaşam boyu öğrenmeyi zorlaştıran temel özelliği ortadan kaldırmaktadır. Gerçek dünya senaryolarında ajan, ne zaman yeni bir görevle karşılaşacağını, görev sınırlarının nerede başlayıp bittiğini veya hangi ortam dinamiklerinin değişeceğini önceden bilemez. Bu durağan olmayan (non stationary) yapı, sürekli öğrenmenin tanımı gereği içinde barındırdığı belirsizliktir.

TELLA'nın sunduğu blok halindeki görev dizileri (task blocks) ve belirli geçiş noktaları, aslında ajan için bir tür meta learning (üst öğrenme) kolaylığı yaratmaktadır. Ajanlar, müfredatın yapısal düzenini kullanarak görevler arası geçişleri öngörebilir ve bu yapıyı sömürebilir (exploit). Bu durum, ajanın gerçek anlamda adaptasyon geliştirmesinden ziyade, eğitim setinin istatistiksel düzenini öğrenmesi anlamına gelmektedir. Dolayısıyla standardizasyon, ölçülebilirliği artırırken ölçülmeye çalışılan yeteneğin kendisini sulandırmaktadır.

Metriklerin Yetersizliği ve Ölçüt Sorunu

TELLA çerçevesinin karşılaştığı bir diğer temel sorun ise değerlendirme metriklerinin yapısal sınırlılıklarıdır. Mevcut literatürde yaygın olarak kullanılan "unutma" (forgetting) metriği, ajanın görev A üzerindeki performansını görev B'yi öğrendikten sonra ne kadar kaybettiğini ölçmektedir. Bu hesaplama teknik olarak basittir ve average performance gibi tek bir sayıya indirgenebilir.

Ancak sürekli öğrenmenin kalitesini belirleyen faktörler sadece unutma derecesi değildir. Forward transfer (ileriye transfer), yani önceki görevlerden edinilen bilgilerin yeni görevleri daha hızlı öğrenmeye yardımcı olması, ve backward transfer (geriye transfer), yeni görevlerin önceki görevlerdeki performansı iyileştirmesi, daha nüanslı ölçümler gerektirmektedir. Özellikle birbiriyle ilişkisiz görevler arasındaki pozitif transferi ölçmek, mevcut benchmark yapılarının çoğunda ihmal edilmektedir.

Daha da karmaşık olan "graceful degradation" (zarif performans düşüşü) kavramıdır. Bir ajan, ortam dinamikleri değiştiğinde performansını aniden yitirmek yerine yavaş yavaş adapte olabiliyorsa, bu durum tek bir skala ile ölçülemeyecek kadar dinamik bir özellik taşımaktadır. TELLA'nın loglama yetenekleri bu dinamikleri kaydetmekte başarılı olsa da, bu verileri tek bir karşılaştırma sayısına indirgemek mümkün olmamaktadır. Bu durum, tweet'te belirtildiği gibi, kontrollü değerlendirme ile açık uçlu özerklik (open ended autonomy) arasındaki temel uyumsuzluğu ortaya koymaktadır.

Kendi Yorumum ve Özgün Çıkarımlar

Bu ikilem aslında yapay zeka değerlendirmesindeki daha derin bir metodolojik krizi yansıtmaktadır. Biz, açık uçlu otonomiyi kontrollü laboratuvar koşullarına hapsederek ölçmeye çalışmaktayız. Bu durum, biyolojik evrimi sadece Petri kabında ölçmeye çalışmaya benzemektedir. TELLA'nın sunduğu çerçeve elzemdir ancak yeterli değildir. Çünkü gerçek yaşam boyu öğrenme, görevlerin etiketlerinin (task labels) ajan tarafından bilinmediği, görev sınırlarının belirsiz olduğu ve ortamın sürekli olarak gradyan değil, sıçramalarla değiştiği bir yapıdır.

Bence çözüm, TELLA'nın altyapısının genişletilerek "düşman müfredatlar" (adversarial curricula) eklenmesinde yatmaktadır. Ajanın performansına göre dinamik olarak değişen, görev kimliklerinin gizli tutulduğu ve geçiş noktalarının stokastik olduğu bir değerlendirme protokolü, standardizasyon ile gerçekçiliği uzlaştırabilir. Ayrıca sonuç odaklı metrikler yerine süreç odaklı metriklere geçiş yapmalıyız. Örneğin ajanın yeni bir görevle karşılaştığında ne kadar sürede "kararsızlık" (uncertainty) gösterdiği, bilgisini ne kadar sürede güncellediği gibi parametreler, gerçek adaptasyon yeteneğini daha iyi yansıtacaktır.

Ayrıca, "tek sayılı metrik" arayışından vazgeçip çok boyutlu değerlendirme uzaylarına geçiş yapmalıyız. Unutma, transfer, örnek verimliliği ve keşif davranışı gibi faktörlerin bir arada değerlendirildiği Pareto optimality çerçeveleri, alanın ilerlemesi için daha sağlıklı olacaktır. TELLA'nın veri kaydı altyapısı bu çok boyutlu analizi destekleyecek şekilde zenginleştirilebilir.

Sonuç

"Continual Reinforcement Learning with TELLA" çalışması, alanın acil ihtiyacı olan tekrarlanabilirlik ve standardizasyonu sağlayan değerli bir katkı sunmaktadır. Ancak bu çerçeve, sürekli öğrenmenin doğasındaki durağan olmayanlık ile bilimsel metodolojinin gerektirdiği kontrol arasındaki gerilimi de açıkça gözler önüne sermektedir. Mevcut haliyle TELLA, "küçük ölçekli sürekli öğrenme" (continual learning in the small) için uygundur ancak "büyük ölçekli yaşam boyu öğrenme" (lifelong learning in the large) için yetersiz kalmaktadır.

Gelecek araştırmaların, statik müfredatlar yerine emergent (ortaya çıkan) görev yapıları, ajan tarafından bilinmeyen görev kimlikleri