Compute-Optimal Örnekleme: LLM RL Eğitiminde Hesaplama Bütçesinin Optimal Dağılımı

Giriş

Büyük dil modellerinin (LLM) ön eğitiminde (pre-training) geçerli olan ölçeklendirme yasaları (scaling laws) sayesinde, hesaplama bütçesi ile model performansı arasındaki ilişki öngörülebilir hale gelmiştir. Chinchilla optimalitesi gibi kurallar, belirli bir hesaplama bütçesi karşısında model parametre sayısı ile eğitim token miktarı arasındaki dengeli dağılımı göstermektedir. Ancak bu öngörülebilirlik, pekiştirmeli öğrenme (reinforcement learning, RL) ile yapılan sonrası eğitimde (post-training) büyük ölçüde kaybolmaktadır.

Pratikte bir LLM'i RL ile iyileştirmek isteyen araştırmacılar ve mühendisler karşılaştıkları temel soru şudur: Elimizde sabit bir GPU bütçesi ve belirli bir temel model varken, bu kaynağı nasıl bölüştürmeliyiz? Daha fazla benzersiz problem mi göstermeli, yoksa her problem için daha fazla paralel örneklememi (rollout) mi yapmalıyız? Yoksa eğitimi daha uzun süre mi sürdürmeliyiz?

IsoCompute Playbook: Optimally Scaling Sampling Compute for LLM RL makalesi tam olarak bu soruyu ele almaktadır. Cheng ve arkadaşları, on-policy RL yöntemlerinde örnekleme hesaplamasının (sampling compute) optimal dağılımını sistematik olarak inceleyerek, pratik uygulamalar için somut bir rehber sunmaktadır.

Ana Analiz: Üç Boyutlu Hesaplama Manzarası

Makalede analiz edilen temel denklem şudur: Toplam hesaplama bütçesi C = Bp × n × M. Burada Bp (problem batch size) her güncelleme adımında kullanılan benzersiz problem sayısını, n (group size) her problem için paralel üretilen rollout sayısını, M ise toplam güncelleme iterasyonu sayısını temsil etmektedir. Bu üç değişkenin çarpımı sabit tutularak, farklı kombinasyonların performansa etkisi incelenmiştir.

Deneyler Qwen2.5-7B-Instruct, Qwen3-4B-Instruct ve Llama 3.1-8B-Instruct modelleri üzerinde, toplamda yaklaşık 120.000 H200 GPU saati kullanılarak gerçekleştirilmiştir. Kullanılan yöntem GRPO (Group Relative Policy Optimization) gibi on-policy algoritmalardır. Bu bağlamda, her problem için üretilen n adet rollout (model çıktısı) 0/1 ikili bir ödül fonksiyonu ile puanlanmakta ve grup içinde normalize edilmiş avantajlar (group-normalized advantages) kullanılarak politika güncellenmektedir.

Makalenin en kritik bulgusu, optimal n değerinin (problem başına rollout sayısı) hesaplama bütçesi C ile öngörülebilir bir şekilde arttığı, ancak belirli bir noktada doyuma uğradığıdır. Bu eğri, hem kolay (easy) hem de zor (hard) problem setlerinde benzer şekilde gözlemlenmektedir. Ancak temeldeki mekanizmalar farklıdır: Kolay problemlerde artan rollout sayısı solution sharpening (çözüm keskinleştirme) etkisi yaratır; yani model zaten çözebildiği problemlerde daha tutarlı ve yüksek kaliteli çıktılar üretmeye başlar. Bu durum worst@k metriklerindeki iyileşmelerle ölçülür. Zor problemlerde ise yüksek n değerleri coverage expansion (kapsam genişletme) sağlar; seyrek başarılı tahminlerin keşfedilmesi olasılığını artırarak best@k performansını yükseltir.

Optimal Strateji ve Donanım Kısıtları

Pratik açıdan bakıldığında, araştırmacılar genellikle toplam paralel işlem kapasitesini (B = Bp × n) sabit tutmak zorundadır. Makale, bu kısıt altında farklı bütçe seviyeleri için optimal stratejiyi ortaya koymaktadır. Düşük hesaplama bütçelerinde, daha büyük Bp (daha fazla benzersiz problem) ve daha küçük n (az rollout) tercih edilmelidir. Ancak bütçe arttıkça strateji değişir: Yüksek bütçelerde daha küçük Bp ve çok daha büyük n değerleri tercih edilmelidir.

Bu bulgunun sebebi, problemler arası interference (girişim) etkisinin yüksek n değerleriyle azaltılabilmesidir. Yeterli sayıda paralel rollout, zor problemler için gradyan varyansını düşürerek öğrenmeyi stabilize eder. Öte yandan Bp'nin (problem başına batch boyutu) makul bir aralık içinde tutulduğu sürece performans üzerinde marjinal bir etkisi olduğu gözlemlenmiştir. Bu durum, pratik uygulamalar için önemli bir esneklik sunar; çünkü araştırmacılar donanım kısıtlarına göre Bp'yi geniş bir aralıkta ayarlayabilirler.

Kendi Yorumum ve Özgün Çıkarımlar

Makalenin ortaya koyduğu doyum (saturation) fenomeni, sadece bir optimizasyon özelliği değil, aynı zamanda temel modelin gizli kapasitesi hakkında ipuçları taşımaktadır. Saturation noktasının, problem dağılımından ziyade temel modelin latent reasoning capacity (gizli akıl yürütme kapasitesi) tarafından belirlendiğini düşünüyorum. Eğer bir model, belirli bir problem için optimal n değerine ulaştıktan sonra daha fazla rollout eklenmesine rağmen performans artışı göstermiyorsa, bu durum modelin o problem uzayındaki temsil sınırlarına ulaştığını göstermektedir.

Öngörülebilir gelecekteki en kritik araştırma yönü, model boyutu ile sampling compute arasındaki ilişkinin incelenmesidir. Şu anki bulgular sabit model boyutu için geçerlidir. Ancak büyük modellerin, daha az sayıda rollout ile aynı performansı yakalayıp yakalayamayacağı sorusu, toplam AI eğitim bütçesinin dağılımını kökten değiştirebilir. Eğer model kapasitesi ile örnekleme verimliliği arasında ters bir ilişki varsa (yani büyük modeller daha az rollouts ile doyuma ulaşıyorsa), frontier modeller için pre-training scale (ön eğitim ölçeği) ile post-training compute (sonrası eğitim hesaplaması) arasındaki bütçe ayrımını yeniden düşünmemiz gerekecektir.

Teknik detaylara odaklandığımızda, GRPO'nun grup içi normalizasyonu kullanması nedeniyle yüksek n değerlerinin gradyan varyansını nasıl düşürdüğü anlaşılmaktadır. Bu, özellikle zor problemlerde kritik öneme sahiptir. Zor problemlerde başarılı tahminler seyrek olduğundan, yeterli örneklem olmadığında gradyanlar gürültülü (noisy) olmakta ve politika güncellemeleri istikrarsızlaşmaktadır. Bu bağlamda, makalenin önerdiği scaling stratejisi aslında istatistiksel bir verimlilik optimizasyonudur; veri toplama (exploration) ile optimizasyon arasındaki gerilimi çözerek, sınırlı hesaplama altında maksimum bilgi kazanımını hedefler.

Pratik öneriler açısından, kaynakları sınırlı olan ekipler için Bp'yi makul düzeyde tutup eğitim iterasyonlarını (M) artırmak yerine, mevcut bütçeyi yüksek n değerlerine ayırmaları gerektiği söylenebilir. Ancak bu, yalnızca toplam hesaplama yeterince büyükse geçerlidir. Küçük bütçelerde çeşitlilik (diversification) yani yüksek Bp hâlâ kraldır.

Sonuç

IsoCompute Playbook makalesi, LLM RL alanında önemli bir boşluğu doldurmaktadır. Pre-training'deki scaling laws artık sadece "daha fazla hesaplama" değil, "hesaplamayı nasıl dağıtacağız" sorusunu da kapsamaktadır. Kolay ve zor problemler için farklı mekanizmaların işlemesi (keskinleştirme vs kapsam genişletme), RL tasarımında problem karmaşıklığına göre adaptif stratejiler gerekliliğini ortaya koymaktadır.

Bulguların Qwen ve Llama aileleri gibi farklı mimarilerde doğrulanmış olması, öner