Görsel-Dil-Eylem Modellerinde Verimlilik Paradoksu: Çıkarım Verimliliğinden Somutlaştırılmış Verimliliğe

Giriş

Vision-Language-Action (VLA) modelleri, robotik sistemlerin görsel verileri doğal dil komutlarıyla bütünleştirerek karmaşık manipülasyon görevlerini yerine getirmesini sağlayan yeni bir paradigma olarak öne çıkmaktadır. Bu modeller, transformer mimarileri üzerine kurulu olup, attention mekanizmaları aracılığıyla görsel gözlemler, dilsel talimatlar ve motor eylemler arasında ortak temsil öğrenirler. Ancak Zhuofan Li ve arkadaşlarının "From Inference Efficiency to Embodied Efficiency: Revisiting Efficiency Metrics for Vision-Language-Action Models" başlıklı çalışması, alanın verimlilik anlayışında temel bir çatlak olduğunu ortaya koymaktadır. Mevcut literatürde model verimliliği yalnızca parametre sayısı, FLOPs (floating point operations) ve token çözümleme hızı gibi çıkarım odaklı metriklerle ölçülürken, gerçek dünyada robotik platformların performansını belirleyen sistem düzeyinde fiziksel davranışlar göz ardı edilmektedir. Bu yazıda, söz konusu makalenin bulgularını teknik detaylarıyla ele alacak ve çıkarım verimliliği ile somutlaştırılmış verimlilik arasındaki ayrımın neden alanın yeniden değerlendirilmesini gerektirdiğini tartışacağım.

Ana Analiz: Metrikler Arasındaki Yapısal Uçurum

Makalenin temel tezi, VLA modellerinin verimliliğini değerlendirmede kullanılan geleneksel yapay zeka metriklerinin, robotik yürütmenin fiziksel gerçekliğini yansıtmadığıdır. Çıkarım verimliliği (inference efficiency), modelin bir ileri geçişte (forward pass) tükettiği hesaplama kaynaklarını ölçerken; somutlaştırılmış verimlilik (embodied efficiency), görev tamamlama süresi, uç etkiçici (end-effector) yörünge uzunluğu, eklemlerin kümülatif dönüşü (cumulative joint rotation), hareket pürüzlülüğü (jerk) ve toplam hareket enerjisi gibi sistem düzeyi metrikleri kapsar.

Çalışmada sunulan kontrollü deneyler, bu iki verimlilik kavramı arasındaki çelişkiyi çarpıcı biçimde sergilemektedir. Örneğin, yaygın olarak kullanılan π0.5 VLA modeli üzerinde uygulanan büyüklük budaması (magnitude pruning) tekniği incelendiğinde, ağırlıkların %20'sinin budanması parametre sayısını azaltmasına ve başarı oranını (success rate) %100'de sabit tutmasına rağmen, görev tamamlama süresini 13 saniyeden 21 saniyeye çıkarmaktadır. Budanmış model, "pick up the cream cheese and place it in the basket" talimatını yerine getirirken daha sarsıntılı ve düzensiz bir uç etkiçici hareketi sergilemekte, bu da daha uzun bir yörünge ve artmış enerji tüketimi anlamına gelmektedir.

Enerji hesaplaması bağlamında bu durum daha da vurgulanmaktadır. Koch v1.1 robot kitindeki servo motorların nominal tork altındaki güç tüketimi yaklaşık 22 Watt iken, eşdeğer NVIDIA Jetson Orin NX edge GPU'nun maksimum güç bütçesi 20 Watt civarındadır. Benzer şekilde, Franka Emika robot kolu ve kontrolcüsü 430 Watt tüketebilirken, NVIDIA H100 NVL GPU'nun maksimum güç tüketimi yaklaşık 400 Watt'tır. Bu rakamlar, çıkarım verimliliğindeki kazanımların, fiziksel hareketlilikteki verimsizlikler tarafından kolayca iptal edilebileceğini göstermektedir. Model düzeyinde hesaplama tasarrufu, sistem düzeyinde toplam enerji maliyetini artırabilir.

Sıkıştırma Tekniklerinin Görünmeyen Maliyetleri

Makale, verimlilik artırma tekniklerini üç ana kategoride incelemektedir: model sıkıştırma (budama ve nicemleme/quantization), token seyreltme (visual token pruning) ve eylem dizisi sıkıştırma. Bu tekniklerin her biri, konvansiyonel metriklerde iyileşme sağlarken, somutlaştırılmış yürütmede beklenmedik maliyetler oluşturabilmektedir.

Model sıkıştırma teknikleri, özellikle aşırı budama durumlarında, öğrenilmiş eylem politikalarının (action policies) kalitesini düşürmektedir. Budanmış modeller, gereksiz eklemli hareketler yapmakta veya uç etkiçicinin yörüngesinde osilasyonlar oluşturmaktadır. Bu durum, eklem uzayında (joint-space) daha uzun yol kat edilmesine ve hareketin ivme değişim oranının (jerk) artmasına neden olur. Token seyreltme yöntemleri ise görsel dikkat mekanizmalarını etkileyerek, robotun ortamı algılama ve planlama sürecinde gecikmelere yol açabilir.

Eylem dizisi sıkıştırma, zamansal olarak art arda gelen kontrol sinyallerindeki fazlalığı azaltmayı hedefler. Ancak bu yaklaşım da, kontrolörün yeterli hassasiyetle hareket edememesi durumunda düzeltici hareketlerin sayısını artırarak toplam görev süresini uzatabilir. Makalede vurgulandığı üzere, bu tekniklerin başarı oranını koruyarak uygulanabilmesi, onların somutlaştırılmış verimlilik açısından optimal olduğu anlamına gelmemektedir.

Sistem Düzeyinde Değerlendirme Zorunluluğu

Figür 2'de sunulan kavramsal çerçeve, VLA modelinin dağıtım mimarisini iki aşamada göstermektedir: model çıkarımı ve robotik hareketlendirme (robotic actuation). Geleneksel metrikler yalnızca ilk aşamayı kapsarken, ikinci aşama için farklı bir metrik seti gereklidir. Bu metrikler arasında end-effector path length, joint-space path length, action smoothness ve task completion time bulunmaktadır.

Araştırmacılar, bu boşluğu doldurmak için yaygın adaptasyon yöntemlerini (in-context prompting ve supervised fine-tuning) somutlaştırılmış verimlilik metrikleri üzerinden test etmişlerdir. Sonuçlar, bu yöntemlerin yalnızca hafif ve metrik spesifik iyileştirmeler sağladığını göstermektedir. Örneğin, belirli bir ince ayar (fine-tuning) prosedürü jerk metriğini veya eylem hızını (action rate) iyileştirebilirken, bu kazanç daha uzun tamamlama süresi gibi diğer metriklerdeki ödünleşimler (trade-offs) pahasına ger