OmniStream: Sürekli Akışlarda Algı, Yeniden Yapılandırma ve Eylemin Birleşik Öğrenimi

Giriş

Modern yapay zeka ajanlarının çalışma ortamı giderek akış halindeki (streaming) verilere kayıyor. Bir robot kameradan gelen görüntüleri sürekli olarak işlerken, bir artırılmış gerçeklik cihazı egosantrik (egocentric) video akışını gerçek zamanlı analiz ederken veya bir dijital asistan canlı bir yayını takip ederken, sistemler yalnızca tek tek görüntüleri değil, zaman içinde sürekli akan bir bilgi dizisini işlemek zorunda. Bu senaryolarda temsil edici (representation) öğrenme süreçleri üç temel özellik taşımalıdır: genel olma (recognition, reasoning ve interaction'ı destekleme), nedensel olma (causal; yalnızca geçmiş ve mevcut çerçevelere bağımlı olma) ve yapılandırılmış olma (görünümün ötesinde geometri ve hareketi yakalama).

Mevcut görüntü temelli temel modeller (vision foundation models) ne yazık ki parçalanmış bir yapı sergiliyor. DINO ve SigLIP gibi görüntü kodlayıcıları statik semantik algıya odaklanırken, V-JEPA ve VideoMAE gibi video modelleri çevrimdışı (offline) zamansal modellemeye uzmanlaşıyor. Öte yandan Depth Anything veya VGGT gibi geometrik uzmanlar yalnızca mekansal geometriye odaklanıyor. Yan ve arkadaşlarının "OmniStream: Mastering Perception, Reconstruction and Action in Continuous Streams" başlıklı çalışması, bu parçalanmış yapıya karşı çıkarak, algı, yeniden yapılandırma ve eylemin tek bir birleşik yapıda (unified backbone) işlenebileceğini gösteriyor.

Ana Analiz

Mimari Tasarım: Nedensel Mekansal Zamansal Dikkat ve 3D-RoPE

OmniStream'in temel mimari yenilikleri, sürekli akış ortamları için kritik olan iki teknik bileşen etrafında şekilleniyor. İlk olarak causal spatiotemporal attention (nedensel mekansal zamansal dikkat mekanizması) kullanılıyor. Bu mekanizma, transformer mimarisindeki dikkat katmanlarını katı bir zamansal nedensellik ile kısıtlıyor; model, mevcut zaman adımında yalnızca kendisinden önce gelen çerçevelere erişebiliyor. Bu tasarım, sistemin gerçek dünya uygulamalarında gereken çevrimiçi (online) işleme yeteneğini mümkün kılıyor.

İkinci kritik bileşen ise 3D rotary positional embeddings (3D-RoPE). Geleneksel 2D RoPE (döner konumsal gömme vektörleri) uzamsal konumları kodlarken, 3D-RoPE zaman boyutunu da ekleyerek spatiotemporal göreceli kodlama sağlıyor. Bu, modelin uzun video akışlarında "nerede" ve "ne zaman" sorularını birlikte cevaplayabilmesini sağlıyor.

Bu mimari yapı, persistent KV-cache (kalıcı anahtar-değer önbelleği) ile birleşiyor. Transformer modellerinde her yeni çerçeve (frame) için geçmiş hesaplamaları yeniden yapmak yerine, OmniStream önceki anahtar ve değer vektörlerini önbellekte tutuyor. Bu sayede frame-by-frame (kare kare) verimli çıkarım yapılabiliyor ve bellek bütçesi ile gecikme (latency) kısıtları altında çalışan interaktif ajanlar için hayati önem taşıyan hesaplama verimliliği sağlanıyor.

Çok Görevli Eğitim: Üçlü Sinerji Stratejisi

Mimari tek başına yeterli değil; temsilin (representation) evrenselliği eğitim protokolü ile belirleniyor. OmniStream, 29 farklı veri seti üzerinde üç tamamlayıcı hedef ile eğitiliyor. Bu çok görevli çerçeve (multi-task framework), farklı anlama eksenlerini tek bir gösterim uzayında birleştiriyor.

Birinci hedef, statik ve zamansal temsil öğrenimi. Özdenetimli (self-supervised) öğretmen-öğrenci damıtması (student-teacher distillation) kullanılarak, görüntü temsil öğrenimi nedensel video modellemesiyle birleştiriliyor. Hem global (görüntü/video seviyesi) hem de yerel (yama/patch seviyesi) özellikler damıtılarak, model semantik değişmezlikleri (semantic invariances) ve harekete duyarlı dinamikleri aynı anda öğreniyor.

İkinci hedef, akışkan geometrik yeniden yapılandırma (streaming geometric reconstruction). Hafif feedforward dual DPT (Dense Prediction Transformer) ve kamera başlıkları (heads), derinlik haritaları (depth maps), ışın haritaları (ray maps) ve kamera pozları tahmin ediyor. Bu, modele fiziksel sahne yapısını açıkça enjekte ederek, temsilin yalnızca görünüm (appearance) temelli değil, geometrik olarak temellendirilmiş olmasını sağlıyor.

Üçüncü hedef ise görsel-dil hizalaması (vision-language alignment). Altyazı oluşturma (captioning), OCR ve görsel zeminleme (visual grounding) görevlerinde eğitilmiş hafif bir özbağlanımlı (autoregressive) dil kod çözücü, görsel tokenleri dilsel kavramlarla bağlantılıyor. Bu, ayrıntılı semantik zeminleme ve muhakeme gerektiren görevler için kritik öneme sahip.

Bu üç sinyalin birleşimi, OmniStream'in temsil uzayının aynı anda zamansal olarak tutarlı, geometrik olarak köklü ve dil ile uyumlu olmasını sağlıyor. Önemli olan, bu hedeflerin yalnızca toplamsal (additive) değil, sinerjik olduğu; geometrik ön eğitimin mekansal zeka ve robotik kontrol için ön şart olduğu, erken görsel-dil hizalamasının ise büyük dil modelleri (VLM) ile entegrasyonda kritik başarısızlıkları önlediği gözlemleniyor.

Dondurulmuş Omurga ve Çapraz Görev Genelleştirmesi

OmniStream'in en dikkate değer iddiası, tek bir omurganın (backbone) dondurulmuş (frozen) haliyle bile uzman modellerle rekabet edebilecek genelleme yeteneği göstermesi. Benchmark değerlendirmelerinde, OmniStream'in özellikleri standart görüntü ve video problama (probing) görevlerinde, akışkan geometrik yeniden yapılandırma görevlerinde ve karmaşık mekansal video soru cevaplama görevlerinde uzmanlaşmış modellerle rekabetçi performans sergiliyor.

Özellikle dikkat çekici olan, eğitim sürecinde hiç görülmemiş robotik manipülasyon görevlerinde başarı göstermesi. Bu, modelin temsilinin eylem politikaları (policy heads) için uygun bir temel oluşturduğunu gösteriyor. Florence veya Unified-IO gibi çıktı seviyesinde birleştirme yapan modellerin aksine, OmniStream temsil seviyesinde (representation-level) birleştirme sağlıyor. Bu, yeni görevler için pahalı ince ayar (fine-tuning) veya mimari değişiklikler yapmadan, dondur