Uzun ve Yüksek Çözünürlüklü Videolarda Verimli Görü Anlama: AutoGaze ve Ötesindeki Semantik Uçurum

Giris

Çok modlu büyük dil modelleri (Multi-modal Large Language Models, MLLMs), genel amaçlı video anlama alanında önemli ilerlemeler kaydetmiş olsa da, uzun süreli ve yüksek çözünürlüklü videolar karşısında temel bir verimlilik kriziyle karşı karşıya. Mevcut mimariler, video transformerlarını (ViT) ve dil modellerini her pikseli eşit şekilde işleyecek şekilde tasarlanmış; bu da önemli uzamsal ve zamansal fazlalıkların (redundancy) göz ardı edilmesi anlamına geliyor. Berkeley, MIT, Clarifai ve NVIDIA araştırmacıları tarafından sunulan "Attend Before Attention: Efficient and Scalable Video Understanding via Autoregressive Gazing" başlıklı çalışma, bu soruna ilginç bir biyolojik analogla yaklaşıyor: insan görme sisteminin seçici dikkat mekanizması.

İnsanlar hareketli sahneleri izlerken her detayı eşit işlemez. Gözlerimiz saccade adı verilen hızlı atışlarla hareketli nesnelere odaklanır, statik arka planları atlar ve yüksek çözünürlüklü video akışlarını gerçek zamanlı işleyebilmek için bilgilendirici bölgelere seçici olarak dikkat eder. AutoGaze mimarisi, tam olarak bu prensibi taklit ederek, ViT veya MLLM tarafından işlenmeden önce gereksiz yamaları (patches) elimine eden hafif bir modül olarak tasarlanmış. Bu yaklaşım, mevcut yöntemlerin aksine token azaltımını sadece LLM katmanında değil, hesaplama darboğazının asıl kaynağı olan vizyon encoderının önünde gerçekleştiriyor.

AutoGaze'in Mimari Yapisi ve Egitim Paradigmasi

AutoGaze'in temel yeniliği, yalnızca 3 milyon parametrelik kompakt yapısına rağmen otozigotik (autoregressive) bir mekanizma ile çok ölçekli yama seçimi yapması. Sistem, her kareyi algılayarak, kullanıcı tarafından belirlenen bir rekonstrüksiyon hata eşiği (reconstruction loss threshold) içinde mevcut kareyi yeniden oluşturabilecek minimum sayıda çok ölçekli yamayı ardışık olarak seçer. Bu süreçte, önceki karelerden seçilen yamalar da dikkate alınarak yalnızca yeni ortaya çıkan içeriğe odaklanılır ve tekrar eden bilgiler görmezden gelinir.

Teknik detaylara bakıldığında, AutoGaze dört farklı ölçekte yama seçimi yapabiliyor: düşük detaylı alanlar için kaba ölçekli (örneğin 32x32 piksel), ince detaylar gerektiren bölgeler için ise yüksek çözünürlüklü (112x112 piksel) yamalar. Bu çok ölçekli strateji, statik bölgelerdeki fazlalığı azaltırken, hareketli nesnelerde veya sahne değişimlerinde daha fazla yama seçerek bilgi bütünlüğünü koruyor. Eğitim süreci iki aşamalı: öncelikle özenle seçilmiş bakış dizileri (gazing sequences) üzerinde next token prediction ile ön eğitim yapılır, ardından rekonstrüksiyon ödülleri üzerinden pekiştirmeli öğrenme (reinforcement learning) ile son ayar (fine tuning) gerçekleştirilir.

Bu mimari sayesinde AutoGaze, farklı FPS ve çözünürlükteki videolarda 4x ile 100x arasında token azaltımı sağlıyor. Örneğin, 30 FPS'de 4K çözünürlüklü videolarda yalnızca %1 oranında yama seçimi yaparak, ViT'lerde 19 kata kadar, MLLM'lerde ise 10 kata kadar hızlanma elde ediliyor.

HLVid Benchmark'i ve Ölçeklenebilirlik Testleri

Mevcut değerlendirme kümelerinin (benchmark) uzun videolara odaklandığı ancak yüksek çözünürlüğü göz ardı ettiği gözlemiyle, araştırmacılar HLVid (High-resolution Long-form Video) veri setini sunuyor. Bu veri seti, 5 dakikalık 4K çözünürlüklü videolardan oluşan ve çözümü için 1K ile 2K çözünürlükte görsel algılama gerektiren 268 soru-cevap çifti içeriyor.

HLVid üzerinde yapılan deneyler, AutoGaze'in ölçeklenebilirlik potansiyelini somut şekilde ortaya koyuyor. NVILA tabanlı bir MLLM, AutoGaze ile birlikte 1000 kare ve 4K çözünürlüğe ölçeklendirildiğinde, temel modelin 42.5% olan performansı 52.6%'ya çıkıyor; bu da 10.1%'lik bir iyileşme anlamına geliyor. Aynı zamanda VideoMME gibi standart değerlendirme kümelerinde de 67.0% başarı oranına ulaşılarak, Qwen2.5-VL gibi güçlü modeller geride bırakılıyor. Bu sonuçlar, ViT öncesi token azaltımının sadece verimlilik değil, aynı zamanda uzun bağlam gerektiren görevlerde doğruluğu da artırdığını gösteriyor.

Kendi Yorumum: Rekonstruksiyon Hatasi ile Anlamsal Hedef Arasindaki Gerilim

AutoGaze'in teknik başarısına rağmen, sunulan yaklaşımda derin bir metodolojik gerilim mevcut. Sistem, yama seçimini kullanıcı tanımlı bir rekonstrüksiyon hata eşiğine göre optimize ediyor; yani piksel düzeyinde mükemmel sadakat (photometric accuracy) hedefleniyor. Ancak MLLM'lerin temel amacı piksel mükemmelliği değil, semantik anlamadır. Bu noktada, AutoGaze'in eğitim paradigmasonun temel varsayımı sorgulanmalı: piksel bazlı rekonstrüksiyon hatasının minimize edilmesi, gerçekten de anlamsal bilginin korunmasını garanti eder mi?

100x sıkıştırma oranlarına ulaşıldığında, her dokuyu ve piksel detayını korumak imkansız hale gelir. Bu noktada, rekonstrüksiyon odaklı bir politika, bulanık bir hareket ipucunu keskin bir arka plan yamasına tercih edemeyebilir; çünkü MSE (Mean Squared Error) kaybı, görsel olarak belirgin pikselleri korumayı teşvik eder. Oysa yüksek seviyeli video anlama görevleri için, hareketin belirsiz bir göstergesi, statik ve estetik olarak keskin bir arka plan parçasından çok daha değerlidir.

Mantıksal sonraki adım, görev farkındalığına sahip bakış (task aware gazing) politikaları geliştirmektir. Eğitim sürecinde rekonstrüksiyon ödülü yerine, VQA (Visual Question Answering) doğruluğu gibi downstream görev metrikleri pekiştirmeli öğrenme ödülü olarak kullanılırsa, model hangi yamaların gerçekten anlama için kritik olduğunu, hangilerinin sadece rekonstrüksiyon için estetik göründüğünü öğrenebilir. Bu yaklaşım, semantik açıdan zengin ancak piksel bazında düşük sadakatli bölgelerin korunmasına izin vererek, mevcut mimarinin ulaşamadığı daha agresif sıkıştırma oranlarını mümkün kılabilir.

AutoGaze'in mevcut formuyla sunduğu 4x-100x arasındaki geniş sıkıştırma aralığı da bu ikilemi gösteriyor. Düşük sıkıştırma oranlarında (4x-10x) rekonstrüksiyon tabanlı yöntemler yeterli olabilirken, 50x ve üzeri oranlarda anlamsal seçicilik kaçınılmaz hale geliyor. Gelecekteki çalışmaların, ViT öncesi token azaltımını sadece bir veri sıkıştırma problemi olarak değil, bilgi teorisi ve karar teorisi kapsamında bir dikkat tahsisi (attention allocation) problemi olarak ele alması gerekiyor.

Sonuc

AutoGaze, "Attend Before Attention" paradigmasıyla video anlama alanında önemli bir verimlilik sıçraması sunuyor. ViT öncesi otozigotik bakış mekanizması ve çok ölçekli yama seçimi, uzun ve yüksek çözünürlüklü videolara ölçeklenme sorununa pratik bir çözüm getiriyor. HLVid benchmark'i ile birlikte sunulan deneysel sonuçlar, bu yaklaşımın hem hesaplamsal hem de doğruluk açısından üstünlük sağladığını kanıtlıyor.

Ancak, rekonstrüksiyon odaklı eğitim ile anlamsal anlama arasındaki potansiyel uyumsuzluk, alanın üzerinde durması gereken önemli bir yöntembilimsel soru işareti. Gelecek nesil sistemlerin, piksel sadakati ile semantik değer arasındaki dengeyi görev farkındalığı ile kurması, video anlama modellerinin hem daha verimli hem de daha bağlamsal olarak akıllı hale gelmesini sağlayacaktır. AutoGaze bu yolculukta kritik bir kilometre taşı olsa da, nihai hedef anlamsal olarak optimal dikkat dağılımını öğrenebilen modeller olmalıdır.