AV-Unified: Ses-Görüntü Sahne Anlama İçin Birleşik Bir Çerçeve

Giriş

Günümüzde ses ve görüntüyü birlikte işleyen derin öğrenme modelleri, çoğunlukla görevlere özgü silolar halinde çalışmaktadır. Bir model ses olaylarını zamanda konumlandırırken (Audio-Visual Event Localization, AVE), başka bir mimari görüntüdeki ses kaynağını piksel düzeyinde segmente etmeye (Audio-Visual Segmentation, AVS) odaklanmakta; üçüncü bir sistem ise bu iki modalite arasındaki ilişkiler üzerinden soruları yanıtlamaya (Audio-Visual Question Answering, AVQA) çalışmaktadır. Ancak bilişsel nörobilimin de vurguladığı üzere, insan beyni bu algısal görevleri ayrık modüller olarak işlemez. Görme ve işitme sistemlerinin entegrasyonu, çevrenin tutarlı ve zengin bir temsilinin oluşturulmasını sağlar. Li, Wang ve Zhu tarafından önerilen AV-Unified: A Unified Framework for Audio-visual Scene Understanding başlıklı çalışma, tam da bu noktada devreye girerek, farklı ses-görüntü görevlerini tek bir çatı altında birleştiren kapsamlı bir çerçeve sunmaktadır.

Mevcut yaklaşımların (örneğin ONEAVM veya UniAV) çoğu ya çok görevli öğrenme (multi-task learning) paradigmasına dayanmakta, yani paylaşılan bir omurga üzerine göreve özgü ayrı kafalar (task-specific heads) eklemekte, ya da yalnızca zamansal görevleri birleştirmekle sınırlı kalmaktadır. AV-Unified ise zamansal konumlandırma (AVE, AVVP), mekansal konumlandırma (SSL, AVS) ve mekansal-zamansal çıkarım (AVQA) görevlerini tek bir sequence-to-sequence (diziden diziye) mimarisi içinde birleştirmeyi başarmaktadır. Bu birleşim, heterojen veri setleri üzerinde ortak parametrelerle eğitim imkanı tanıyarak, gerçek dünya algısının bütüncül doğasına daha yakın bir model önermektedir.

Ana Analiz

Tokenizasyon ve Birleşik Gösterim Stratejisi

AV-Unified'ın temel yeniliği, farklı girdi ve çıktı formatlarını standartlaştırma biçiminde yatmaktadır. Geleneksel yöntemlerde, sınıflandırma görevleri için vektör çıktıları, segmentasyon için piksel maskeleri, konumlandırma için koordinatlar ve soru yanıtlama için metin üretimi farklı çıkış katmanları gerektirir. AV-Unified bu çeşitliliği, tüm veri tiplerini discrete tokens (ayrık belirteçler) dizilerine dönüştürerek çözmektedir.

Bu yaklaşımda, video kareleri ve ses spektrogramları öncelikle bir encoder (kodlayıcı) aracılığıyla gizli temsillere (latent representations) dönüştürülür. Ardından bu sürekli temsiller, kantizasyon işlemiyle ayrık tokenlere çevrilir. Çıktılar da (zaman aralıkları, sınırlayıcı kutular, segmentasyon maskeleri veya metin yanıtlar) benzer şekilde token dizileri olarak modellenir. Sonuç olarak, model mimarisi transformer tabanlı bir encoder-decoder yapısıdır; tüm görevler bu tek mimari üzerinden, girdi olarak göreve özgü metin istemleri (task-specific text prompts) alarak gerçekleştirilir. Bu standartlaştırma, AVE, AVVP, SSL, AVS ve AVQA gibi farklı veri setlerinde ortak eğitim (joint training) yapılmasına olanak tanır ve her görev için ayrı fine-tuning süreçlerine gerek kalmaz.

Çok Ölçekli Mekansal-Zamansal Algı Ağı

Ses-görüntü olayları farklı zaman ölçeklerinde gerçekleşebilir; ani bir patlama milisaniyeler içinde sona ererken, bir müzik performansı dakikalarca sürebilir. Bu değişkenlik, modelin çok ölçekli zamansal yapıları yakalamasını zorunlu kılar. AV-Unified bu ihtiyacı Multi-scale Spatiotemporal Perception Network (MS-STPM) ile karşılamaktadır.

Multi-scale Temporal Perception Module, farklı zamansal çözünürlüklerde özellik çıkarımı yaparak, kısa ve uzun vadeli bağımlılıkları eş zamanlı modelleyebilmektedir. Bu, özellikle LLP (Audio-Visual Video Parsing) gibi uzun videolarda olayların başlangıç ve bitiş zamanlarını tespit etmek için kritik öneme sahiptir.

Daha dikkate değer olan bileşen ise Cross-modal Guidance-based Spatial Perception Moduledır. Görsel veri setlerinde ses etiketleri genellikle zayıf veya mevcut olmadığından, mekansal konumlandırma görevlerinde (SSL ve AVS) görsel alan tek başına yetersiz kalabilir. Bu modül, ses modalitesini rehber olarak kullanarak görsel dikkat mekanizmalarını yönlendirir. Özellikle sound source localization görevinde, ses sinyalinin spektral özellikleri, görüntüdeki ilgili nesnelerin piksel düzeyinde segmentasyonuna rehberlik eder. Bu çapraz modal rehberlik, görsel alandaki denetim eksikliğini telafi ederek, ses üreten nesnelerin uzamsal konumlarının daha doğru belirlenmesini sağlar.

Ayrıca, her görev için özel tasarlanmış metin istemleri (prompts) kullanılarak modelin görev farkındalığı (task-awareness) artırılmaktadır. Örneğin, segmentasyon görevi için "[AVS Task Prompt]" ile başlayan istemler kullanılırken, soru yanıtlama için "[AVQA Task Prompt]" formatı tercih edilir. Bu, modelin aynı mimari içinde farklı çıktı formatlarını üretmesini kolaylaştırır.

Deneysel Doğrulama ve Benchmark Sonuçları

Çalışmanın kapsamlılığı, kullanılan benchmark veri setlerinin çeşitliliğinde görülmektedir. Zamansal görevler için AVE (Audio-Visual Event Localization) ve LLP (Look and Listen Parsing), mekansal görevler için VGG-SS (VGG Sound Source) ve AVS (Audio-Visual Segmentation), mekansal-zamansal çıkarım için ise MUSIC-AVQA veri setleri kullanılmıştır.

Deneysel sonuçlar, AV-Unified'ın tek bir model olarak bu farklı görevlerde etkili performans sergilediğini göstermektedir. Özellikle dikkat çekici olan, heterojen veri setlerinde ortak eğitim yapmanın, görevlere özgü ayrı modellere kıyasla üstün veya en azından karşılaştırılabilir sonuçlar üretmesidir. Bu durum, birleşik çerçevenin sadece pratik bir kolaylık değil, aynı zamanda temsil öğreniminde (representation learning) kalite artışı sağladığını ortaya koymaktadır. Model, zamansal sınırları öğrenirken kazandığı ses-görüntü uyumsuzluğu (audio-visual correspondence) bilgisini, mekansal segmentasyon sırasında kullanabilmektedir.

Kendi Yorumum ve Özgün Çıkarımlar

AV-Unified'ın sunduğu en önemli kavramsal katkı, "birleştirme" (unification) ile "çok görevli öğrenme" (multi-task learning) arasındaki farkı somutlaştırmasıdır. Geleneksel çok görevli sistemlerde, paylaşılan bir backbone üzerine her görev için ayrı çıkış katmanları (heads) eklenir. Ancak AV-Unified'da çıkışların da token dizileri olarak modellenmesi, mimarinin tamamen görev agnostik hale gelmesini sağlar. Bu, modelin sadece parametreleri paylaşmakla kalmayıp, farklı görevler arasında temel ses-görüntü ilişkilerini öğrenme biçimini de birleştirdiği anlamına gelir.

Özellikle dikkate değer bir çıkarım, çapraz görev transferinin (cross-task transfer) gücüdür. Model AVE verisinden zamansal sınırları öğrenirken, aslında ses ve görüntü arasındaki zamansal uyum (temporal alignment) hakkında genel bilgiler edinmektedir. Bu bilgiler, AVS görevinde bir nesnenin tam olarak hangi piksellerinin ses ürettiğini belirlerken, zaman içindeki tutarlılığı korumaya yardımcı olmaktadır. Benzer şekilde, SSL'de öğrenilen mekansal dikkat kalıpları, AVQA'da "ses sol taraftan mı geliyor?" gibi mekansal referans içeren soruların yanıtlanmasını kolaylaştırmaktadır. Bu, farklı görevlerin birbirini güçlendirdiği, bütüncül öğrenmenin ayrık öğrenmeden daha verimli olduğunu gösteren önemli bir kanıttır.

Ancak çalışmanın sınırlamaları da bulunmaktadır. Crab gibi yak