Artımsal Öğrenmede Arka Planın Gizli Değeri: SCOPE Yöntemi ile Az Örnekli 3D Segmentasyon

Giriş

Nokta bulutu (point cloud) segmentasyonu, robotik, otonom sistemler ve artırılmış gerçeklik gibi alanlarda gömülü algı (embodied perception) için temel bir yapı taşıdır. Geleneksel tam denetimli (fully supervised) yöntemler yoğun etiketleme gereksinimleri nedeniyle pratik uygulamalarda sınırlı kalırken, gerçek dünya senaryolarında sistemler zamanla yeni kategorilerle karşılaşmakta ve bu kategoriler için yalnızca bir avuç örnek mevcut olmaktadır. İşte tam bu noktada Incremental Few-Shot 3D Point Cloud Segmentation (IFS-PCS) paradigması devreye girer. Bu paradigma, sistemlerin az sayıda etiketlenmiş örnekten yeni sınıfları öğrenirken önceki bilgileri unutmamasını (catastrophic forgetting) sağlamayı hedefler.

Vishal Thengane ve arkadaşlarının "SCOPE: Scene-Contextualized Incremental Few-Shot 3D Segmentation" başlıklı çalışması, bu alandaki en kritik sorunlardan birine odaklanıyor: taban (base) eğitimi sırasında görülen sahnelerin arka planında (background) saklı kalan bilgi potansiyeli. Yazarların temel argümanı, arka planın gürültü değil, gelecekte karşılaşılacak sınıfların habercisi olan nesne benzeri yapılarla dolu olduğudur.

Problemin Tanımı ve Mevcut Yaklaşımların Sınırlılıkları

3D segmentasyon literatüründe farklı öğrenme paradigmaları bulunmaktadır. Tam denetimli yöntemler sabit etiket uzaylarında çalışırken, az örnekli (few-shot) öğrenme sınırlı veriyle yeni sınıfları tanımayı mümkün kılar ancak önceki bilgileri koruyamaz. Genelleştirilmiş az örnekli (Generalized Few-Shot) yöntemler hem taban hem de yeni sınıfları tanısa da, gelecekteki kategoriler önceden bilinmeli ve yalnızca tek bir güncelleme yapılabilmektedir. Sınıf artımsal (Class-Incremental) yaklaşımlar çok adımlı öğrenmeyi destekler ancak bol denetim gerektirir.

IFS-PCS paradigması ise gelecek bilgisi olmadan, az örnekli verilerle çok adımlı öğrenmeyi birleştirir. Ancak mevcut yöntemler iki temel sorunla karşılaşır: seyrek denetim altında ayrıntılı prototipler öğrenememek ve taban sınıflarının bilgisini hızla unutmak. Özellikle 2D görüntülerde geliştirilen yöntemlerin doğrudan 3D nokta bulutlarına uygulanması, geometrik yapının karmaşıklığı ve arka planın yapısı nedeniyle yetersiz kalmaktadır.

SCOPE Metodolojisi: Arka Planı Bilgi Rezervuarı Olarak Kullanmak

SCOPE (Scene-COntextualised Prototype Enrichment), prototip tabanlı herhangi bir 3D segmentasyon yöntemiyle entegre edilebilen plug-and-play bir çerçeve sunar. Yöntemin temelini, taban eğitimi sonrasında arka plan bölgelerinden yüksek güvenilirliğe sahip pseudo-instance'ların çıkarılması ve bunların bir prototip havuzunda saklanması oluşturur.

Teknik süreç üç ana bileşenden oluşur:

Instance Prototype Bank (IPB): Taban eğitimi tamamlandıktan sonra, sınıf-agnostik (class-agnostic) bir segmentasyon modeli kullanılarak arka plan bölgelerinden yüksek güvenilirliğe sahip nesne benzeri yapılar (pseudo-instances) çıkarılır. Bu yapılar, transfer edilebilir nesnesel ön bilgiler içeren bir rezervuar olarak Instance Prototype Bank'te depolanır. Buradaki kritik nokta, gelecekteki sınıf kimliklerinin bilinmemesine rağmen, arka plandaki nesne benzeri yapıların gelecek sınıflara ait olabilecek potansiyel adaylar olduğunun varsayılmasıdır.

Contextual Prototype Retrieval (CPR): Yeni bir sınıf az sayıda etiketlenmiş örnek ile geldiğinde, bu sınıfın prototipi ile IPB içindeki arka plan prototipleri arasında hizalama (alignment) yapılır. En alakalı arka plan bağlamı, gelecek bilgisi gerektirmeyen bu modül sayesinde geri getirilir.

Attention-Based Prototype Enrichment (APE): Geri getirilen arka plan örnekleri, few-shot prototiplerle aynı ağırlıkta değildir. Attention mekanizması kullanılarak, bu örneklerin önem derecelerine göre ağırlıklandırılması ve few-shot prototiplerle füzyonu gerçekleştirilir. Bu işlem, bağlam duyarlı (context-aware) ve ayırt edici temsiller oluşturur.

Yöntemin en dikkate değer özelliği, backbone'un yeniden eğitilmemesi ve ek parametre eklenmemesidir. Bu durum, few-shot öğrenmenin minimal adaptasyon prensibine uygun olarak, hesaplama maliyetini sıfırda tutar.

Deneysel Sonuçlar ve Benchmark Analizi

Yazarlar SCOPE'u standart 3D segmentasyon benchmark'ları olan ScanNet ve S3DIS üzerinde değerlendirmiştir. Sonuçlar, yöntemin mevcut en iyi performans gösteren (SOTA) yöntemleri aştığını göstermektedir:

• ScanNet veri setinde yeni sınıf IoU (Intersection over Union) değerinde %6.98'e varan iyileşme
• S3DIS veri setinde yeni sınıf IoU'da %3.61 artış
• Ortalama IoU'da sırasıyla %2.25 ve %1.70 düzeyinde genel performans artışı
• Düşük unutma oranı (catastrophic forgetting) ile önceki bilgilerin korunması

Bu metrikler, arka plan bilgisinin entegrasyonunun sadece yeni sınıfları öğrenmeyi kolaylaştırmadığını, aynı zamanda modelin genelleme yeteneğini de artırdığını ortaya koymaktadır. Özellikle IoU metriğindeki bu düzeydeki artışlar, 3D segmentasyon gibi hassas geometrik yapı gerektiren görevlerde oldukça anlamlıdır.

Kendi Yorumum ve Özgün Çıkarımlar

Bu çalışma, artımsal öğrenme alanında bir paradigma değişimini temsil etmektedir. Geleneksel olarak arka plan, eğitim sürecinde dikkate alınmayan veya bastırılmaya çalışılan bir gürültü kaynağı olarak görülürken, SCOPE bu bölgeleri potansiyel sinyallerin deposu olarak yeniden tanımlamaktadır. Bu yaklaşım, gömülü yapay zeka sistemleri için pratik olarak hayati önem taşır; çünkü gerçek dünya robotları veya AR cihazları, karşılaştıkları her yeni nesne türü için tüm modeli yeniden eğitme lüksüne sahip değildir.

Teknik olarak dikkat çekici olan nokta, yöntemin transformer mimarileri veya spesifik fine-tuning stratejilerinden bağımsız olarak, prototip tabanlı herhangi bir mimariye entegre edilebilir olmasıdır. Bu özellik, alandaki genel geçerliğini (generalizability) artırmaktadır. Ancak şunu not etmek gerekir ki, yöntemin performansı kullanılan sınıf-agnostik segmentasyon modelinin kalitesine büyük ölçüde bağımlıdır. Eğer arka plandan çıkarılan pseudo-instance'lar gerçekten anlamlı nesneler değil de rastgele geometrik yapılarsa, IPB'nin verimliliği düşebilir.

Ayrıca, attention mekanizmasının bu bağlamda kullanımı oldukça isabetlidir. Few-shot öğrenmede, sınırlı örneklerden oluşan prototipler genellikle gürültülü veya yetersiz olur. Arka plandan getirilen bağlamın, mevcut örneklerle ne ölçüde uyumlu olduğunu dinamik olarak değerlendirmek, modelin aşırı öğrenmesini (overfitting) önleyerek daha sağlam temsiller oluşturmasını sağlar.

Gelecekteki araştırmalar için bu yaklaşımın, tıbbi görüntüleme gibi alanlara genişletilmesi düşünülebilir. Örneğin, bir patoloji görüntüsünde henüz tanımlanmamış ancak anormal dokular içeren bölgeler, gelecekte keşfedilecek hastalıkların habercisi olarak ben şekilde değerlendirilebilir.

Sonuç

"SCOPE: Scene-Contextualized Incremental Few-Shot 3D Segmentation" çalışması, artımsal az örnekli öğrenmenin karşılaştığı temel ikilemlere pratik ve etkili bir çözüm sunmaktadır. Arka plan bölgelerinden madencilik yaparak (mining) ve bu bilgileri attention mekanizmalarıyla few-shot prototiplere entegre ederek, yazarlar hem yeni sınıfların öğrenilmesini kolaylaştırmakta hem de önceki bilgilerin korunmasını sağlamaktadır.

ScanNet ve S3DIS benchmark'larında elde edilen somut iyileştirmeler, bu yaklaşımın sadece teorik bir çerçeve olmadığını, pratik uygulamalarda gerçek performans kazanımları sağladığını gösterm