LoST: 3D Şekiller için Semantik Temelli Yeni Bir Tokenizasyon Paradigması

Giriş: Geometrik Hiyerarşilerin Sınırları

Otoregresif (autoregressive) modeller, metin, görüntü ve video üretiminde olduğu gibi üç boyutlu (3D) içerik oluşturmada da giderek daha fazla ilgi görmektedir. Bu modeller, transformer mimarilerinin gücünü kullanarak token dizilerini koşullayarak yeni veriler üretir ve diffusion modellerine kıyasla daha basit eğitim süreçleri, tek geçişli örnekleme (single-pass sampling) ve çok modlu büyük dil modelleri (Multimodal Large Language Models, MLLM'ler) ile entegrasyon kolaylığı sunar. Ancak 3D şekillerin optimal tokenizasyonu hâlâ açık bir araştırma sorusu olarak durmaktadır.

Mevcut en gelişmiş (state-of-the-art, SOTA) yöntemler, temel olarak geometrik detay seviyesi (level-of-detail, LoD) hiyerarşilerine dayanmaktadır. OctGPT gibi oktree (sekizli ağaç) tabanlı yaklaşımlar veya VertexRegen gibi ilerlemeli mesh (progressive mesh) teknikleri, orijinal olarak görüntüleme ve sıkıştırma amaçları için tasarlanmış bu geometrik hiyerarşileri kullanır. Ne var ki, bu yaklaşımlar iki kritik sorun barındırır. İlk olarak, token şişkinliği (token bloat): geometrik basitleştirme yapılsa bile, kaba ölçekli aşamalar bir nesnenin temel iskeletini çizmek için hâlâ önemli miktarda uzamsal token gerektirir. Bu durum, otoregresif modelleri yüksek perplexity (karışıklık) rejimine iter ve örnek verimliliğini düşürür. İkinci olarak, kullanılamaz erken çözümleme (unusable early decoding): agresif geometrik basitleştirme nedeniyle, erken aşamalardaki hiyerarşiler hem geometrik hem de anlamsal açıdan son şekle benzemez. Dolayısıyla, "her önekte üretim" (any-prefix generation) mantığıyla çalışan AR iş akışlarında bu ara aşamalar kullanılabilir olmaktan çıkar.

Bu bağlamda, "LoST: Level of Semantics Tokenization for 3D Shapes" başlıklı çalışma, 3D şekil temsilinde köklü bir paradigma değişimi önermektedir.

Ana Analiz: Semantik Öncelikli Tokenizasyon ve Mimari

LoST (Level-of-Semantics Tokenization), token dizilerini anlamsal belirginlik (semantic salience) sırasına göre yapılandırır. Kısa önekler (prefixler), örneğin sadece 1, 4 veya 16 token kullanılarak, başlıca anlamsal özellikleri (principal semantics) yakalayan eksiksiz ve mantıklı şekiller üretirken, sonraki tokenlar örnek özgü geometrik ve anlamsal detayları iyileştirir. Bu yaklaşım, geleneksel LoD yöntemlerindeki kaba aşamaların anlamsal olarak tutarsız olma sorununu çözer.

Mimari olarak LoST, 3D şekilleri triplane (üç düzlem) temsiliyle kodlar. Bu temsil, şeklin farklı açılardan özütlenmiş özellik haritalarını içeren üç düzlem kullanarak 3D geometriyi kompakt bir latent uzayda kodlar. Vision Transformer (ViT) tabanlı bir şekil kodlayıcı (encoder), bu triplane özelliklerini bir token dizisine sıkıştırır. Eş zamanlı olarak, herhangi bir önek uzunluğundan triplane latent özelliklerini yeniden yapılandırmak üzere bir prefix decoder (önek çözücü) ortaklaşa eğitilir. Eğitim sırasında iç içe geçmiş token dropout ve nedensal maskeleme (causal masking) teknikleri kullanılarak, tokenların kaba dan inceye (coarse-to-fine) 1D sıralaması teşvik edilir. Aşırı sıkıştırma oranlarında bile mantıklı şekillerin yeniden yapılandırılabilmesi için üretici bir çözücü (generative decoder) kullanılır.

Geleneksel yöntemlerde, örneğin 270 token kullanıldığında dahi anlamsal olarak tutarsız, parçalanmış geometriler elde edilirken; LoST aynı sayıda tokenla anlamsal olarak tutarlı, tanınabilir şekiller üretir. Şekil 1'de gösterildiği üzere, OctGPT'nin erken aşamaları veya VertexRegen'in kaba mesh hiyerarşileri geometrik ve anlamsal açıdan uygunsuz yapılar sergilerken, LoST'in 1 tokenlık öneki bile başlıca nesne kategorisini tanımlayabilen bir temsil sunar.

Ana Analiz: RIDA Kaybı ve Anlamsal Hizalama

LoST'in en kritik teknik katkısı, 3D şekiller için anlamsal denetim sağlayan Relational Inter-Distance Alignment (RIDA) kayıp fonksiyonudur. Görüntü tabanlı çalışmalarda (Flextok, Semanticist) kullanılan REPA (Representation Alignment) kaybı, çözücünün ara özellikleri ile orijinal görüntünün DINO özellikleri arasındaki mesafeyi minimize eder. Ancak 3D şekillerde bu doğrudan denetim mevcut değildir.

RIDA, İlişkisel Bilgi Damıtma (Relational Knowledge Distillation, RKD) yaklaşımından esinlenerek bu boşluğu doldurur. DINO (Self-DIstillation with NO labels) kodlayıcısı öğretmen olarak kullanılır ve triplane için bir 3D anlamsal çıkarıcı (semantics extractor) eğitilir. Burada kritik nokta, triplane'in render edilmiş görüntülerinden elde edilen DINO özelliklerine doğrudan regresyon yapmaktan kaçınılmasıdır. Bunun yerine, RIDA triplane latent uzayındaki örnekler arasındaki göreli mesafeleri, DINO latent uzayındaki karşılık gelen anlamsal mesafelerle hizalar. Bu yaklaşım, triplane temsilini DINO uzayındaki anlamsal yakınlığa göre yeniden düzenleyerek, geometrik olarak benzer ancak anlamsal olarak farklı şekillerin latent uzayda doğru şekilde ayrışmasını sağlar.

Bu anlamsal hizalama, LoST tokenlarının sadece geometrik yeniden yapılandırma için değil, aynı zamanda anlamsal benzerlik arama (semantic retrieval) gibi aşağı akış görevleri için de uygun olmasını sağlar. Benchmark değerlendirmelerinde LoST, hem geometrik hem de anlamsal yeniden yapılandırma metriklerinde önceki LoD tabanlı tokenizatörleri büyük marjlarla geride bırakarak yeni SOTA seviyesini belirler.

Kendi Yorumum ve Özgün Çıkarımlar: Yapıdan Anlama Doğru

Bu çalışmanın getirdiği en derin çıkarım, 3D jeneratif modellemenin dil modelleme tarihindeki yolu takip ettiği yönündedir. Doğal dil işlemede (NLP), karakter seviyesinden alt sözcük (subword) tokenlarına (BPE, WordPiece gibi) geçiş, anlamın yapısal birimlerden daha önemli olduğunu göstermiştir. LoST, 3D alanında benzer bir geçişi temsil etmektedir: uzamsal hiyerarşilerden (geometrik atomik birimler) anlamsal olarak anlamlı atomik birimlere doğru.

Öneri, otoregresif 3D üretimin geleceğinin, geometrik ilkel biçimlerden (vokseller, köşeler, yüzler) ziyade anlamsal olarak anlamlı atomik birimlere doğru ilerleyeceğini göstermektedir. LoST, eğitim ve çıkarım için sadece 128 token kullanarak SOTA modelleri geride bırakırken, önceki AR modellerinin ihtiyaç duyduğu token sayısının sadece %0.1 ila %10'unu kullanmaktadır. Bu verimlilik, sadece hesaplama tasarrufu değil, aynı zamanda fine-tuning ve görev adapte sü