İşaret Dili Veri Setlerindeki Kısıtlamayı Aşan Yapay Zeka: SignAgent ve Agentik LLM Mimarileri

Giriş

İşaret dilleri (Sign Languages), sadece el hareketlerinden ibaret görsel iletişim sistemleri değil, fonolojik, sözdizimsel ve anlamsal açıdan tam donanımlı, zengin görsel jest dillere işaret eder. Amerikan İşaret Dili (ASL), Türk İşaret Dili (TİD) ve diğerleri, el şekli (handshape), hareket (movement), konum (location), yönelim (orientation) ve yüz ifadeleri gibi çok katmanlı fonolojik bileşenler üzerinden anlam üretir. Ancak bu dillerin hesaplamalı modellerle işlenmesi, veri kıtlığı tuzağına (data scarcity trap) sıkısıkça kısıtlıdır. SignAgent makalesinin de vurguladığı gibi, bir dakikalık işaret dili videosunun fonolojik düzeyde elle etiketlenmesi bir saatten fazla zaman alır. Bu maliyet, büyük ölçekli, fonolojik olarak farkındalık sahibi veri setleri oluşturmayı ekonomik ve lojistik açıdan imkansız kılar.

Geleneksel yaklaşımlar genellikle gloss seviyesinde (işaretlerin yazı temsili) çalışır ve dil bilimsel nüansları göz ardı eder. Bu durum, transformer tabanlı modellerin fine-tuning süreçlerinde bile sınırlı kalmasına yol açar. SignAgent: Agentic LLMs for Linguistically-Grounded Sign Language Annotation and Dataset Curation başlıklı çalışma, tam da bu noktada devreye girer. Surrey Üniversitesi'nden Cory, Mercanoglu Sincan ve Bowden'ın öne sürdüğü bu çerçeve, büyük dil modellerini (Large Language Models, LLM'ler) işaret dili uzmanı gibi davranacak şekilde yapılandırarak, çok aşamalı çıkarım (multistage reasoning) ve araç kullanımı (tool use) ile dil bilimsel olarak zenginleştirilmiş anotasyon süreçlerini otomatikleştirir.

SignAgent Mimarisi: Araç Kullanan ve Bilgi Tabanlı Akıl Yürüten Sistem

SignAgent'in temelini iki ana bileşen oluşturur: SignAgent Orchestrator ve SignGraph. Bu mimari, sabit boru hattı (fixed-pipeline) yaklaşımlardan farklı olarak, dinamik karar alma yeteneğine sahip bir agentic framework (ajan benzeri çerçeve) olarak tasarlanmıştır.

SignAgent Orchestrator, çok aşamalı karar alma, araç koordinasyonu ve multi-modal kanıtların entegrasyonundan sorumlu bir reasoning LLM'dir. Geleneksel Retrieval-Augmented Generation (RAG) yöntemlerinin ötesinde, Orchestrator belirli bir görevi alt görevlere ayırır, fonolojik analiz araçlarını çağırır ve elde edilen geri bildirimlere göre planını iteratif olarak iyileştirir. Bu süreçte chain-of-thought (düşünce zinciri) mekanizmalarını kullanarak, sadece görsel benzerlik değil, dil bilimsel yapısal özellikler üzerinden akıl yürütür.

SignGraph ise bilgi tabanlı (knowledge-grounded) bir LLM olarak işlev görür ve işaret dilinin sözlüksel yapısını graf tabanlı bir formatta temsil eder. GraphRAG yaklaşımına benzer şekilde, bu bileşen sözlüksel ve dil bilimsel grafikler üzerinden retrieval (geri getirme) işlemi gerçekleştirir. Örneğin, "basketbol" işaretinin tek elle veya çift elle yapılan varyantları (lexical variants) arasındaki fonolojik ilişkileri, yapılandırılmış bir bilgi grafiği üzerinden modellemeye olanak tanır.

Araç seti (toolset) ise fonolojik, sözdizimsel ve anlamsal analiz modüllerini içerir. Bu araçlar, video girişinden el şekli parametrelerini çıkarabilen modüller, hareket yörüngesi analizörleri ve yüz ifadesi tanıyıcıları gibi bileşenlerden oluşur. Orchestrator, bu araçları koşullu olarak çağırarak, her örnek için en uygun kanıt kombinasyonunu oluşturur. Bu yaklaşım, fine-tuning sürecinde sabit bir ön işleme zinciri kullanan geleneksel yöntemlerden temel olarak ayrılır.

Pseudo-gloss Anotasyon ve ID Glossing: Teknik Değerlendirme

Cory ve arkadaşları çerçeveyi iki tamamlayıcı görev üzerinde değerlendirir: Pseudo-gloss Annotation ve ID Glossing. Bu görevler, işaret dili teknolojilerindeki temel bottleneckleri ele alır.

Pseudo-gloss Annotation görevinde, ajan bir giriş videosu ve cümle çevirisi verildiğinde, kısıtlı atama (constrained assignment) prensibiyle uygun gloss etiketlerini çıkarır ve sıralar. Burada "pseudo-gloss" kavramı, elle oluşturulmuş referans glossların aksine, otomatik olarak üretilen ve konuşma dilinden türetilmiş etiketleri ifade eder. SignAgent, multi-modal kanıtları (görsel özellikler, hareket analizi ve çeviri metni) bir araya getirerek, bu etiketlerin videodaki işaretlerle hizalanmasını sağlar. Benchmark sonuçları, sabit pipeline yaklaşımlara kıyasla tutarlı kazanımlar gösterir.

ID Glossing ise daha incelikli bir sorunu ele alır: Aynı sözcüksel birimi (lexical item) temsil eden ancak fonolojik olarak farklılaşan varyantların tanımlanması. Örneğin, "basketbol-1" (tek elle) ve "basketbol-2" (çift elle) aynı anlama gelir ancak farklı formlardadır. Geleneksel kümelerleme (clustering) yöntemleri sadece görsel benzerliğe dayanırken, SignAgent görsel benzerlik ile fonolojik örtüşme arasında akıl yürütme yapar. Ajan, görsel kümeleri tespit eder, ardından bu kümeleri fonolojik parametreler (el şekli, konum) açısından inceler ve sözlüksel varyantları doğru şekilde gruplandırır. ASL Citizen veri seti gibi büyük ölçekli ancak gürültülü veri setlerinde bile, bu agentic yaklaşım kümeleme kalitesini önemli ölçüde iyileştirir.

Her iki görevde de artımlı baz doğruları (incremental baselines) kullanılarak, Orchestrator ve SignGraph bileşenlerinin katma değeri ayrı ayrı gösterilmiştir. Sadece görsel embedding kullanan modellerin aksine, dil bilimsel bilgi tabanıyla zenginleştirilmiş retrieval mekanizmaları, fonolojik belirsizliği çözmede üstün performans sergiler.

Özgün Çıkarımlar ve Alanın Geleceği

SignAgent'in sunduğu teknik çözümün ötesinde, daha geniş bir metodolojik paradigma önerdiğini düşünüyorum. Makalede ima edilen ancak tam olarak çizilmemiş bir perspektif, bu agentic mimarinin işaret dilleri ötesindeki uygulanabilirliğidir. Düşük kaynaklı (low-resource) görsel dilsel verilerin kürasyonu sorunu, sadece işaret dillerine özgü değildir. Beden dili analizi, jest tanıma, dans notasyonu veya endüstriyel hareket analizi gibi alanlarda da yapılandırılmış semantiğin (structured semantics) yapılandırılmamış sinyallerle (unstructured signals) buluştuğu benzer senaryolar mevcuttur.

SignAgent'in mimarisi, bu tür multimodal problemler için bir şablon sunar: Alan uzmanlığını bilgi grafikleriyle kodlayan bir knowledge-grounded modül, çok kaynaklı kanıtları koordine eden bir orchestrator, ve multi-modal araçları dinamik olarak çağırabilen bir reasoning mekanizması. Özellikle GraphRAG benzeri yapıların, uzamsal ve zamansal ilişkilerin önemli olduğu görsel görevlerde standard RAG'dan daha etkili olacağı öngörülebilir.

Ancak bazı sınırlamalar ve gelecek çalışma alanları da göz ardı edilmemelidir. Makalede belirtilen gibi, mevcut multimodal LLM'ler zayıf görsel kodlayıcılara (visual encoders) sahip olabilir ve fine-grained (ince taneli) görsel bilgileri yakalamada duyarlılık gösterebilirler. SignAgent'in başarısı, muhtemelen fonolojik parametre çıkarımı için kullanılan özel araçların kalitesine bağlıdır. Gelecekte, bu araçların da LLM tabanlı hale getirilmesi ve end-to-end öğrenme ile optimizasyonu mümkün olabilir.

Ayrıca, işaret dillerinin coğrafi ve kültürel çeşitliliği göz önüne alındığında, SignGraph benzeri bilgi tabanlarının farklı diller için (örneğin TİD için) genişletilmesi, kaynak yoğun bir çaba gerektirir. Ancak agentic yaklaşım, bir kez kurulduğunda, yeni diller için daha hızlı adaptasyon sağlayabilir. Çalışmanın sonuçlarını oluşturulan veri setini kamuoyuna açık hale getirmesi de, bu alandaki topluluk destekli gelişimi teşvik eden önemli bir adımdır.

Sonuç

SignAgent: Agentic LLMs for Linguistically-Grounded Sign Language Annotation and Dataset Curation çalışması, işaret dili teknolojilerindeki veri kıtlığı sorununa sistematik bir çözüm sunar. Agentic framework mimarisi, SignAgent Orchestrator ve SignGraph bileşenleri aracılığıyla, fonolojik olarak farkındalık sahibi anotasyon süreçlerini ölçeklenebilir hale getirir. Pseudo-gloss alignment ve ID glossing görevlerinde elde edilen sonuçlar, çok aşamalı reasoning ve bilgi tabanlı retrieval mekanizmalarının, sabit pipeline yaklaşımlara üstünlük sağladığını gösterir.

Bu çalışma, aynı zamanda yapay zeka sistemlerinin