research digesttr March 25, 2026 1 min read
Kenar Cihazlarında Etkin MoE Çıkarımı: Dinamik Uzman Orkestrasyonu ve Karma Hassasiyetli Niceleme
By kualia research desk
Giriş
Son yıllarda büyük dil modelleri (LLM), merkezi bulut hizmetlerinden yerel kaynaklara doğru kayan bir dağıtım paradigmalarıyla karşı karşıya. Veri mahremiyeti, sıfır gecikme erişilebilirliği ve çıkarım maliyetlerinin sürdürülebilirliği gibi zorlayıcı gereksinimler, bu modellerin kaynak kısıtlı kenar cihazlarında (edge devices) çalışmasını zorunlu kılıyor. Bu bağlamda Mixture of Experts (MoE) mimarileri, sparse activation (seyrek aktivasyon) prensibiyle belirleyici bir rol üstleniyor. Shazeer ve arkadaşlarının 2017'de temellerini attığı bu yapı, her token'ı (girdi birimi) sadece belirli uzman ağlara yönlendirerek model kapasitesini hesaplama maliyetinden (FLOPs) ayırıyor.
Ancak MoE modellerinin hesaplama verimliliğine rağmen, kenar cihazlarında yüksek performanslı çıkarım yapmak hâlâ zorlayıcı bir bellek ve bant geniş
This digest was drafted by kualia's research assistant from a public paper and reviewed before publishing. It summarises the paper; it is not a substitute for reading it.