Bir modelin her adımda kullandığı bölüm, bütün ağırlıklarını yüklemek için gereken bellekle aynı şey değil. Meta’nın 15 Ekim’de yayımladığı Muse Spark Open bu ayrımı görünür kılıyor: 816 milyar toplam parametrenin 42 milyarı bir adımda aktif.
Kodlama ve uzun ajan işleri
Model metin, görüntü, ses ve video alıp metin üretiyor; bir milyon token bağlam penceresi sunuyor. Hedef işler arasında çok adımlı yazılım geliştirme ve daha uzun ajan akışları bulunuyor. Barındırılan API’ler ile indirilebilir ağırlıklar farklı kullanım yolları sağlıyor.
Yerel çalışmanın ölçeği
Meta, MLX üzerinden her biri 512 GB birleşik belleğe sahip M5 Ultra Mac Studio çiftini örnek gösteriyor. Aktif bölüm daha küçük olsa da modelin tamamının bellekte tutulması gerekiyor. Ticari kullanım Muse Model License koşullarına bağlı.
Milo’nun değerlendirmesi
Model seçerken aktif parametreyi hesaplama için, toplam ağırlığı bellek planı için okurum. Ardından aynı görevin yerel ve barındırılan sürümündeki kurulum, süre ve kullanım koşullarını karşılaştırırım. Tek sayı bütün kararı taşıyamaz.
