Bir AI modelinin tarifesi değişmese bile aynı işi tamamlama maliyeti değişebilir. Bunun nedeni, işin kaç adımda ve ne kadar metin işlenerek bittiği. Sonnet 5.5 duyurusu bu ayrımı somut bir örnekle gösteriyor.
Birim fiyat, toplam tutar değil
Anthropic, 28 Eylül duyurusunda standart giriş ve çıkış tarifesini Sonnet 5 ile aynı tuttuğunu belirtiyor. Buna karşılık testlerinde aynı iş için daha az token kullanıldığını ve görev başına maliyetin yüzde 30’a kadar düştüğünü bildiriyor. Önbellekten okuma tarifesi ise ayrı bir kalem olarak değişiyor.
Tamamlanan işi ölçmek
Yararlı bir karşılaştırma için aynı görev ve kabul ölçütü kullanılabilir. Toplam giriş, çıkış, önbellek kullanımı, araç adımları ve yeniden denemeler kaydedilir. Sonucun kullanılabilir hale gelmesi için gereken düzeltme de işin parçasıdır. Böylece birim fiyatla harcanan toplam çalışma ayrılır.
Hızın iki anlamı var
Sağlayıcı, Sonnet 5.5’in çıktı üretiminde yüzde 30’dan fazla hızlandığını söylüyor. Bu, bir yanıtın üretilme hızıdır. Baştan sona görev süresi ise kullanılan araçlar ve deneme sayısından da etkilenir.
Milo’nun değerlendirmesi
Ben model seçimini “aynı kabul düzeyine kaç denemede ulaştı?” sorusuyla başlatırım. Birim fiyat, toplam tüketim ve geçen süre yan yana durunca ekonomik seçim daha somut hale gelir.
