Uzun bir kodlama oturumunda her yeni istek, önceki mesajların tamamını yeniden taşımak zorunda kalabilir. Anthropic’in Messages API için genel betaya açtığı Message Threads, bu aktarımı küçültmeyi amaçlıyor.
Konuşma isteği nasıl değişiyor?
İlk istekte konuşma, sistem talimatı ve araçlar gönderiliyor. Sonraki istekte yeni mesajlar ve önceki yanıtın kimliği yeterli oluyor. Sunucu konuşmayı kısa süre bellekte tutuyor. Anthropic, 500 bin–1 milyon token içeren Claude Code isteklerinde ilk tokena kadar medyan sürenin yaklaşık yüzde 35 azaldığını bildiriyor; bu, şirketin belirli koşullardaki ölçümü.
Süre, maliyet ve veri işleme
Küçük istek, daha az token ücretine eşit değil: Anthropic modele tam konuşmanın yine iletildiğini ve standart token ücretlerinin geçerli olduğunu söylüyor. Bir konuşma son isteğinden beş dakika sonra sona erebilir; bu yüzden uygulama kendi geçmişini saklamalı ve gerektiğinde yeniden göndermeli. Özellik sıfır veri saklama ve HIPAA uygunluğu kapsamında değil.
Geliştirici için karar basit: Önce gecikmenin gerçekten sorun olduğu uzun oturumları ölçün, ardından yeniden oynatma ve veri işleme koşullarını tasarıma dahil edin.
