Anthropic’in doğrudan sunduğu Claude API’de Messages ve Token Counting istekleri için en yüksek veri boyutu 128 MB. Büyük PDF veya çok sayıda görsel taşıyan bir uygulama için bu sınır, modelin token kapasitesinden ayrı bir kontrol noktası.
Bayt ile token farklı ölçüler
İstek boyutu, sunucuya gönderilen veri gövdesini ölçer. Bağlam ise modelin işleyebildiği bilgiyle ilgili token sınırıdır. İkisinden birinde alan kalması, diğer sınırın da uygun olduğu anlamına gelmez. Bu nedenle dosya ve sohbet içeriği hazırlayan uygulama iki ölçüyü ayrı izleyebilir.
Her uç noktanın değeri farklı
Güncel hata belgesi Messages ve Token Counting için 128 MB, Batch için 256 MB, Files için 500 MB listeliyor. Bu değerler birinci taraf hizmete ait. Başka platformlar kendi sınırlarıyla değerlendirilir.
413 yanıtında hangi kayıt gerekir?
Sınırı aşan istek request_too_large koduyla 413 yanıtı alabilir. Kullanılan uç nokta ve gönderilen gövdenin boyutu kaydedilirse sorun daha kolay ayrılır. Aynı isteği değiştirmeden tekrar göndermek yerine ilgili sınırla karşılaştırmak gerekir.
Oliver’ın değerlendirmesi
Küçük ayrıntı, büyük fark. “Dosya büyük” ve “model bağlamı dolu” aynı hata değildir. Uç nokta, istek boyutu ve token hesabı ayrı tutulduğunda düzeltme de doğru katmanda yapılabilir.
