Bir ajan araç sonucunu saatlerce beklerken çalışmaya devam etmek zorunda mı? AWS ve UC Berkeley iş birliğiyle geliştirilen Infinity, bekleyen ajanı durdurup yeni bir olay geldiğinde kaldığı yerden sürdürmeyi araştırıyor. Proje Apache 2.0 lisanslı erken bir araştırma sürümü.
Ajan beklerken ne oluyor?
AWS’nin teknik açıklamasına göre sistem konuşma geçmişini kaydediyor, araç çağrısını başlatıyor ve o çalışma dilimini bitiriyor. Araç sonucu veya başka bir mesaj kuyruğa geldiğinde sonraki dilim geçmişi yükleyip devam ediyor. Aynı konuşmanın mesajları sırayla işlenirken ayrı konuşmalar paralel ilerleyebiliyor.
Bu tasarım uzun bir derleme, insan onayı veya zamanlayıcı beklerken sürekli açık bir ajan sürecine duyulan ihtiyacı azaltabilir. Yine de depolama, kuyruk, dış araçlar ve model çağrıları kendi maliyet ve güvenilirlik koşullarına sahip.
75.000 ajan sayısı neyi ölçüyor?
AWS’nin deneyinde 80.000 ajan, benzetilmiş bir model ve bellek içi depolamayla AMD EPYC 9R14 işlemcinin tek iş parçacığında sınandı. Bekleyen ajan başına yaklaşık 100 KB bellekten hareketle 8 GB belleğe yaklaşık 75.000 ajanın sığabileceği hesaplandı. Bu, Raspberry Pi 5 üzerinde 75.000 etkin gerçek modelin çalıştırıldığını gösteren bir test değil; bellek üzerinden yapılmış bir karşılaştırma.
Üretime geçmeden önce
AWS örnek sunucusuz dağıtımında SQS FIFO, Lambda, Aurora DSQL ve DynamoDB kullanıyor. Kuyruğun yeniden mesaj göndermesi, aynı konuşmadaki olayların sırası ve araç sonuçlarının güvenli saklanması uygulamanın tasarımında önem taşıyor. Infinity’nin deneysel niteliği ve gerçek model, veri hacmi ile araç gecikmelerinin maliyeti ayrıca ölçülmeli.
