Zyphra Hierarchical Attention (ZHA), yapay zekâ modellerinin çok uzun metinlerde ilgili bilgileri aramasını daha verimli hâle getirmeyi amaçlayan bir araştırma yöntemi. Önemli ayrıntı şu: milyonlarca ve milyarlarca token için verilen hız rakamları ölçülmüş çalışma süreleri değil, bir performans modelinin tahminleri.
Uzun bir metinde dal seçmek
Zyphra’nın 2 Kasım açıklamasına göre yöntem, önceki bilgilerin özetlerini ağaç biçiminde düzenliyor. Yeni bir sorgu geldiğinde bütün parçaları aynı ayrıntıyla taramak yerine ilgili dalları açıp daha küçük bir kümeye yöneliyor. Bir kitabın önce içindekiler bölümüne bakmak, fikri anlamaya yardımcı bir benzetme.
Araştırmacılar, sorgu farklı yerlerden bilgi gerektirdiğinde birden fazla dalın açılabildiğini söylüyor. Tam önbellek ağacın alt seviyesinde tutuluyor; bu nedenle yöntem sabit miktarda bilgiye bakmakla sınırlı değil.
Neler denendi, neler öngörüldü?
Çalışmada mevcut bir modelin ağırlıkları dondurularak arama bileşeni ayrıca eğitildi. Zyphra, uzun bağlamlı bilgi bulma, akıl yürütme ve kodlama değerlendirmelerinde sonuçları karşılaştırdı. Bu testler, çok daha uzun bağlamlarda sözü edilen hızların gerçek kullanımda ölçüldüğü anlamına gelmiyor.
Şirketin GPU performans modeli, 10 milyon token bağlamda standart yoğun dikkate göre yaklaşık 32–35 kat, bir milyar tokenda ise yaklaşık 373–417 kat hızlanma öngörüyor. Bunlar yöntemin dikkat hesaplamasına ilişkin öngörüler; bütün bir uygulamanın aynı oranda hızlanacağına dair ölçülmüş bir sonuç değil.
