Ein Agent wartet auf einen langen Build oder eine Freigabe. Muss sein Prozess währenddessen durchlaufen? Infinity untersucht einen anderen Weg: Gesprächszustand speichern, den Agenten pausieren und ihn bei einem neuen Ereignis fortsetzen. Das Projekt aus einer Zusammenarbeit von AWS und UC Berkeley ist eine frühe Open-Source-Forschungsveröffentlichung.
Was bei einer Pause erhalten bleibt
Laut technischer Beschreibung von AWS lädt ein begrenzter Ausführungsschritt den Verlauf, führt eine Modellantwort aus, speichert sie und stößt gegebenenfalls ein Werkzeug an. Trifft das Ergebnis später über eine Warteschlange ein, lädt der nächste Schritt den Zustand erneut. Nachrichten einer Unterhaltung werden der Reihe nach verarbeitet; verschiedene Unterhaltungen können parallel laufen.
Das kann laufende Prozesse während langer Wartezeiten vermeiden. Speicher, Warteschlange, externe Werkzeuge und Modellaufrufe verursachen weiterhin eigene Kosten und müssen zuverlässig betrieben werden.
Die Zahl 75.000 richtig lesen
AWS testete 80.000 Agenten mit einem simulierten Modell und Speicher im Arbeitsspeicher auf einem Thread eines AMD EPYC 9R14. Aus rund 100 KB je ruhendem Agenten leiten die Autoren ab, dass ungefähr 75.000 in 8 GB passen würden – die Speichergröße eines Raspberry Pi 5. Das ist eine Hochrechnung zum Speicherbedarf, kein Test von 75.000 gleichzeitig aktiven echten Modellen auf einem Pi.
Was ein Praxiseinsatz zusätzlich braucht
Die Serverless-Referenz kombiniert SQS FIFO, Lambda, Aurora DSQL und DynamoDB. Wiederholte Zustellung, Reihenfolge je Unterhaltung und der Schutz gespeicherter Daten bleiben wichtige Aufgaben. Wie sich reale Modelle, größere Verläufe und langsame Werkzeuge auswirken, muss eine Anwendung gesondert messen.
