跳到正文
Hacker News · AI 讨论· joshcsimmons·· 22 天前精选AI 评分82

AWS 与 UC Berkeley 开源 Infinity,面向高并发 Agent 的运行时

Infinity: A runtime for extreme agent concurrency

AI 导读

AWS 与 UC Berkeley 在 Hydro 项目下以 Apache 2.0 开源 Infinity,一个把工具调用当作挂起点的 Agent 运行时。它把 Agent 拆成有界执行切片,挂起时只保留对话历史,基准中 8 万 Agent 常驻内存约每空闲 Agent 100 KB,8 GB 的树莓派 5 可容纳约 7.5 万个并发 Agent。

借鉴点

可借鉴把工具调用当挂起点、按消息队列切片恢复的运行时设计,替换阻塞式 agent 循环;代价是工具要改成异步回投结果,且需处理至少一次投递的幂等。

来源:Hacker News · AI 讨论 · aws.amazon.com