跳到正文
掘金· xunberg·· 23 天前精选AI 评分75

为生命科学 Agent 搭推理平台(三):工具契约、算力可见性与成本闭环

【生命科学 Agent】推理平台(三)

AI 导读

系列第三篇讲推理平台与 Agent 之间的契约设计,提出用 request_id、deadline_ts、priority 和结果通道四个字段把平台不确定性显式化。

借鉴点

可拿走工具契约四字段(request_id、deadline_ts、priority、回调方式)、三层背压状态机和四层指标,落到本地模型部署与软件工厂;前提是平台能算出预计等待和单次 GPU 成本。

来源:掘金 · juejin.cn