掘金· xunberg·· 23 天前精选AI 评分75
为生命科学 Agent 搭推理平台(三):工具契约、算力可见性与成本闭环
【生命科学 Agent】推理平台(三)
AI 导读
系列第三篇讲推理平台与 Agent 之间的契约设计,提出用 request_id、deadline_ts、priority 和结果通道四个字段把平台不确定性显式化。
借鉴点
可拿走工具契约四字段(request_id、deadline_ts、priority、回调方式)、三层背压状态机和四层指标,落到本地模型部署与软件工厂;前提是平台能算出预计等待和单次 GPU 成本。
来源:掘金 · juejin.cn