跳到正文
掘金· 王晖_Oscar·· 24 天前精选AI 评分75

如何搭建生产级的长链路 AI 工作流

如何搭建生产级的长链路 AI 工作流?

AI 导读

作者以招标文件解析为例,讲生产级长链路 AI 工作流为何不能交给 Agent 自主规划,并给出自建架构方案。技术栈为 React、FastAPI、Redis、PostgreSQL、arq,工作流采用状态机主干加分析环节 DAG,LLM 底座自建模型切换、熔断、JSON schema 校验、全局 QPM 限流与并发控制。

借鉴点

能拿走自建 LLM 底座的分层做法(流式连接早发现超时、JSON schema 校验后立即重跑、全局 semaphore 加 QPM 前置快速失败)和状态机加 DAG 的断点续传设计,落到软件工厂的长任务产线;代价是要自己造轮子,作者称从零到稳要几个月。

来源:掘金 · juejin.cn