Together AI Blog·· 11 天前精选AI 评分60
Together AI 发布 Together Compiler，用 agent 持续编译优化推理
Together Compiler: Continuous Compilation for AI inference
AI 导读
Together AI 发布 Together Compiler（TKCC），用高吞吐 agent 针对不同流量形态持续生成推理优化，24 小时内在前沿开源模型上取得 1.3-3x 的 TPS 提升。
借鉴点
可借鉴的是持久化引擎加热重载候选前向、多 agent 消息板并行试错、快慢两级引擎权衡吞吐与保真度，能落到本地模型部署的推理调优；代价是要自建成本模型和引擎热重载能力。
来源：Together AI Blog · together.ai