Together AI 发布 Together Compiler 推理优化系统
先了解这件事
Together AI 发布 Together Compiler（TKCC），一套由高吞吐智能体持续为推理引擎生成优化的系统，作为其 Polymorphic Inference 研究议程的第一步。公司称，该系统已在部分热门无服务器端点上投入生产运行，并在已高度优化的代码上取得进一步提升，目前每天处理数万亿 token；面向客户的版本处于有限测试阶段，需申请早期访问。 Together AI 称，该系统在不到 24 小时内对 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 等前沿开源模型实现最高 2.6 倍 TPS 提升；另一处表述为 1.3–3 倍。Trainium2 上的测试使用合成多轮数据集而非 AgentX，原因是其实现受 HBM 容量限制，尚不支持更高并发。
AI 根据报道生成 · 10 天前更新
事件进展
2 个进展
- 11月5日 16:02 · 1 篇报道Together AI 发布 Together Compiler 推理优化系统MarkTechPost：Together AI 发布 Together Compiler，用智能体持续编译让推理最高提速 2.6 倍
- 11月4日 08:00 · 3 篇报道Together AI 发布 Together CompilerTogether AI Blog：Together AI 发布 Together Compiler，用 agent 持续编译优化推理
报道时间线
沿着报道，了解事件的不同侧面。
- MarkTechPostTogether AI 发布 Together Compiler，用智能体持续编译让推理最高提速 2.6 倍
Together AI 发布 Together Compiler（TKCC），一套由编码智能体改写模型前向计算、随线上流量变化持续重编译的推理优化系统，已在自家多个 serverless 端点上运行。
- Together AI BlogTogether AI 提出 Polymorphic Inference：面向开放模型的自调优推理
Together AI 提出 Polymorphic Inference（多形态推理）研究议程，用 AI 智能体持续优化开放模型的推理性能，并通过 Continuous Compilation 与 Together Compiler 实现自调优。其背景是开放模型发布速度加快、架构日益多样、流量形态持续变化以及硬件迭代加速，例如 B200 到 GB300 的演进。
- Together AI Blog精选Together AI 发布 Together Compiler，用 agent 持续编译优化推理
Together AI 发布 Together Compiler（TKCC），用高吞吐 agent 针对不同流量形态持续生成推理优化，24 小时内在前沿开源模型上取得 1.3-3x 的 TPS 提升。
- Together AI Blog精选Together AI 发布 Together Compiler，用智能体持续编译推理负载
Together AI 发布 Together Compiler（TKCC），用高吞吐智能体循环为推理引擎持续生成优化，在不到 24 小时内对 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 等前沿开源模型实现最高 2.6x 的 TPS 提升。