跳到正文
Hacker News · AI 讨论· pember·· 24 天前AI 评分34

Liquid AI 发布 Liquid RIPL 低延迟推理引擎,端到端响应低于 50ms

Liquid AI launches sub-20ms latency stack

AI 导读

Liquid AI 发布实时推理管线 Liquid RIPL,可在峰值流量持续到达时把完整模型响应端到端控制在 50ms 以内。在两项实时负载上,LFM2.5-1.2B 搭配 RIPL 的 p95 延迟比 vLLM 上的 Qwen3.5-0.8B 低 14.4–28.4 倍,LFM2.5-2.6B 比 Qwen3.5-2B 低 5.6–7.7 倍。

来源:Hacker News · AI 讨论 · liquid.ai