掘金· 阿里云云原生·· 24 天前AI 评分58
阿里云云原生解读推理框架：从 Prefill/Decode 到 DeepSeek 开源 DeepInfer
非算法工程师也能看懂，推理框架的来龙去脉
AI 导读
阿里云云原生团队发布长文，从模型上线、Token、Prefill/Decode、KV Cache、MoE 等概念讲清推理框架是什么，并梳理 vLLM、SGLang、TensorRT-LLM、llama.cpp、Ollama、Mooncake 等开源项目的现状。
来源：掘金 · juejin.cn