Hacker News · AI 讨论· bretpiatt·2026-10-30 19:09· 16 天前精选AI 评分74

tiny-llm 在 Apple Silicon 上手写 Qwen3 推理与迷你 vLLM 课程

Learn LLM inference system on Apple Silicon

AI 导读

skyzh 发布 tiny-llm 课程，面向系统工程师在 Apple Silicon 上用 MLX 从零实现 Qwen3 推理全流程。

借鉴点

能拿走一套四周课程路线，从 mlx.core 手写 Qwen3 推理到连续批处理、分页 KV 和带检查点的编码 Agent，前提是有 Apple Silicon 机器并愿意自己实现算子，MLX 只当正确性基准。