掘金· wangfpp·· 26 天前AI 评分67
基于 Apple Silicon 用 Qwen2.5-1.5B 微调并转 GGUF 部署读书助手全流程
本地大模型微调与 GGUF 部署全指南
AI 导读
作者在 Apple Silicon 上用 mlx-lm 对 Qwen2.5-1.5B-Instruct 的 4-bit 量化版做 LoRA 微调,再经 Fuse、反量化、修复 Qwen2 tokenizer、转 GGUF 量化四步,用 llama-server 以 OpenAI 兼容 API 部署成读书助手。
来源:掘金 · juejin.cn