跳到正文
掘金· 读完一本书·· 20 天前精选AI 评分70

实测 Ollama 六个调参项,num_thread、num_ctx、keep_alive 三个真能提速

Ollama 跑得慢?我试了 6 个参数,只有 3 个真有用

AI 导读

作者在 8 核 CPU、16G 内存的旧笔记本上跑 qwen3:8b 量化模型,逐个试了 Ollama 六个参数,结论是只有 num_thread、num_ctx、keep_alive 三个真有用。

借鉴点

能直接抄走 num_thread 填物理核数、num_ctx 压到 2048、keep_alive 设 -1 三组配置,落到本地模型部署线;代价是上下文压小后长文档会静默截断,无独显时提速上限约 3 到 6 字/秒。

来源:掘金 · juejin.cn