MarkTechPost· Sana Hassan·· 21 天前精选AI 评分71
用 llama.cpp 跑 Underdog Saluki 27B 2-bit 量化版并实测工具调用
How to Run Underdog Saluki 27B: 2-Bit Qwen3.8-27B Tool-Calling Guide
AI 导读
MarkTechPost 发布教程，在原生 llama.cpp 上运行 7.9 GB 的 Underdog Saluki 27B（Qwen3.8-27B 的 2-bit 构建），并与 ISTA-DASLab 的 GSQ-RCO IQ2_XS 版本逐张量、逐字节对比。
借鉴点
能拿走一套可复现的 GGUF 对比流程，逐张量读 header、按字节比对权重、用 BFCL 自带 checker 打分，落到本地模型部署这条线；代价是要一块 GPU 或 Apple 芯片，120 题样本小，结论只能看置信区间。
来源：MarkTechPost · marktechpost.com