Hacker News · AI 讨论· aymen1994·· 21 天前精选AI 评分78
NeuronDump 开源:把本地 LLM 展开成 3D 图并剪掉不需要的部分
NeuronDump: Open a local LLM as a 3D graph, cut parts, see what breaks
AI 导读
NeuronDump 是一个 MIT 许可的开源工具,读取 Ollama 和 llama.cpp 使用的 GGUF 文件,展示层、注意力头、词表和权重统计,并可删除未使用部分后写出仍能在 Ollama 和 llama.cpp 中运行的更小 GGUF。
借鉴点
能拿 GGUF 元数据把模型画成可展开的 3D 图,按层、头、专家做剪枝并直接看加载与困惑度变化,落到本地模型部署这条线;代价是要 Rust 1.88 以上自行编译,模拟影响需加 trace 特性,且目前只在 Windows 的 Ollama 模型上测过。
来源:Hacker News · AI 讨论 · github.com