Hacker News · AI 讨论· sheephess44·· 23 天前精选AI 评分80
Show HN 上线 LLM 显存实测索引，覆盖 117 个模型与真实硬件
Show HN: What LLM fits my GPU? – VRAM measured on real hardware for 117 models
AI 导读
作者发布 quantized.uk 索引，在 RTX 4090、3090、M3 Max、M2 Ultra 等真实硬件上实测 117 个模型的显存占用与 tok/s，并记录所用推理栈。
借鉴点
能按显卡型号和量化档位直接查 117 个模型的实测显存与 tok/s，用来定本地部署的量化等级和上下文长度；代价是数据靠手工维护，标 estimated 的行是架构推算而非实测。
来源：Hacker News · AI 讨论 · quantized.uk