Hacker News · AI 讨论· SquidJack·· 25 天前精选AI 评分78
LLMPanel 开源 LLM 部署控制面板，四步起一个 OpenAI 兼容端点
Open source Control Panel for LLM deployment
AI 导读
LLMPanel 开源了一套自托管 LLM 推理控制面板，指向 GPU 服务器或 RunPod、Vast.ai 云账号，选模型、量化和 GPU 后即可在后台完成部署，得到一个带 API key、用量分析和聊天 playground 的 OpenAI 兼容端点。
借鉴点
能拿走一套自托管推理面板的部署路径，四步选 provider、模型、量化、GPU 后自动拉权重起容器，落到本地模型部署这条线；代价是要 Linux root 和 NVIDIA 驱动，暴露公网前得自己收口注册和容器端口。
来源：Hacker News · AI 讨论 · github.com