跳到正文
Hacker News · AI 讨论· asteriskeng·· 26 天前AI 评分58

在自有服务器上用 vLLM 部署瑞士开源多模态模型 Apertus 8B

Running Apertus: A Swiss-Made Multimodal LLM

AI 导读

作者在 Ubuntu Server 24.04 上用 minikube 搭 Kubernetes 集群,通过 vLLM Production-stack 部署瑞士开源多模态模型 Apertus 8B,并用 curl 和 CLI 工具验证推理服务可用。

来源:Hacker News · AI 讨论 · blog.x504.dev