Hacker News · AI 讨论· asteriskeng·· 26 天前AI 评分58
在自有服务器上用 vLLM 部署瑞士开源多模态模型 Apertus 8B
Running Apertus: A Swiss-Made Multimodal LLM
AI 导读
作者在 Ubuntu Server 24.04 上用 minikube 搭 Kubernetes 集群,通过 vLLM Production-stack 部署瑞士开源多模态模型 Apertus 8B,并用 curl 和 CLI 工具验证推理服务可用。
来源:Hacker News · AI 讨论 · blog.x504.dev