跳到正文
掘金· ziven·· 16 天前AI 评分62

用 Django 网关把 Ollama 封装成商用级大模型 API

02 | 工程视角:用微服务架构,将大模型封装为商用级 API 网关

AI 导读

作者用 Nginx、Django 5.0 ASGI 网关和 Ollama 三层架构,把本地大模型封装成兼容 OpenAI 格式的商用 API,Ollama 藏在 Docker 内部网络只允许网关访问。

来源:掘金 · juejin.cn