跳到正文
Hacker News · AI 讨论· josip208·· 10 天前AI 评分48

一个基座模型加数千个微适配器:如何让开放 AI 跑在消费级硬件上

The Sweet Spot: How One Brain and Thousands of Micro-Adapters Could Save Open AI

AI 导读

一种“冻结基座模型 + 数千个 LoRA 微专家”的模块化架构被提出,用于绕开开放模型动辄数百 GB 显存的硬件门槛。每个低秩微专家仅 2-5 MB,配合两级分层路由(Domain Gate 先筛到二三十个候选,Micro-Router 再选前二三个)按需从内存或 SSD 流式加载。

来源:Hacker News · AI 讨论 · operator0x.com