跳到正文
Hacker News · AI 讨论· josip208·· 11 天前AI 评分22

AI 越来越强,自己跑却越来越难:开源权重的隐性门槛

AI Is Getting Better. Running It Yourself Is Getting Harder

AI 导读

开源模型正变得推理更省算力、却更难被个人和小团队自行部署。DeepSeek-V3 总参数 671B、每 token 激活 37B,Llama 4 Maverick 总参数 400B、激活 17B,未激活的专家权重仍需常驻内存。按每参数一字节计,万亿参数模型仅权重就约需 1TB,vLLM 等批处理服务让大厂摊薄成本,自托管门槛反而上升。

来源:Hacker News · AI 讨论 · operator0x.com