Hacker News · AI 讨论· josip208·· 11 天前AI 评分22
AI 越来越强,自己跑却越来越难:开源权重的隐性门槛
AI Is Getting Better. Running It Yourself Is Getting Harder
AI 导读
开源模型正变得推理更省算力、却更难被个人和小团队自行部署。DeepSeek-V3 总参数 671B、每 token 激活 37B,Llama 4 Maverick 总参数 400B、激活 17B,未激活的专家权重仍需常驻内存。按每参数一字节计,万亿参数模型仅权重就约需 1TB,vLLM 等批处理服务让大厂摊薄成本,自托管门槛反而上升。
来源:Hacker News · AI 讨论 · operator0x.com