Hacker News · 首页· ltononro·· 11 天前AI 评分26
Anthropic 发布 FlashProve:为 Llama 4 Maverick 提供可证明推理的开源原型
Progress on provable inference for large language models
AI 导读
Anthropic 发布开源原型 FlashProve,用 zkSNARK 让用户验证响应确由指定模型生成。对 400B 参数的 Llama 4 Maverick(4-bit 量化),单张 H100 生成证明速度约 110 tokens/秒,每 1,024-token 请求证明约 19 MB,GPU 耗时约为 vLLM 直接推理的 70-95 倍。
来源:Hacker News · 首页 · anthropic.com