技术方向
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
545 条精选近 30 天 539 条共收录 2,452 条
Google 公开发布 Deep Review，一个面向复杂文档的智能体审阅系统，可检查逻辑一致性、数学陈述、事实依据并与已有工作对比。系统采用四阶段流水线，先由分段 agent 拆分文档，再按信息密度动态分配算力，由多个推理 agent 并行核查各段，最后汇总做跨段一致性检查和外部 grounding。
四段式流水线可拆成文档分段、按信息密度分配算力、并行分段核查、全局汇总加外部 grounding，能落到知识沉淀和论文审读线，代价是每段都要独立推理调用。
AWS 团队提出 Priming 方法，把预训练 Transformer 的权重作为混合架构的初始化，将混合架构的预训练成本降低 99% 以上，整个流程消耗不到源模型预训练 token 预算的 0.5%。
用预训练 Transformer 权重初始化混合架构，把预训练成本压到 0.5% 以下，可低成本对比 GKA、GDN、Mamba-2 与 SWA 的层替换方案；代价是仍需短蒸馏和端到端微调，且层选择依赖 SWA 替换代理实验。
Mistral 披露其帮助一家欧洲能源运营商把 4 万行 Fortran 77 水库模拟代码迁移到 C++，这是 30 万行代码库首个冲刺覆盖的部分。做法是先给 Fortran 加状态导出子程序、搭 C++ 测试框架和 Skill.md 建立数值对齐测试台，再用自定义解析器生成调用树、由 Vibe CLI 调度上百个智能体逐节点补文档并提 PR。
可拿走的是先建数值对齐测试台再迁移、按调用树切小于1万行模块、planner/coder/tester/reviewer 加人工卡点的流程，能落到软件工厂的遗留系统改造线，代价是要先补测试与文档。
DeepSeek 发布 V4.1-Flash 开源权重模型，采用因果编码器-解码器架构，输入侧激活 8B 参数、输出侧激活 16B 参数，主打推理效率与低成本。
能拿走的是 890 bytes/token 的 KV 压缩思路和 SSD 流式卸载跑全精度权重的做法，可落到本地模型部署线；代价是 763B 总参数仍需 256GB 内存加 64-96GB 显存，吞吐只有个位数到几十 tok/s。
Berkeley Sky Lab 与 IBM Research 在 K-Search 上新增 MLX 后端和结构化 CUDA-to-MLX 翻译层，让演化式内核搜索以现有 CUDA 内核为知识库生成 Apple Silicon 内核。
可拿走 CUDA 到 MLX 的概念映射表、exp2 技巧和并行 scan 改写，落到本地模型部署；前提是自备 LLM API key 并接受搜索迭代成本。