技术方向
开放权重、能下载下来自己部署的模型，开源框架与 GitHub 上爆火的 AI 项目。
374 条精选近 30 天 362 条共收录 1,367 条
AWS 在 vLLM 中实现双向 KV 传输，让 decode 节点把已算好的 KV 回传给 prefill 节点复用，减少多轮 Agent 对话中重复的 prefill 计算。
在 vLLM 的 P-D 分离部署里开启 bidirectional_kv_xfer，让 decode 节点把 KV 回传给 prefill 复用，可换掉每轮重算整段历史的做法；代价是要配 KV-cache 感知路由，并调好 480 秒 TTL 和 64 token 重算阈值。
NVIDIA 将完整的 Run:ai 平台以 Apache 2.0 协议在 GitHub 开源，包含控制面、集群服务、安装器、CLI 和 MCP server，平台团队可自行审查、fork 和自托管，无需付费订阅。
能拿走本地开发脚本 local-dev.sh，用 5 节点 Kind 集群加 8 张模拟 A10 跑通约 50 个 Go 服务，不用真卡就能验证 GPU 调度；代价是 Linux 需 16GB 内存和 100GB 磁盘，社区版没有企业支持。
Reflection 的首个开放权重模型 Beam 于 10 月 16 日正式可用，Ollama 作为 day-zero 合作伙伴限时免费提供。Beam 是 MoE 模型，总参数约 501B、每 token 激活 23B，上下文窗口 100 万 token，面向软件工程、推理和长周期智能体任务，采用 Apache 2.0 许可。
能直接 ollama run beam:cloud 或 ollama launch claude/codex/opencode 接入，把编码与多步工具调用交给 501B MoE 模型，代价是限时免费且走云端、本地无法自托管。
美国新实验室 Reflection 在 Hugging Face 发布首个模型 Beam，501B 参数 MoE、每 token 激活 23B，支持 1M token 上下文，Apache 2.0 许可，主打编码与智能体场景。
能拿走混合注意力与残差缩放的具体配比、vLLM/SGLang 启动参数和 LoRA SFT 配方，落到本地模型部署线；代价是 BF16 权重约 1TB，需 4 张 B200 或 8 张 H200 起步。
IBM 发布 Granite Switch 4.1，8B 和 30B 两个版本在同一个托管端点上同时提供对话、通用与安全决策、语音转写能力。模型组合了新的通用决策 aLoRA、在安全决策任务上平均优于 Jev 1.13 等模型的 Guardian aLoRA，以及 OpenASR 榜首的 Granite-Speech-5.0-Turbo-CTC，整体显存占用约等于基座模型本身。
把通用决策、安全决策和 ASR 三个 aLoRA 挂到同一基座、共享 KV cache，显存约等于基座本身；自组 Switch 模型需自己训 aLoRA，Adapter SDK 尚未放出。
NVIDIA 发布开源 120B 参数模型 Nemotron 3.5 Super VL，主打多模态智能体任务，官方称吞吐量最高为同类模型 5 倍，参数量约为其最大推理模型的五分之一。
开源权重加训练配方和数据集，可拿 120B 的 Super VL 做多模态文档解析与工具调用，或把 Bolt 74B-A9B 用 2-bit 量化塞进 24GB 本地跑 agent，代价是要自己接 NeMo 做后训练。
Mistral 发布首个时序基础模型系列 Timestral，含 5M、28M、123M、209M 四个尺寸，最大模型以 209M 参数在 GIFT-Eval、TIME、fev-bench 三个公开基准的预训练零样本模型中排名第一，参数约为此前 SOTA 的三分之二。
可借鉴的是合成数据优先加两阶段训练配方，以及把协变量按目标、仅历史、已知未来分角色做注意力掩码；前提是自建时序预测管线，代价是需自造合成数据并调 21 分位 pinball loss。
Apertus 1.5 在 Apertus 1.0 的 8B 和 70B 基础上加入图像与音频理解、可选思考模式、4 倍长上下文（262,144 tokens）、更好的指令遵循与工具调用，权重于 2026 年 7 月 24 日以 Apache 2.0 协议发布在 Hugging Face。
可借鉴早期融合做法，图像音频经 tokenizer 变成离散 token 与文本同序列，架构不变、训练按纯文本速度跑；代价是只扩词表、模型只输出文本，音频理解仍是实验性。
Apple 发布新版 MLX，演示在 Mac Studio 上本地运行近万亿参数的 Muse Spark Open，四台 M5 Ultra 集群解码速度超过 36 tokens/s。
能拿走 mlx.launch 配 jaccl 后端跑流水线/张量并行的完整命令和 OpenCode 接本地 server 的配置，落到本地模型部署这条线，前提是 macOS 26.2 加 Thunderbolt 5 双线互联，816B 模型仍需四台机器才跑得动。
Black Forest Labs 发布 FLUX.3 Image Klein，一个模型同时支持文生图、多参考图生图和新增的布局控制，Diffusers 首日即可运行。
可拿走 bbox 布局控制写法（[y_min,x_min,y_max,x_max] 0–1000 归一化）和 src_bbox/tgt_bbox 局部搬移，落到视频产线与图像编辑；代价是参考图让耗时翻倍、显存约 24GiB。
AWS 团队提出 Priming 方法，把预训练 Transformer 的权重作为混合架构的初始化，将混合架构的预训练成本降低 99% 以上，整个流程消耗不到源模型预训练 token 预算的 0.5%。
用预训练 Transformer 权重初始化混合架构，把预训练成本压到 0.5% 以下，可低成本对比 GKA、GDN、Mamba-2 与 SWA 的层替换方案；代价是仍需短蒸馏和端到端微调，且层选择依赖 SWA 替换代理实验。
微软亚洲研究院开源 Agent Lightning v1.0，用约 3500 行代码实现 Harnessed Agentic RL，让部署时使用的 agent harness 直接参与强化学习训练，无需在训练框架内重写 agent。
把部署用的 harness 直接接进 RL 训练，只需把模型端点指向 LLM proxy，省去在训练框架里重写 agent；代价是重分词、样本合并与优势/损失归一化要按 rollout 级处理。
Google DeepMind 发布 EmbeddingGemma 2，一个把文本、代码、图像、视频和音频映射到统一嵌入空间的端侧多模态嵌入模型，采用 Apache 2.0 许可，参数量 740M。
可把本地 RAG 的检索层换成单一多模态嵌入模型，文本 270M、视觉 170M、音频 300M 按需加载，MRL 截到 128 维省 6 倍存储；代价是需自行接 LiteRT 或 transformers.js 部署。
Berkeley Sky Lab 与 IBM Research 在 K-Search 上新增 MLX 后端和结构化 CUDA-to-MLX 翻译层，让演化式内核搜索以现有 CUDA 内核为知识库生成 Apple Silicon 内核。
可拿走 CUDA 到 MLX 的概念映射表、exp2 技巧和并行 scan 改写，落到本地模型部署；前提是自备 LLM API key 并接受搜索迭代成本。