内容类型
模型到底谁更强：Benchmark 评测成绩、评测方法的争议与排行榜变化。
35 条精选近 30 天 32 条共收录 266 条
utsav1033 发布开源工具 carmen，让 Claude 为 Apple Silicon 写 Metal GPU kernel，再自动测试并测量真实模型是否变快。
可拿走三件事：给测试集藏一部分输入防模型刷分、把单 kernel 加速放回真实模型里复测、用 Amdahl 定律先算理论上限再动手；代价是要有 Apple Silicon 机器和 Anthropic key 才能自己生成 kernel。
Mistrial 是一个可对现有 LLM judge 重复采样并输出可靠性卡片的命令行工具，报告自一致率、翻转用例、judge 间 Cohen's kappa 与 Krippendorff's alpha，以及与人标的准确率。
能拿它把现有 LLM judge 重跑多轮，量出自一致率、翻转用例和 kappa，再按 gate-risk 反推 CI 通过线；代价是要多花调用费，且 kappa 在几十条用例上不构成证据。
Virginia Tech 团队分析 3211 条多轮多智能体辩论失败轨迹，发现 94.9% 的失败包含恢复或纠正失败，正确答案中途出现过却未被采纳。研究基于 7 个开源模型在 8 个数据集上的 7300 个辩论任务，构建了含 6 个父类、24 个子标签的通信失败分类法，人工盲标注映射率 93.4%。
可借鉴逐轮分歧度加答案振荡的轻量监控思路，不读文本只靠答案动态预测失败，能插进现有辩论编排做预警；前提是实验以3B到14B中小模型为主，比例不宜外推到强模型。
冬奇Lab 复盘了一次 Jira Skill 模型选型评测，指出原报告单 case 采样、AI 自判对错、任务与真实使用不一致等问题，重测后推翻了原结论。
可拿走脚本逐字判分、100 case×3 采样、按错误模式分严重程度这三条做法，替换掉单 case 加 AI 当裁判的评测流程；代价是要先备好 ground truth 和判分脚本。
月之暗面发布 Kimi K3.1 Pro，在 K3 的 2.8T MoE 基座上只做后训练联合强化学习，API 定价从 K3 的约 21/108 元降到 13/68 元每百万 Token。
能拿走的是三档定价与 MoE 稀疏激活的成本账，以及自部署 5.6TB FP16 落盘、8 张 H100 跑 INT8 的硬件门槛，可落到本地模型部署和软件工厂选型；代价是基座锁死在 7 月那版 2.8T，长程调试仍需人工打断。
GVS5H 提出免训练的 ledger-based zero-shot 自编排方法，让同一模型的新实例通过共享文件系统交换计划、笔记和当前解法来拆解问题。
能拿走的是多智能体共享文件系统做计划与解法的编排脚本和跑分命令，可接到软件工厂的编码评测线上；代价是要 uv、各家 API key 和 128k token 预算，且部分模型反而变差。
MarkTechPost 发布教程，在原生 llama.cpp 上运行 7.9 GB 的 Underdog Saluki 27B（Qwen3.8-27B 的 2-bit 构建），并与 ISTA-DASLab 的 GSQ-RCO IQ2_XS 版本逐张量、逐字节对比。
能拿走一套可复现的 GGUF 对比流程，逐张量读 header、按字节比对权重、用 BFCL 自带 checker 打分，落到本地模型部署这条线；代价是要一块 GPU 或 Apple 芯片，120 题样本小，结论只能看置信区间。
作者把同一份 React 组件代码、同一张渲染截图和同一张 Figma 参考图交给 gpt-5.6-terra（medium 推理强度）连打八次分，结果在 0.82 到 0.93 之间波动，7 次过 0.85 门槛、1 次不过，而 schema 是否合法等布尔字段八次完全一致。
同一份代码同一张截图连打八次分，分数在 0.82 到 0.93 之间漂，说明用 LLM 打分当门禁会把噪声当回归；可拿走的是植入已知缺陷、多次重跑、再加一道 Clef 否决的做法，代价是要重跑一遍缺陷集且 Clef 会把大图缩到 30 万像素。
一项新研究提出 BackUpper，在编码 Agent 执行破坏性操作前自动备份关键状态，在 205 个任务的 RegretBench 上实现 100% 备份覆盖，恢复数据与原状态平均相似度 92.2%。
BackUpper 用四级保护加小模型判定，在 harness 层给 Agent 动作前做影子备份，可接到编码 Agent 产线；代价是每任务约 $0.014 额外开销，且需按 harness 适配。
IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve，它用 GPT-4.1 分析智能体在训练任务上的轨迹，把成功与失败蒸馏成简短行为规则追加到 system prompt，不更新模型权重。
能从智能体自己的任务轨迹里自动提炼行为规则追加到 system prompt，不更新权重；代价是输入 token 涨 32%–65%，规则数量要按领域调。
deepsense.ai 发布一套智能体 AI 系统评测框架，主张上线前要验证行为而非只看最终答案。
四层框架可直接搬：手写小数据集加审核过的合成用例、固定 harness 与环境快照、按 pass^k 多次跑、用二元检查验轨迹，代价是每个用例要跑 k 次且 judge 需人工标注校准。
AWS 的 SMGS 团队基于 Amazon Bedrock AgentCore Evaluations 搭建了一套覆盖智能体全生命周期的九阶段评估框架，从定义质量标准、版本对比、CI 回归门禁、CD 质量门、金丝雀监控、安全防护、漂移检测、实时可观测到自动优化闭环。
可拿走九阶段评估闭环的具体配置，包括哨兵集15例、30分钟批量评估窗口、连续三窗才告警、工具调用冻结回放；落到软件工厂的 CI/CD 回归门禁，代价是要先建金标集和六类失败分类器。
Google 发布前沿模型 Gemini 4 Argon，面向开发者、企业、科研人员和消费者全球开放，API 介绍价每百万输入 token 2 美元、输出 10 美元，缓存输入享 95% 折扣。
可借鉴的是把 .agents/skills 规则本加一段目标交给模型夜间自主跑优化，ADK 会话准备时间降 40%、冷导入快 21%；前提是已有可跑的基准和测试兜底。
GitHub 发布 ReviewBench，一个面向 AI 代码审查智能体的开放离线基准，现已开放研究预览版。基准包含 19 种语言、187 个开源仓库的 219 个 PR，其语言与仓库规模分布对齐对 103.9M 个 GitHub PR 的分析结果，PR 规模则刻意向可审查的中长尾加权。
可借鉴其多源金标集构建法：人工评审、后续提交推断、静态分析、多个前沿 LLM 汇总去重，再用统一 rubric 判分；代价是 219 条 PR 的标注与专家复核成本高，且依赖 Claude Sonnet 5 作 judge。
DeepSeek 发布 V4.1-Flash 开源权重模型，采用因果编码器-解码器架构，输入侧激活 8B 参数、输出侧激活 16B 参数，主打推理效率与低成本。
能拿走的是 890 bytes/token 的 KV 压缩思路和 SSD 流式卸载跑全精度权重的做法，可落到本地模型部署线；代价是 763B 总参数仍需 256GB 内存加 64-96GB 显存，吞吐只有个位数到几十 tok/s。