跳到正文
只看论文#评测/基准

标签

#评测/基准

按发布时间排列的全部收录，按天分组；筛选和搜索都在这一页。

共 88 条 · 更新于 19:17

11/06

星期五5 条

  1. 掘金78arXiv 综述盘点 9B–20B 开源模型量化部署实测：INT4 小 batch 提速约 2 倍，大 batch 增益归零
  2. Hacker News · AI 讨论80对照实验：Codex 编码智能体团队为何不如单 agent
  3. Hacker News · AI 讨论36Joules-to-GDP：AI 系统每单位能耗能产生多少经济价值？
  4. Hacker News · AI 讨论34GDPx 智能体基准：12 款模型的每分成本与安全过滤注意事项
  5. Hacker News · AI 讨论34Vetto ScienceBench 发布：50 项数据分析任务评测前沿 AI 模型科学能力

11/05

星期四6 条

  1. Hacker News · AI 讨论22Balam Labs 发布 Agent Delegability Index：全球 35.2% 任务时间可部分交给 AI 智能体
  2. 雷峰网48谷歌与 Mercor 发布 PLE 评测：工程 Agent 单项约束满足 91%，仅 41.3% 交付项过安全门槛
  3. Hacker News · AI 讨论22LifeVal：评估 AI 模型在个性化智能体消费任务上的表现
  4. 掘金74人大、复旦、上交发布 ToolSpace，用 804 个真实工具环境训练 Agent，Qwen3.6-35B 均分从 23.0 升至 41.0
  5. Hacker News · AI 讨论66Surge 实测编码 Agent 框架：提高思考强度胜过复杂多智能体编排
  6. The Decoder58开源基准 CloudOpsBench 显示推理是 AI 云运维的最大瓶颈

11/04

星期三3 条

  1. IT之家55小鹏联合北大、港大发布 GroundingPI 具身感知基座模型，34 项感知基准综合得分超 GPT-6 Astra
  2. Hugging Face Blog46CWE-bench v2 发布：100 个安全任务覆盖 91 种 CWE
  3. Hugging Face Blog52AI2 发布 StateBench 基准，测试语言模型在长文档中的状态追踪能力

11/03

星期二4 条

  1. 掘金60arXiv 论文实测 866 个代码任务：多想 2000 个 token 只涨 1.4 个点
  2. Hacker News · AI 讨论28CloudOpsBench 基准测试：AI 模型在真实云运维任务中表现不佳
  3. Import AI22Import AI 479：Realtime-Bench 评测低延迟任务、Genie 4 与太空战
  4. The Decoder58Olam Labs 把 50 个 GPT-6.1 智能体放进 Minecraft 和 Mindustry，观察协作与竞争行为

11/02

星期一5 条

  1. Hacker News · AI 讨论26测试显示 Claude Fable 5.1 与 DeepSeek 4.1 识别商业计划书问题能力接近
  2. 掘金49国防科大发布中文军事新闻信息抽取基准 CMNIE：1.3 万条标注揭示零样本 LLM「找得到但对不齐」
  3. 掘金58TRACE 系统报告复盘 LitTraceQA 科研问答评测：论文找对率 97%，证据定位仅 68%
  4. 掘金71Google 与港大提出 VeriCUA，让验证器主动取证判定计算机操作智能体是否真完成任务
  5. Hacker News · AI 讨论58Telem.ai 实测 12 家搜索 API：最好的单家 top5 命中率 68%，全用也只有 84%

11/01

星期日1 条

  1. Hacker News · AI 讨论58同一模型换 agent 差 17 分：21 个 MCP 服务器上的实测

10/31

星期六4 条

  1. Hacker News · AI 讨论58NullPrime 发布负控制基准，测大模型能否承认自己不知道
  2. Reddit · r/artificial58小型研究：AI 智能体在保存静默失败时仍报完成，提高推理强度无改善
  3. Hacker News · AI 讨论10AI 评审 Emmanuel Saez 与 Gabriel Zucman 的研究：147 项主要发现中 53 项为缺陷
  4. Hacker News · AI 讨论58YC 与 Olam Labs 用 Minecraft 和 Mindustry 测试多智能体团队协作

10/30

星期五3 条

  1. Microsoft Research26微软用合成企业数据评估 Microsoft Copilot 的 AI 置信度
  2. Hacker News · AI 讨论46JavaScript 框架的 AI 成本基准测试：Hono+htmx 最便宜，SvelteKit、Angular 最贵
  3. Hacker News · AI 讨论22Westphalia Labs 让 11 个 AI 模型主持多边声明起草测试

10/29

星期四3 条

  1. SiliconANGLE36SecurityScorecard 发布 TPRM Benchmark，评测 AI 第三方风险能力与抗攻击性
  2. 掘金58Meta 用 574 次真实评测运行对比四种省题方案，最终部署难度分层固定子集
  3. Hacker News · AI 讨论60实测专家 persona 提示词对准确率、成本与速度的影响

10/28

星期三6 条

  1. Hacker News · AI 讨论22Surge AI 推出 DAYJOB: Tax 基准，用 50 个专业税务任务评测 AI 智能体
  2. Hacker News · AI 讨论22Claude 对决无 GPU 的 SapienTronic AI：推理竞赛
  3. Hacker News · 首页22Artificial Analysis 发布 Intelligence Index v5：新增 2 项基准、升级 3 项，60% 基于私有数据集
  4. 钛媒体34微软 MAI-DxO 会诊系统登《科学》：疑难病例诊断准确率 83%，远超人类医生
  5. Hacker News · 首页22Artificial Analysis 发布 Intelligence Index v5.0 评测基准
  6. Hacker News · AI 讨论38研究：语气自信的论文更容易被 GPT-5.5、Claude Sonnet 4.6 等 AI 审稿人打高分