跳到正文
  1. AWS Machine Learning Blog58

    如何在 Amazon Bedrock AgentCore Evaluations 中接入 Jev 与 Strands Decider 决策模型

    AWS 官方博客演示如何通过 code-based evaluator 把 Jev 和 Strands Decider 2B 两个决策模型接入 Amazon Bedrock AgentCore Evaluations,把 OpenTelemetry span 转成决策模型请求,再把概率分布映射回评估结果。

    借鉴点

    能把决策模型包进 Lambda 注册成 code-based evaluator,用校准概率做阈值筛选,再让内置 LLM 评估器只跑低分轮次;代价是要自备标注样本验证阈值,Jev 还需 TypeSafe API key。

  1. Together AI Blog58

    Together AI 发布 Together Compiler,用智能体持续编译推理负载

    Together AI 发布 Together Compiler(TKCC),用高吞吐智能体循环为推理引擎持续生成优化,在不到 24 小时内对 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 等前沿开源模型实现最高 2.6x 的 TPS 提升。

    借鉴点

    可借鉴持久化引擎加热重载替代反复启停、快慢双层引擎平衡吞吐与保真、成本模型选并行策略;前提是自建推理服务并有稳定流量可测。

  1. AWS Machine Learning Blog58

    Property Finder 如何修正 Amazon Bedrock 上的评测偏差并选出更优模型

    Property Finder 发现其评测标签有 96.8% 直接沿用现有 VLM 的预测而非人工核验,导致任何替代模型在比较中天然吃亏。

    借鉴点

    可拿走一套做法,先人工重标几百张图做无偏基准,再用 Micro F1 加错误分析迭代提示词,最后用 MIPROv2 自动优化;能落到本地模型部署的选型评测线,代价是要有领域专家标注,356 张只够测中等差异。

  2. Databricks58

    Databricks 用 ai_extract 与 MLflow Prompt Registry 建立文档抽取评测闭环

    Databricks 介绍一套文档抽取的可重复改进流程,用 ai_extract 的 schema 描述承载字段规则、全局指令承载文档级逻辑、precision mode 处理复杂表格,并用 MLflow Prompt Registry 对 prompt 和 schema 一起做版本与别名管理。

    借鉴点

    把字段规则写进 schema、文档级逻辑放全局指令、结构难题开 precision mode,再用 MLflow Prompt Registry 的别名做灰度与回滚,前提是先攒出几百份人工审核过的固定评测集,否则改动好坏分不清。

  1. Hugging Face Blog74

    ALTK-Evolve 用学习到的记忆让 GPT-4.1 客服智能体登顶 τ²-bench 零售榜

    IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve,它用 GPT-4.1 分析智能体在训练任务上的轨迹,把成功与失败蒸馏成简短行为规则追加到 system prompt,不更新模型权重。

    借鉴点

    能从智能体自己的任务轨迹里自动提炼行为规则追加到 system prompt,不更新权重;代价是输入 token 涨 32%–65%,规则数量要按领域调。

  1. AWS Machine Learning Blog64

    AWS 用 Amazon Bedrock AgentCore 搭建智能体九阶段评估框架

    AWS 的 SMGS 团队基于 Amazon Bedrock AgentCore Evaluations 搭建了一套覆盖智能体全生命周期的九阶段评估框架,从定义质量标准、版本对比、CI 回归门禁、CD 质量门、金丝雀监控、安全防护、漂移检测、实时可观测到自动优化闭环。

    借鉴点

    可拿走九阶段评估闭环的具体配置,包括哨兵集15例、30分钟批量评估窗口、连续三窗才告警、工具调用冻结回放;落到软件工厂的 CI/CD 回归门禁,代价是要先建金标集和六类失败分类器。

  1. Google AI Blog60

    Google 发布 Gemini 4 Argon,API 定价每百万输入 token 2 美元

    Google 发布前沿模型 Gemini 4 Argon,面向开发者、企业、科研人员和消费者全球开放,API 介绍价每百万输入 token 2 美元、输出 10 美元,缓存输入享 95% 折扣。

    借鉴点

    可借鉴的是把 .agents/skills 规则本加一段目标交给模型夜间自主跑优化,ADK 会话准备时间降 40%、冷导入快 21%;前提是已有可跑的基准和测试兜底。

  1. GitHub Blog · AI & ML58

    GitHub 发布 AI 代码审查开放基准 ReviewBench

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,现已开放研究预览版。基准包含 19 种语言、187 个开源仓库的 219 个 PR,其语言与仓库规模分布对齐对 103.9M 个 GitHub PR 的分析结果,PR 规模则刻意向可审查的中长尾加权。

    借鉴点

    可借鉴其多源金标集构建法:人工评审、后续提交推断、静态分析、多个前沿 LLM 汇总去重,再用统一 rubric 判分;代价是 219 条 PR 的标注与专家复核成本高,且依赖 Claude Sonnet 5 作 judge。

已经到底了