技术方向
让 AI 可控、可信、不被滥用：越狱与防御、模型行为研究、安全评测与治理框架。
37 条精选近 30 天 36 条共收录 555 条
作者给出一个只用 Python 标准库、可直接运行的 AI 网关实现，把统一协议、虚拟密钥、分级超时与分类重试、熔断、令牌桶限流和按租户账本收进同一层。代码自带假上游，前两次返回 429 后成功，四个演示场景分别验证重试、预算前置拒绝、租户限流隔离和熔断快速失败。文中指出生产版还需补流式三档超时、取消信号传到上游和有界队列，账本也要从进程内字典换成 Redis 或数据库。
能拿走一份仅用 Python 标准库的网关实现，含虚拟密钥、分级超时、分类重试加抖动、三态熔断、令牌桶和按租户账本，直接换掉业务里散落的厂商调用；代价是账本为进程内字典，多副本需换 Redis，流式三档超时与取消传播要自己补。
AgentTrust 发布一套厂商无关的零信任策略层，为 LangChain、CrewAI、AutoGen、OpenAI Assistants、Anthropic Tool Use 等框架上的自主智能体提供权限管控与审计。
能拿走一套可落地的多智能体权限收窄与人工审批方案，含子智能体能力衰减、风险评分阈值 0.65 触发人工复核、ECDSA 签名审计链，代价是需自建 Node 服务并接入各框架运行时。
作者用约 250 行纯 Python 标准库写出 egress_gate.py，为 Agent 出站请求做默认拒绝、动作级白名单和 SHA-256 哈希链证据，并在 Python 3.13.14 上跑通 8 个用例。
能直接拿走 egress_gate.py 的默认拒绝加 (host, method, path, purpose) 四元组策略和 SHA-256 哈希链，挂到 Agent 出站代理上做策略引擎；代价是单机 JSON 账本并发会丢计数，且 Agent 绕过决策点就抓不到。
Kevlar 是一个位于 MCP 客户端与服务器之间的代理防火墙，对 tools/list 无条件清空所有 description 字段，只保留 name 和 inputSchema。
能拿走的是 MCP 代理层的四道拦截做法，剥 description、扫注入、拦带凭据出站、握手后锁工具表，可直接套到本地 MCP 客户端前面；代价是只支持 Linux 和 macOS、需 Python 3.10+，且 tools/call 结果只能靠阈值打分，误杀风险要先用 audit 模式摸清。
Anthropic 在 10 月 22 日的 auto mode 默认化公告中更新，下周起 Pro、Max、Team 用户在大多数 Claude 应用新开会话默认进入 auto mode，Claude Code 终端从 v2.1.283、v2.1.284 起已默认如此。
能拿走 auto mode 的两段分类器设计、默认拦截清单和 settings.json 配置样例，落到本地模型部署与软件工厂的权限闸门；代价是 autoMode 只在用户级设置生效，且真实越权漏判率 17%。
10 月 22 日 Agentic AI Foundation 在 AGNTCon 上宣布接收 Agent Skills、Open Responses、OpenEnv、OpenSandbox 四个项目，Anthropic 捐出的 Agent Skills 由此进入 Linux Foundation 中立治理。
能拿走一份六项安装审计清单和 skill、MCP、沙箱三层信任边界划分，落到本地模型部署与知识沉淀线；前提是官方尚无版本化与 checksum，只能自己锁 commit 并记 hash。
Warden 是一个开源的自主 AI 运维智能体，用确定性哨兵读取内核计数器和日志流（约 4 ms 一次检查）自行封禁攻击者，只在需要判断时才唤醒 LLM，安静服务器多数时候零 LLM 调用。
可借鉴其确定性哨兵加门控唤醒 LLM 的分层结构，把高频检测留在内核与日志流、只在异常时调模型，代价是要自己写触发器和只读分类器，且需从 observe 模式起步。
作者把「找 skill」拆成检索、静态画像、金丝雀试跑三步验收工序，并对 DeepSkill 作品展厅的 10 个候选技能完整实测，最终装载 4 个，装载率 40%。
能拿走一套检索词反推、静态画像脚本加三用例金丝雀试跑的技能验收工序，落到软件工厂的技能选型环节，代价是每个候选要花人工核对高权限面，十个候选约四十分钟。
作者用 Claude Code 同时接入 MySQL、Loki、Grafana 三个 MCP server，把一次订单堆积排障从约 2 小时压缩到 4 分钟，定位到 settlement-svc 的 JVM Old Gen 涨到 95%。
能抄走一份三 server 的 mcpServers 配置和排障提示词，把 MySQL、Loki、Grafana 只读接进 Claude Code 做交叉定位；前提是自建只读账号、pin 版本、stdio 仅限本地，且会话别超 3 个 server。
Cerbère（AgentGuard）发布面向自主智能体的运行时安全与可观测层，在模型决策与真实副作用之间检查每次 LLM 调用和工具调用，给出 ALLOW、REQUIRE APPROVAL 或 BLOCK。
能在工具调用边界加一层装饰器做污点追踪和策略拦截，把 .env 泄露这类外传直接 BLOCK，代价是自建 collector 且 LLM 仲裁层 p95 到 2.7 秒。
一项新研究提出 BackUpper，在编码 Agent 执行破坏性操作前自动备份关键状态，在 205 个任务的 RegretBench 上实现 100% 备份覆盖，恢复数据与原状态平均相似度 92.2%。
BackUpper 用四级保护加小模型判定，在 harness 层给 Agent 动作前做影子备份，可接到编码 Agent 产线；代价是每任务约 $0.014 额外开销，且需按 harness 适配。
Socket 研究团队披露 LiteLLM 1.107.0 在 PyPI 和 Docker 上遭供应链攻击，恶意 Python 启动钩子会窃取云凭证、私钥、浏览器数据和 Codex、Claude、Gemini、Cursor 等 AI 工具的认证文件。
能拿走的是排查清单，包括 cook.pth 启动钩子、/healthcheck 外传地址和镜像 digest 固定；本地模型部署和 CI 发布流程可据此自查，代价是要逐个环境翻 Python 启动文件和浮动 tag。
mnestiq 在 GitHub 发布 AI Agent 飞行记录器 v0.2 草案，记录 Agent 看到、决定和执行的内容，用 RFC 8785 规范化 JSON 加 SHA-256 做哈希链、Ed25519 签名的 Merkle 检查点保证事后不可篡改。
能拿走一套可落地的 Agent 取证做法，哈希链加 Ed25519 签名检查点、按来源给上下文打标签、六条注入检测规则，落到软件工厂的 Agent 事故复盘线；代价是签名密钥要放在 Agent 读不到的地方，否则整条链可被重签。
Squidbrake 0.14.2 把 12 起公开报道的 AI 智能体删数据、泄密、乱花钱事故回放到自家规则上，15 个有害动作拦下 14 个，其中 3 个直接阻断、11 个转人工审批、1 个未拦住。
可复用的做法是把 12 起公开事故和 62 段会话做成可跑脚本，逐步标注 harm/routine/sensitive 再对比四种拦截策略；代价是回放命令多为作者重建，且审批人由脚本扮演，误报率才是真实成本。
米小虾在 Agent 开发入门系列第 8 篇中提出护栏应分三层：上下文层控制模型能看到什么，执行层控制模型能做什么，数据层控制世界最终能变成什么样，并辅以人工干预。
能拿走三层护栏的分工清单和工具风险四维评级，落到 Agent 工具调用与凭证管理上；代价是数据层要人工设计评审，三层叠加抬高延迟。
AWS 与 Keyfactor 工程团队联合发布参考架构，用 X.509 PKI 为多智能体系统补上 MCP 缺失的身份认证。方案分用户认证、智能体间、MCP 工具服务三层，靠签名信封、用户签名的委托断言、RFC 8693 降权 token 和实时 OCSP 吊销四项机制串联，私钥在客户端本地生成、EJBCA 只签发证书。
能拿走三层认证加签名信封、委托断言、RFC 8693 降权 token、OCSP 吊销四件套的完整代码，落到多智能体工具调用的身份链路上，代价是要自建 EJBCA 和 Keycloak 并处理 OCSP 可用性。
Google DeepMind 发布新前沿模型 Gemini 4 Argon，先通过 Fairwind Program 向受信任的网络安全防御方开放，之后再逐步开放给开发者、企业和消费者。
可借鉴的是用 Argon agent 做 C/C++ 到 Rust 迁移的流程，靠多轮 profile 引导实验和读编译器输出生成安全 Rust，代价是仍需自动化加人工审计与仿真测试才能上生产。