跳到正文
  1. 掘金78

    开源云端托管智能体平台 OMA,参考 Anthropic 设计实现手脑分离

    团队开源了云端托管智能体平台 OMA,参考 Anthropic 的 Claude Managed Agents 实现会话管理、推理与执行解耦、凭证托管和文件系统,业务方通过兼容 Anthropic SDK 的接口定义和使用 Agent。

    借鉴点

    可借鉴手脑分离的托管智能体架构,Brain 在沙箱外推理、沙箱只执行工具,会话状态由平台独立保存;代价是要自建 PostgreSQL、NATS、S3、Vault 等一整套后端,并适配非公开的 CCRv2 协议。

  2. 掘金78

    无显卡本地跑 PLaMo 3 Translate 0.8B:llama.cpp 完整实测教程

    作者在 2016 年 4 核 Celeron J3455 无显卡小主机上,用 llama.cpp 跑通 PFN 的 PLaMo 3 Translate 0.8B(Q4_K_M,573,116,288 字节),4 线程 decode 达 7.59 tok/s。

    借鉴点

    能拿走 llama-bench 逐档扫线程加 grep ggml-cpu 查后端降级的做法,落到本地模型部署线;代价是双路机器要先 taskset 绑单 NUMA,否则测出的数每次都不一样。

  3. 掘金78

    开源模型扎堆发布后如何算显存:权重、KV 缓存与卡数的 Python 估算方法

    作者用 Python 函数估算 Kimi K3.1 Pro、文心 5.5 Flash Base、Axion 1.0 等开源模型的部署成本,结论是权重之外 KV 缓存才是决定能否跑起来的关键。

    借鉴点

    能直接拿走权重、KV 缓存、卡数三段的 Python 函数和 15% 余量参数,把选型从比榜单换成算显存;前提是拿到模型的层数、kv 头数和 head_dim,kv_heads 写成总头数会算大八倍。

  4. 掘金72

    用 FUSE 为云端 Agent 构建虚拟文件系统

    开源云端托管 Agent 平台 superduck 团队基于 FUSE 实现动态虚拟文件系统,让 Sandbox 中的 Agent 用 git、find、grep 等原生 CLI 访问用户文件与 Skill。

    借鉴点

    能拿走一套 FUSE 虚拟文件系统做法,用 PostgreSQL 命名空间加对象存储解耦逻辑路径与物理 Key,ZIP 按需展开 Skill;代价是要自建 Filestore 服务并处理 Token 签发与缓存失效。

  5. Hugging Face Blog58

    NVIDIA 发布 Cosmos 3 四个开源世界模型检查点

    NVIDIA 在 Cosmos 世界模型开发平台下新增四个 Cosmos 3 开源权重检查点,均为 Cosmos 3 Nano 的后训练版本,各含 16B 可训练参数,采用 OpenMDW1.1 许可,允许商用与非商用。

    借鉴点

    四个 16B 后训练检查点加四阶段配方可复用,能落到视频产线与本地模型部署,代价是要 Linux 加 NVIDIA GPU 和 Docker,且短跑通不等于收敛。

  1. Hugging Face Blog71

    Phonon TTS 发布端侧语音模型,登顶 Hugging Face Open TTS 榜单

    Phonon TTS 发布可在设备本地运行的小型语音模型,无需服务器和网络,提供约 65 MB 和 75 MB 两个尺寸,覆盖英语、法语、德语、西班牙语和葡萄牙语。

    借鉴点

    能拿走 ptts 多后端推理框架和 Transformers 里约 200 行的模块化接入写法,把 TTS 落到本地模型部署与端侧语音产线,代价是要自己处理 flow matching 训练不稳定和声音张量预计算。

  2. 掘金75

    KIMI K3 的 KDA 给推理系统带来哪些挑战,SGLang 与 vLLM 如何应对

    文章解释 KIMI K3 混合注意力中的 KDA 把历史压成固定 recurrent state 和 convolution state,使 Prefix Cache 与 KV Cache 不再等价,恢复点必须是 MLA KV 与两类状态都齐全的共同边界。

    借鉴点

    能拿走 SGLang 与 vLLM 对 KDA 状态缓存的具体源码入口和函数名,落到本地模型部署这条线,前提是接受 checkpoint 密度换显存与重算的取舍,且 INT8 checkpoint 并非默认开启。

  3. 掘金71

    Bayze 开源 MCP 工具 bayze-mcp,让 Cherry Studio 调度多家模型交叉复核

    Bayze 开源 MCP 工具 bayze-mcp,可在 Cherry Studio、Claude Desktop、Cursor 中用一个调用触发「起草→评审→修订」的跨厂商模型协作。

    借鉴点

    能拿走一份可跑的 YAML 工作流配置,把起草、评审、修订拆给 DeepSeek、千问、豆包三家模型,接进 Cherry Studio 当 MCP 工具用;代价是要自备各家 API Key,评审门靠 JSON 结论 fail-closed,单次三步约 $0.003、8~15 秒。

  4. 掘金71

    Munk AI 用 24 个 Agent 角色 19 天迭代 OpenCompare,交付 212 个需求、22.7 万行代码

    Munk AI 作者用 19 天让多 Agent 团队全权接管开源桌面比对工具 OpenCompare,受理 213 个需求、交付上线 212 个,产出 22.7 万行代码、544 次 Git 提交和 24 个版本(v0.1.0 到 v0.2.23)。

    借鉴点

    能拿走的是 24 个 Agent 角色的分工边界与值班排班,以及 Open Company 模版可直接 Fork 复用;落到软件工厂这条线,代价是 61.3 亿 Token 和 19 天连续值守。

  5. 掘金78

    HiRoute 新版本发布:按真实工作逐步选择模型并支持任务路由

    阿里云云原生发布开源本地 Agent 智能路由引擎 HiRoute 的新版本,可在 Codex、Claude Code、Qoder、Pi、OpenCode、Hermes、DeepSeek Harness 等 Agent 中按每一步难度自动切换模型。

    借鉴点

    可借鉴其按步判断模型的路由思路与三问拆解法,把简单步骤交给便宜模型、关键判断留给主力,代价是每轮多一次决策调用并需积累评分证据才敢调档。

  6. 钛媒体71

    面壁智能 ForgeKernel 直播写算子跑赢 DeepSeek FlashMLA 9.8%

    面壁智能的 Agent ForgeKernel 在 22.5 小时无人直播中,不参考 DeepSeek 源码,用一块 B200、22 个 GPU 小时、42 轮迭代写出 Prefill 算子,最终耗时 472 微秒,比 FlashMLA 的 518 微秒快 9.8%。

    借鉴点

    能拿走的是用逐比特对齐加责任分离让模型自写训练框架和算子,落到软件工厂和本地模型部署两条线,前提是几十B模型、几百卡以内,万卡集群和稳定性还接不住。

  7. 掘金74

    下载量超 30 万的 Prime Agent 拆解:递归语言模型加持续框架如何让智能体自我进化

    徐小夕拆解 Prime Intellect 开源的编程智能体 Prime Agent,它围绕递归语言模型(RLM)和持续框架(Continual Harness)两大抽象,把提示词、记忆、技能、子 Agent 规范做成可增删改查的状态,让智能体跨回合沉淀经验。

    借鉴点

    可借鉴它把提示词、记忆、技能、子 Agent 规范都做成可增删改查的状态,并用子 Agent 做上下文压缩、JSONL 日志支持回溯分叉;落到多智能体协同和长任务产线,前提是接受学习成本,短平快任务用不上。

  8. MarkTechPost72

    Ricursive AI 发布 Ripple-65B Preview 开源权重模型,Terminal-Bench 2.1 得分 80.5

    Ricursive AI 发布 Ripple-65B Preview,这是一个 65B 稠密开源权重模型,从零预训练用于智能体编码,在 Terminal-Bench 2.1 上自报 80.52 分。

    借鉴点

    能拿走的是稠密 65B 做智能体编码的配方,含 ladder 实验筛选、长上下文 SFT 与截断重要性采样加长度惩罚的 RL,代价是知识类与 MCP 调用明显偏弱。

  1. 掘金88

    Magpie 实战教程:用本地网关让 Claude Code 跑 DeepSeek、Codex 跑 Kimi

    Magpie 是一个跑在 127.0.0.1:3425 的本地网关,同时讲 OpenAI Chat Completions、OpenAI Responses、Anthropic Messages 和 Gemini 四种 API 并互相转换,让 Claude Code、Codex、Gemini CLI 改用任意厂商模型。

    借鉴点

    能拿走的是 magpie 的四行命令换模型、路由组 stays 与 compact 规则、意图路由配小模型做分类器;可落到本地模型部署和软件工厂多 Agent 派单,代价是订阅共享可能违反厂商条款、脱敏后针对值本身的任务做不了。

  2. 掘金72

    逛逛GitHub 盘点 9 个可做知识短片与动画的 GitHub 开源项目

    逛逛GitHub 盘点了 9 个用于制作知识短片和动画的 GitHub 开源项目,覆盖 66 种影片风格的 lemo-opuscar、15 种动态设计风格的 mg-styles-15、32 种插画风格的 anidoodle 等。

    借鉴点

    能拿走 9 个开源项目的仓库地址和各自风格数量,落到视频产线,代价是多数要配 Claude Opus 5.5 或 Claude Code,手绘类还需本地 Node、Chrome、FFmpeg 和配音环境。

  3. Hacker News · AI 讨论71

    腾讯发布开源大模型 Hy4,首次支持视觉理解与 computer-use

    腾讯发布新一代大语言模型 Hy4,称其已进入全球领先开源模型行列,模型权重和系统卡将在未来几天放出。Hy4 首次引入视觉理解与 computer-use 能力,可操作命令行和图形界面,并针对 Blender、CAD 等专业软件做了专项训练,在指令遵循、长上下文和长程智能体任务上有明显提升。

    借鉴点

    Hy4 首次加入视觉理解与 computer-use,并在 Blender、CAD、UE/Unity/Godot 上做专项训练,可接到视频产线和本地模型部署两条线;权重和系统卡要等几天后才放出,现在只能走 API 或腾讯云。

  4. Hacker News · AI 讨论71

    Revolut 用自托管 GLM 替代 Claude,AI 编码推理成本降约 90%

    英国金融科技公司 Revolut 称在不到一年内把 AI 编码推理成本削减约 90%,做法是把自托管模型设为默认,替代此前主要依赖的 Claude 等商业服务。

    借鉴点

    自托管 GLM 替代商业 API 的完整成本账,含 56 张 B200、NVFP4 量化、prefill/decode 分离和 256k 上下文取舍,可对照本地模型部署线估算自己的 token 单价与首字延迟门槛。

  1. 掘金78

    GPUStack 在 DGX Spark 上跑通 Qwen-Image-2.1 的完整部署记录

    GPUStack 团队在 DGX Spark(GB10、aarch64、121GB 统一内存)上部署了 Qwen-Image-2.1,通过 GPUStack 网关对外提供 OpenAI 兼容的文生图、图改图、RGBA 透明底和 LoRA 四项能力,硬件零改动。

    借鉴点

    能拿走一套 ARM 上跑 vLLM-Omni 镜像的排查顺序和只新增不替换的依赖锁法,落到本地模型部署这条线;代价是要自己写几十行参数翻译层,且 LoRA 只验了加载链路。

  2. 掘金71

    Oh My Claudian 插件让 Claude Code、Codex、Cursor 直接接入 Obsidian 知识库

    开源 Obsidian 插件 Oh My Claudian 复用本机已登录的 Claude Code、Codex、Cursor Agent 等 8 种 Agent CLI,无需额外 API Key 即可在笔记侧边栏对话。

    借鉴点

    能复用本机已登录的 Claude Code、Codex 等 8 种 Agent CLI 接入 Obsidian,省掉另配 API Key;代价是桌面版需 ≥1.7.2,且 PATH 与残留 ANTHROPIC_API_KEY 会挡住 CLI 识别。

  3. Hugging Face Blog58

    Hugging Face 提出模型集成契约 MIC,用缩小版 checkpoint 在 CPU 上拦截回归

    Hugging Face 发布 transformers-mic,提出模型集成契约(MIC)标准,把真实 checkpoint 缩成小 fixture 并在 CPU 上跑固定用法路径,与人工审核过的基线比对。

    借鉴点

    可照搬的是一套缩小真实 checkpoint 做 CPU 快速集成测试的配方,含四步缩模型、冻结基线、按改动文件选测试,代价是基线需人工审核且目前不阻塞 PR。