技术方向
大模型是怎么练出来的：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
71 条精选近 30 天 68 条共收录 743 条
作者把 AI Coding Agent 的记忆底座迁到自建 OpenViking，用 99 元/年的阿里云 2核2G 实例跑通，本地只做存储检索、计算全交给外部 API。
能拿走一套 OpenViking 记忆底座的组件选型与配置，含 query_planner 单独指定、VLM 设 reasoning_effort low、向量模型锁 128K 多模态；落到本地模型部署与知识沉淀线，代价是 2G 机器要配 Swap 并限制容器内存。
同一开源模型本地跑和云 API 调用效果差距大，主要来自量化精度、聊天模板、采样参数和上下文截断四层没对齐，而非模型本身不同。文中给出数据：Llama 3 8B 量化到 FP8 后 MMLU 保留 99.2% 基线准确率，INT4 下 GSM8K 掉 9%–18% 而 MMLU 只掉 1%–3%。
按量化精度、聊天模板、采样参数、上下文截断四层排查本地与云端差异，附可跑的 Ollama 与云 API 对照脚本；代价是数学和代码任务在 INT4 下仍追不上 bf16。
Tadpole 开源了一个约 3500 行纯 Python、不依赖 agent 框架的工具调用 agent，带文件、shell、网页搜索抓取、会话与上下文压缩，可跑在本地 4B 模型或任意 OpenAI 兼容 API 上，并能以 Telegram 机器人常驻。
能拿走一份 3500 行纯 Python 的 agent 分阶段实现和 SFT 数据配方，落到本地模型部署与软件工厂线；代价是训练要 24GB CUDA 显卡，整条后训练线约 140 美元。
同一模型本地跑和云 API 调用效果差别大，主要来自量化精度、聊天模板和采样参数三层没对齐，而非模型本身不同。文中给出可复算数据，Llama 3 8B 量化到 FP8 后 MMLU 保留 99.2% 基线，INT4 下 GSM8K 准确率掉 9%–18% 而 MMLU 只掉 1%–3%。
能拿走四层排查顺序和一段本地与云端同参对比代码，落到本地模型部署线；前提是两端 prompt 与采样参数完全一致，且要接受 INT4 下数学与长上下文任务追不上 bf16。
SkyPilot 围绕飞行跑车物理模拟器搭了一个 RL 环境，用 rank-64 LoRA 加 GRPO 后训练 Qwen3-4B，实时决策下风暴踢翻动作落地率 90%，比 GPT-6 Astra 的 74% 高 21%。
能拿走一套可复用的 RL 后训练配方，rank-64 LoRA 加 GRPO 双教师热启动，按风级挑模仿对象、风暴样本加倍、专练慢速远车场景；落到本地模型部署和 Agent 实时决策线，代价是 4 GPU 小时约 13 美元，且配方靠多轮验证集试错才收敛。
国产开源文档解析模型OXR在OmniDocBench（97.18）、olmOCR-Bench（87.84）和DocParsingBench（87.76）三个榜单均列第一，参数量仅1.3B。
可借鉴的是后训练用RSI自造数据的三段流程，VLM判对错并保留Uncertain档、归因聚类成原因簇、再按真实版式合成训练数据；前提是任务有客观标准答案，OCR之外的领域未必成立。
作者在单张RTX 5090（32GB）上实测Strata v0.2.2加载Qwen3.8-Flash-Next Q2_0（125B级MoE），模型文件66.4GB对31.8GiB显存缺口约2.1倍，靠把全部24576个专家常驻主机内存、按热度缓存到显存跑通。
能拿走一条槽位公式（可用显存减884MiB再除1.318MiB，上限24576）和五段传导链，用来给本地部署做容量规划；前提是只测了Q2_0一档、PCIe固定Gen3×16，换量化档或平台要重算。
华南理工的 G³RAG 提出用文档嵌入夹角的 cosθ·sinθ 作为边权构图，同时奖励相关性和互补性，绕开用 LLM 抽实体建知识图谱的 token 开销，构图成本为零。
已有嵌入索引的团队可加一层 cosθ·sinθ 边权图加单步扩散补多跳，省掉 LLM 建图 token，代价是图质量绑死嵌入质量且只覆盖单步跳转。
Benchouse 用开源分析智能体 nao 在 90 道题、59 张 marts 表的固定评测集上做实验，把准确率从 Sonnet 5 裸 schema 的 49.6% 提升到 Opus 5.5 加完整上下文的 96.5%，完整度 100%。
能拿走分层加上下文的做法，从裸 schema 到 nao sync、全量文档、write-context-rules 技能、业务定义与回答规则逐层叠加，把分析智能体准确率从 49.6% 推到 96.5%，代价是每问成本从 $0.23 升到 $0.27，且各层改动合并测试无法拆分单项增益。
LuynoxRD 发布 lakehouse-agent-skills，用 15 个技能、9 条生命周期命令和 4 个只读审查子 agent，强制编码 agent 按 PROFILE、CLEAN、MODEL、QUERY、VISUALIZE、ASSEMBLE、NARRATE、DISCLOSE 的顺序处理数据。
15 个技能加 9 条生命周期命令把数据工作拆成 PROFILE 到 DISCLOSE 的固定阶段，每阶段落一个文件而非靠记忆，能直接换掉让 agent 直接对着表格画图的做法；代价是要装插件或 skills CLI，且校验脚本依赖 DuckDB 重算数字。
MemTrace 把 LLM 记忆流水线转成可执行的记忆演化图，用图归因 Agent 定位最早决定性故障操作，再据此自动改写提示词，在 Mem0 加 LoCoMo 上三轮优化后任务性能提升 7.62%。
能拿走一套可复用的记忆系统排错链路，插桩录制执行图、沿图定位最早故障操作、再把归因结果转成 prompt 改写；落到知识沉淀和本地部署调优上，代价是归因准确率约一半、每轮要重跑完整流水线。
作者用两天自训了一个 8.4MB 的中文语义嵌入模型，在浏览器离线运行，STSB 达到教师模型 bge 的 93.2%，但真实检索 top1 只有 42%。
可拿走三步压缩路线（32k 中文 BPE、蒸馏、三值量化到 8.4MB）和双路嵌入分开打分不拼接的做法，落到本地模型部署与知识沉淀；代价是要先跑教师模型测上限，否则容易在模型上白费功夫。
UC Berkeley Sky Computing Lab 开源了 LEANN 向量索引，它不在磁盘上保存完整嵌入向量，而是在查询时按需重算，仓库基准里 60M chunk 的 Wikipedia 索引从 201 GB 降到 6 GB，论文在 MLSys 2026 获最佳研究论文。
能拿走的是剪枝图加 PQ 表、查询时只重算搜索路径上节点的做法，把 60M chunk 索引从 201 GB 压到 6 GB，可落到本地知识库和端侧 RAG；代价是检索从 0.05 s 涨到 2.48 s，重算仍占约 76% 查询延迟。
Exowatt 用 Amazon SageMaker AI 无服务器模型定制微调 Qwen3-1.7B 和 Qwen3-14B，在告警分诊和能源市场分析两个任务上分别达到 0.911 和 0.975 macro-F1，均超过 Claude Sonnet 4.6、Claude Opus 4.7 等前沿模型。
可复用其数据配方：少量人工核验样本加三倍改写扩增，改写后逐条校验标签与数字不变；代价是改写与校验环节要额外投入，且需自建证据引用校验。
Databricks 介绍一套文档抽取的可重复改进流程，用 ai_extract 的 schema 描述承载字段规则、全局指令承载文档级逻辑、precision mode 处理复杂表格，并用 MLflow Prompt Registry 对 prompt 和 schema 一起做版本与别名管理。
把字段规则写进 schema、文档级逻辑放全局指令、结构难题开 precision mode，再用 MLflow Prompt Registry 的别名做灰度与回滚，前提是先攒出几百份人工审核过的固定评测集，否则改动好坏分不清。
Google Research 提出 sleep 框架，让 LLM 在活跃交互与离线睡眠两个阶段间交替，把短期上下文巩固进长期参数。
可借鉴的是把持续学习拆成唤醒与睡眠两段，睡眠期用 MoE 扩容加 GKD 与 RL 模仿把上下文蒸馏进参数，再随机激活专家生成合成数据做筛选微调；落到本地模型部署和知识沉淀，代价是要预留专家容量并维护重置与筛选流程。
Pallavi Singla 在 30 条 agent 式查询上横向评测 You.com、Tavily、Exa、Parallel 四家搜索 API，覆盖 GTM、保险、金融三类场景，每条查询重复 3 次共 90 次调用。
能拿走一套可复跑的搜索 API 评测框架，含 30 条 agent 式查询、答案键、promptfoo 配置和 MCP 接入方式，可用来给自家 agent 选搜索后端；代价是要自备四家 API key，且只跑了一天数据、每类 10 条，差一两条属噪声。
阿里 ATH-MaaS 团队 10 月 20 日发布 OvisOCR3 技术报告，一个基于 Qwen3.5-0.8B 的统一 OCR 模型，单模型覆盖文档解析、通用 OCR、KIE、图表描述和跨页表格重建五类任务，权重已在 HuggingFace 开源。
能拿走双归一化分支加权重融合、关系优先奖励两套配方，落到 RAG 数据管道和本地部署；代价是四阶段无消融、教师算力账未披露。
作者在自家 AI 客服系统上做了四层成本优化，单位对话成本降 68%，但总额只降 21%。
能拿走四层降本做法，文档切块300-500字加top-4检索、小模型分流、前缀与语义缓存、两轮无进展转人工，落到客服产线；前提是自建成本打点并按场景聚合。
百度发布并开源文心 Unlimited OCR 2，称其实现任意页数文档解析，实测一次性解析《哈利·波特》全系列 7 部、累计超 3600 页。
能拿走 SR-SWA 的页面门控加高分视觉 Token 桶思路，把长文档解析从结果拼接换成单次无限解码，落到知识沉淀的整本书、长研报入库；代价是需按百页级场景自测显存与精度。