跳到正文
  1. 掘金75

    从零手写 RAG 引擎:Markdown 分块、BM25 混合检索与 RRF 融合

    作者在 W4 教程中从零手写一套完整 RAG 引擎,让 Agent 接入企业私有文档。实现包括按 Markdown 标题层级生成面包屑并带滑动重叠窗口的分块器、纯 TypeScript 的余弦相似度与内存向量库、手写 BM25 关键词检索,以及用 RRF 倒数排序融合两路结果,默认 k=60、初筛 20 条再精排 Top-5。

    借鉴点

    能拿走一套手写 RAG 全链路,含 Markdown 标题面包屑分块加句子级 overlap、BM25 与余弦双路 RRF 融合、追问改写和 LLM-as-Judge 评分,可直接替换现有单路向量检索;代价是分词只按空白与中文标点切,中文召回质量有限。

  2. 掘金72

    百万 token 上下文实测:作者把系统提示词从千字删到不足四百字

    作者在百万 token 上下文可用后实测把中型前端仓库整包塞入让模型改代码,结果模型调用了不存在的 store 方法并改错方向,于是改为向量检索先压到十个片段、再让长窗口做跨文件交叉比对、最后要求三百字内给结论。作者还发现把工具 schema 从对话中段挪到系统段首位后,模型无视工具说明的问题消失,并把系统提示词从一千多字删到不足四百字,只保留任务边界、输出格式和硬性禁止三类内容。

    借鉴点

    可拿走三段链路(向量检索压到十个片段、长窗口交叉比对、三百字内出结论)和把工具 schema 挪到系统段首位、示例放用户消息末轮的做法,落到软件工厂的代码修改流程;前提是先有可观测性区分没检索到和看到了没采纳。

  3. 掘金78

    万字长文拆解 DeepSeek Super-agent 与企业知识库架构及落地实践

    作者拆解 DeepSeek Harness 团队 10 月底开源的 Super-agent 架构,核心是把单会话 Agent 改成 Router 调度层加 Worker 执行层的常驻系统,Router 只做路由不配执行工具,Worker 隔离并发。

    借鉴点

    能拿走 Router-Worker 双层配置、AGENTS.md 规则和 Worker 知识库 Schema 三段模板,落到知识沉淀与本地部署线;前提是先把高频知识结构化沉淀,任务复用率低时这套账算不过来。

  1. 掘金78

    RAG 查询扩展实战:HyDE 与多 query 改写的选型与组合

    程语AI 在 pgvector + bge-m3 环境下实测 HyDE 与多 query 改写两种 RAG 查询扩展方案,给出提示词、RRF 融合代码和分类型评测。

    借鉴点

    能拿走 HyDE 与多 query 的提示词、RRF 融合代码和分类型评测表,落到知识沉淀的检索链路上;代价是每次扩展多一次 LLM 调用和几路检索延迟,且假设答案不能当事实上下文。

  2. 掘金74

    NVIDIA Auto Ontology 如何把业务口径接入 SQL 生成链

    NVIDIA 的 Auto Ontology 项目把业务术语、列映射、连接路径和 SQL 属性做成可修订的语义层,再让查询 Agent 基于这份上下文写 SQL 并检查执行。

    借鉴点

    能拿走的是语义层接入 NL-to-SQL 的完整链路拆解,含并行提取顺序提交、采样熔断、桥接表补回和三层重试的具体阈值,可落到知识沉淀与本地部署;代价是要人维护术语口径,且意图校验失败会降级放行。

  1. 掘金71

    NVIDIA 开源 auto-ontology:为企业数据库生成语义本体,让 Agent 用业务术语查数

    NVIDIA 开源 auto-ontology,从企业数据库元数据自动生成术语表和关系本体,让 AI Agent 用业务术语提问并返回可追溯的 SQL 答案。系统先用 pgvector 检索相关术语和列,再让 LLM 只在候选表内生成 SQL,并用 coverage 判断问题能否从现有数据回答,数据不足时拒绝作答。

    借鉴点

    能拿走的是语义本体加 LangGraph 多 Agent 的 Text-to-SQL 流程,含 coverage 可答性判断和七轮 SQL 重构上限,可换掉把整库 Schema 塞进 prompt 的做法;代价是需 NVIDIA API 密钥、Postgres+pgvector,首次编译可能数小时。

  2. 掘金72

    用 TypeScript、OpenAI 兼容接口和 Qdrant 从零搭建企业知识库 RAG

    作者用 TypeScript、OpenAI 兼容 Embeddings 接口和 Qdrant 搭出一条可验证的企业知识库 RAG 最小链路,覆盖清洗切片、向量写入、按租户角色版本过滤检索、带引用回答和效果评估。

    借鉴点

    能拿走 Chunk 元数据字段设计、按段贪心切片代码、检索阶段租户角色版本三重过滤和 RRF 融合公式,落到知识沉淀与软件工厂两条线;代价是示例只覆盖 Markdown,鉴权、索引版本切换和评估集要自己补。

  3. AWS Machine Learning Blog58

    用 EDB Postgres AI 与 Amazon Bedrock AgentCore 为智能体搭建语义层

    AWS 与 EDB 联合发布教程,演示如何在 EDB Postgres AI 内用 AIDB 扩展构建语义知识库,让运行在 Amazon Bedrock AgentCore 上的 Strands Agents 智能体回答客户 360 问题。

    借鉴点

    把业务语义写进 Postgres 的 COMMENT ON 和视图注释,再用 create_semantic_kb 建向量索引,可替换独立的语义层或指标目录;代价是前期要逐列补注释,且多 KB 并存时每次检索都得显式传 kb_name。

  1. 掘金75

    Agent 为什么总失忆:工作记忆、会话状态、长期记忆与 RAG 的生产实践

    作者以虚构运维助手 OpsPilot 为例,把 Agent 记忆拆成工作记忆、会话状态、长期记忆和 RAG 四个盒子,并给出 TypeScript 的上下文组装与读写代码。

    借鉴点

    能拿走四层记忆拆分、硬软区 Token 预算和 assemblePrompt 代码,落到知识沉淀与 Agent 产线,代价是要自己实现会话状态存储和记忆抽取接口。

  2. Hacker News · AI 讨论78

    作者用 3 万段柔术教学视频微调 Qwen2.5-7B 打造领域教练模型

    作者 maxdemarzi 公开了一套在单张 GPU 上构建巴西柔术领域 AI 教练的完整配方,基于 Qwen2.5-7B-Instruct 训练出 bjj-coach-7b-v3,在自建 BJJ-Bench-250 上运动学精度达 5.00/5.0、幻觉通过率 100%。

    借鉴点

    可复用的完整配方,含上下文头、知识图谱互斥惩罚、CLIP+VLM 视觉块、5 路 listwise 重排、2.5x 决策权重 QLoRA 与 disable_adapter 零额外显存 DPO,单卡约 30 分钟跑完,代价是要自建领域词典和标注基准。

  3. AWS Machine Learning Blog60

    AWS 用 Nova Multimodal Embeddings 与 Bedrock AgentCore 搭建零件替换多智能体助手

    AWS 发布教程,用 Amazon Nova Multimodal Embeddings、Amazon Bedrock AgentCore 和开源 Strands Agents SDK 搭建多智能体工程助手,把零件替换评估中的人工交叉比对改为自动汇集证据。

    借鉴点

    能拿走一套可复用做法:planner 用 Haiku 路由、Sonnet 跑工具、Opus 只在多专家时汇总,规格判定全用 Python 确定性代码;代价是要自建多模态知识库和 S3 Vectors 索引,图片查询路径权限缺失会静默回退。

  4. AWS Machine Learning Blog58

    AWS 用 Crawl4AI 为 Amazon Bedrock Knowledge Bases 准备网页内容

    AWS 发布教程,演示用开源 Python 爬虫 Crawl4AI 把网页抓取并整理成 Markdown 加 metadata sidecar 写入 S3,再由 Amazon Bedrock Knowledge Bases 的 S3 数据源完成解析、分块、嵌入和索引。

    借鉴点

    能拿走一套 Crawl4AI 抓取加 S3 metadata sidecar 再触发 ingestion 的流水线,换掉自己写爬虫清洗网页的活;代价是 sidecar 限 10 KB、分块策略建库后改不了,失败不报警。

  1. 掘金71

    200页PDF喂给AI的4个坑:PDF解析、父文档检索、Refine摘要与长上下文取舍

    作者复盘把200页产品手册PDF做成RAG问答助手时踩的4个坑,并给出对应做法。PDF提取改用unstructured(hi_res模式)或Marker保留表格与标题结构,跨章节问题用父文档检索以小chunk匹配、返回大chunk,全文摘要用Refine渐进式精炼或Map-Reduce加Refine两阶段,长上下文模型则与RAG互补而非替代。

    借鉴点

    能拿走 unstructured/Marker 解析 PDF、父文档检索、Refine 两阶段摘要和 RAG 加长上下文互补四套做法,落到知识沉淀和本地模型部署;代价是 hi_res 解析慢、Refine 串行耗时。

  2. 掘金78

    RAG 与智能体记忆的工程实践总结:从写入流水线到三层记忆

    一篇面向学习者的总结,把 RAG 拆成写入与读取两条线,并给出智能体三层记忆的工程实现。写入侧强调走消息队列异步向量化、每种索引绑定一个 embedding 模型且换模型要建新索引做 A/B 双写、embedding 输入拼接类目路径和标题做上下文增强,并提醒批量调用要用返回的 index 加批次起始下标还原全局位置。

    借鉴点

    能拿走一套 RAG 写入与检索的工程做法,包括批量 embedding 用返回 index 还原全局下标、RRF 融合稀疏稠密两路、分数门控宁缺毋滥,以及记忆的语义加时间加结构化三重过滤;可落到知识沉淀和本地模型部署两条线,代价是要自建向量库、消息队列和 50~100 条回归测试集。

  3. 掘金72

    Elasticsearch 与 Jina AI 全模态搜索项目 elastic_multimodal_search 技术解析

    开源项目 elastic_multimodal_search 用 Jina AI 多模态 embedding 把文本、图像、音频、视频帧映射到同一向量空间,再由 Elasticsearch 做 BM25 词法检索与 k-NN 向量检索的混合匹配,覆盖音乐、动物、图像、电影、图书、跨模态、套娃降维、词向量可视化 8 个 Streamlit 搜索模块。

    借鉴点

    能拿走一套可跑的多模态检索模板,含 Jina 多模态 embedding 加 ES 的 BM25 与 k-NN 混合检索、RRF 融合和 Matryoshka 截断到 128/256/512/1024 维;落到知识沉淀和本地模型部署,前提是自备 ES 8+ 集群和 OpenRouter、Gemini 密钥。

  1. 掘金72

    ETF Agent 作者拆解 Agent 上下文治理:从首轮输入到长期记忆的落地做法

    ETF Agent 作者以基金费用与持仓比较为教学任务,拆解 Agent 上下文治理的落地做法,主张每次调用前从有效任务、获准材料和真实执行记录重建工作视图,而不是维护一个不断增长的字符串。

    借鉴点

    能拿走的是按职责分区装配每轮请求的做法,系统提示词只放稳定指导,记忆先过准入再选,工具结果存成可回读引用;可落到知识沉淀和本地模型部署的上下文装配环节,代价是要自己维护版本、覆盖和回执,原文只给教学别名和示意字段,没有可直接调用的接口。

  2. 掘金71

    在 2核2G 云主机上跑 OpenViking:云主机、向量模型与意图分析模型的选型复盘

    作者把 AI Coding Agent 的记忆底座迁到自建 OpenViking,用 99 元/年的阿里云 2核2G 实例跑通,本地只做存储检索、计算全交给外部 API。

    借鉴点

    能拿走一套 OpenViking 记忆底座的组件选型与配置,含 query_planner 单独指定、VLM 设 reasoning_effort low、向量模型锁 128K 多模态;落到本地模型部署与知识沉淀线,代价是 2G 机器要配 Swap 并限制容器内存。

  1. 掘金78

    Python 智能体开发实战:用 RAG 让小E 从自有资料里检索答案并标出处

    威哥爱编程在系列第 5 篇里给小E 加上 RAG 检索,解决模型对课程级别和退费规则凭空编造的问题。工程按切片、向量化、召回、带片段回答四段实现,切片先按 markdown 标题粗分再按中文标点递归细切,chunk_size 取 160、overlap 取 40,三份资料切出 21 个片段。

    借鉴点

    能拿走一套零依赖 RAG 链路,含按标题粗分加标点细切、chunk_size 160 与 overlap 40、阈值 0.25 拒答、[编号] 溯源质检;落到知识沉淀线,代价是哈希向量只认字面,上线要换真语义向量。

  1. 掘金70

    Python 千万级向量检索内存优化手册:用 faiss 1.7.4 的 PQ 压缩把索引从 12GB 压到 2GB

    这篇教程给出 Python 生态下千万级向量检索的内存优化方案,选用 faiss 1.7.4 配合乘积量化(PQ)压缩,在 16GB 内存服务器上把索引总占用从 12GB 降到 2GB,召回率(@10)从 99.5% 降到 92.3%。

    借鉴点

    能拿走 faiss 1.7.4 的 IVFPQ 配置(m=12、nbits=8、nlist 取向量数平方根)和训练样本量要求,落到本地向量检索的内存裁剪上,代价是召回率从 99.5% 降到 92.3%。

  2. 掘金82

    如何给儿童故事 Agent 搭一套基于 PostgreSQL 和 pgvector 的长期记忆系统

    作者为儿童系列故事 Agent 设计了一套 Story Bible 长期记忆系统,用 PostgreSQL 存事实条目、pgvector 做语义召回,解决角色名、道具归属、伏笔状态在多集之间前后矛盾的问题。

    借鉴点

    能拿走一套 Story Bible 表结构加四层召回和混合打分权重,落到小说创作与知识沉淀线;代价是要自建 candidate 人工确认和 embedding 版本管理。