跳到正文
掘金· 我是Allen·· 24 天前AI 评分62

从零手搓 RAG 之分块策略:FastRAG 如何用 Markdown 标题加递归分隔符切块

从零手搓 RAG 之分块策略

AI 导读

作者以 FastRAG 为例讲 RAG 分块,最终采用混合分块,先按 Markdown 标题切小节,超长部分按段落、换行、句末标点、逗号、空格逐级降级,仍超长则按 rune 硬切,最后合并短于 MinChunk(默认 50)的碎片。

来源:掘金 · juejin.cn