掘金· 德尔塔A·· 17 天前精选AI 评分78
我用 SQLite 加 FTS5 和向量实现零依赖中文全文检索
中文全文检索加向量,我用 SQLite 做到零依赖
AI 导读
作者在 delta search 中用 SQLite FTS5 加向量表实现零依赖中文混合检索,解决 unicode61 把整句中文当成一个 token 导致搜不到的问题。
借鉴点
能拿走中文 bigram 分词加 FTS5 空格串索引、Float32 BLOB 存向量、RRF 融合三件套,落到本地知识沉淀和检索链路上;代价是单字查询失效、长查询 AND 过严、embedding 失败即永久降级。
来源:掘金 · juejin.cn