Qdrant· info@qdrant.tech (Andrey Vasnetsov)·· 28 天前精选AI 评分71
Qdrant 实测 UltraBERT-Embed-150M 的 32K token 整篇向量与分块检索
UltraBERT Fits 32K Tokens in One Vector. RIP Chunking?
AI 导读
Qdrant 用 LongEmbed 五项任务和 MLDR 的 20 万篇维基文章，对比 UltraBERT-Embed-150M 的整篇向量与 512 token 分块检索，结论是分块在细节检索上仍更强。
借鉴点
能拿走一套长文档检索的对照配置，整篇向量对 512 与 256 token 分块，再加 DBSF/RRF 混合与 1-bit TurboQuant 压缩；落到知识沉淀和本地检索，代价是整篇嵌入耗时约 3 倍、压缩后需重打分补 4 到 11 ms。
来源：Qdrant · qdrant.tech