跳到正文
掘金· 西安小哥·· 9 天前精选AI 评分72

百万 token 上下文实测:作者把系统提示词从千字删到不足四百字

百万上下文真的来了,我反而把提示词写短了

AI 导读

作者在百万 token 上下文可用后实测把中型前端仓库整包塞入让模型改代码,结果模型调用了不存在的 store 方法并改错方向,于是改为向量检索先压到十个片段、再让长窗口做跨文件交叉比对、最后要求三百字内给结论。作者还发现把工具 schema 从对话中段挪到系统段首位后,模型无视工具说明的问题消失,并把系统提示词从一千多字删到不足四百字,只保留任务边界、输出格式和硬性禁止三类内容。

借鉴点

可拿走三段链路(向量检索压到十个片段、长窗口交叉比对、三百字内出结论)和把工具 schema 挪到系统段首位、示例放用户消息末轮的做法,落到软件工厂的代码修改流程;前提是先有可观测性区分没检索到和看到了没采纳。

来源:掘金 · juejin.cn