跳到正文
热点事件历史事件

百万 token 上下文实测:作者删减系统提示词

1 篇报道1 个报道来源9 天前更新

先了解这件事

AI 综述

一名开发者实测在百万 token 上下文可用后,把中型前端仓库整包交给模型改代码,结果模型调用了不存在的 store 方法并改错方向。他随后改为先用向量检索压到十个片段,再让长窗口做跨文件交叉比对,最后要求模型在三百字内给出结论。 该开发者还称,把工具 schema 从对话中段挪到系统段首位后,模型无视工具说明的问题消失;系统提示词从一千多字删到不足四百字,只保留任务边界、输出格式和硬性禁止三类内容。

AI 根据报道生成 · 9 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月6日
  1. 掘金精选
    百万 token 上下文实测:作者把系统提示词从千字删到不足四百字

    作者在百万 token 上下文可用后实测把中型前端仓库整包塞入让模型改代码,结果模型调用了不存在的 store 方法并改错方向,于是改为向量检索先压到十个片段、再让长窗口做跨文件交叉比对、最后要求三百字内给结论。作者还发现把工具 schema 从对话中段挪到系统段首位后,模型无视工具说明的问题消失,并把系统提示词从一千多字删到不足四百字,只保留任务边界、输出格式和硬性禁止三类内容。