Google Research·· 19 天前精选AI 评分58
Google Research 提出 sleep 框架，让 LLM 在持续学习中保留知识
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出 sleep 框架，让 LLM 在活跃交互与离线睡眠两个阶段间交替，把短期上下文巩固进长期参数。
借鉴点
可借鉴的是把持续学习拆成唤醒与睡眠两段，睡眠期用 MoE 扩容加 GKD 与 RL 模仿把上下文蒸馏进参数，再随机激活专家生成合成数据做筛选微调；落到本地模型部署和知识沉淀，代价是要预留专家容量并维护重置与筛选流程。
来源：Google Research · research.google