Google Research·· 23 天前AI 评分42
Google Research 提出 sleep framework:以睡眠周期实现 LLM 持续学习与知识巩固
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出 sleep framework,让 LLM 在活跃交互与离线“睡眠”间交替,持续学习并将短期上下文巩固为长期参数。框架通过 MoE 参数扩展、GKD 知识播种与突触修剪减少灾难性遗忘,再以合成样本、筛选和 RL 微调提升复杂推理能力。实验显示,该方法可保留最长 10M tokens 的长上下文知识。
来源:Google Research · research.google