arXiv cs.CL· Dongkyu Cho, Rumi Chunara, Ali Behrouz·· 2 小时前AI 评分27
语言模型的自保能力:Qwen 模型可通过生成回放数据选择保留目标
Self-Preservation in Language Models
AI 导读
研究将任务描述与示例组织为 Task Banks,用不同规模的 Qwen 模型做持续指令微调,发现生成回放能减少 Task Bank 之外任务的遗忘,组合部分 Task Bank 可进一步提升对先前正确答案的平均保留率。
来源:arXiv cs.CL · arxiv.org