arXiv cs.AI· Chun-Hao Yang, Bo-Han Feng, Tzu-Yuan Lai, Yan-Yu Chen, Yin-Kai Dean Huang, Shou-De Lin·· 9 小时前AI 评分26
超越下一 token 预测：Max(MI(S;t)) 填补 LLM 训练互信息缺口
Training LLMs Beyond Next Token Prediction - Filling the Mutual Information Gap
AI 导读
研究提出 Max(MI(S;t))，一种基于互信息的确定性启发式方法，通过优先预测信息量大的目标 token 来优化 LLM 训练时的目标 token 组织方式。在算术推理、多标签文本分类和文本生成任务上，该方法配合 GPT 风格模型及预训练 Llama/Qwen 变体，常优于标准 NTP 及 reverse order、TF-IDF、条件概率选择等基线，且无需改动模型架构或自回归解码。
来源：arXiv cs.AI · arxiv.org