研究者提出BiToK-SD双层Top-K自蒸馏方法
热点事件持续更新
研究者提出BiToK-SD双层Top-K自蒸馏方法
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Heng Liang等研究者提出 BiToK-SD，一种基于双层优化的 token 选择方法，用于 on-policy 自蒸馏中自适应学习哪些 token 位置最值得蒸馏。该方法把 Top-K token 选择建模为可微的阈值松弛作为下层问题，上层问题对选中位置执行知识蒸馏，使选择随学生策略演化而调整。 据该研究，BiToK-SD 在数学推理基准上取得全部对比方法中的最佳平均性能，且仅需轻量额外计算。
AI 根据报道生成 · 2 小时前更新
最新进展10月7日 12:00
BiToK-SD：面向大语言模型自蒸馏的双层 Top-K token 选择方法报道时间线
沿着报道，了解事件的不同侧面。
10月7日
- arXiv cs.LGBiToK-SD：面向大语言模型自蒸馏的双层 Top-K token 选择方法
研究者提出 BiToK-SD，一种基于双层优化的 token 选择方法，用于在 on-policy 自蒸馏中自适应学习哪些 token 位置最值得蒸馏。该方法将 Top-K token 选择建模为可微的阈值松弛作为下层问题，上层问题则对选中位置执行知识蒸馏，使选择随学生策略演化而调整。在数学推理基准上，BiToK-SD 在全部对比方法中取得最佳平均性能，且仅需轻量额外计算。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。