研究者提出CIG-SFT信息论微调框架
热点事件持续更新
研究者提出CIG-SFT信息论微调框架
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Yuxuan Gu等作者提出CIG-SFT，一种信息论监督微调框架：通过对比冻结参考模型在有无任务输入时的token似然，估计每个示范token携带的任务条件信息增益，并据此推导出等价的标量加权SFT目标。 作者称，在数学推理和代码生成基准上，CIG-SFT持续优于标准SFT和近期自适应微调基线，在困难评测分布上的泛化提升尤为明显，且无需额外训练数据或在线rollout。
AI 根据报道生成 · 59 分钟前更新
最新进展10月12日 12:00
CIG-SFT：面向可泛化后训练的条件信息增益方法报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv cs.CLCIG-SFT：面向可泛化后训练的条件信息增益方法
研究者提出 CIG-SFT，一种信息论框架，通过对比冻结参考模型在有无任务输入时的 token 似然，估计每个示范 token 携带的任务条件信息增益，并据此推导出等价的标量加权 SFT 目标。在数学推理和代码生成基准上，CIG-SFT 持续优于标准 SFT 和近期自适应微调基线，在困难评测分布上的泛化提升尤为明显，且无需额外训练数据或在线 rollout。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。