研究者提出SoFT软目标微调方法
热点事件持续更新
研究者提出SoFT软目标微调方法
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
研究者提出一种名为SoFT（软目标微调）的方法，用于在微调大语言模型时平衡“从教师示范中学习”与“保留Base模型原有能力”。其做法是为每个示范token设定最低目标概率，并对Base分布做最小KL改动，同时用领域特定梯度预算控制这一平衡，并为每条轨迹确定概率阈值。 据该研究称，在混合域推理与智能体任务上，SoFT在分布内能力获取和分布外泛化两方面均取得所比较方法中的最佳整体表现。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
SoFT：面向可泛化 LLM 微调的软目标方法报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv cs.AISoFT：面向可泛化 LLM 微调的软目标方法
研究者提出软目标微调方法 SoFT，通过为每个示范 token 设定最低目标概率、并对 Base 分布做最小 KL 改动，来平衡从教师示范中学习与保留 Base 模型原有能力。该方法还用领域特定梯度预算控制这一平衡，并为每条轨迹确定概率阈值。在混合域推理与智能体任务上，SoFT 在分布内能力获取和分布外泛化两方面均取得所比较方法中的最佳整体表现。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。