arXiv cs.AI· Weimin Lyu, Jingfen Zhang, Lingdao Sha, Peng sun, Xiaowei Chen, Vincent Gao, Rui Song·· 8 小时前AI 评分22
MoMaTune:先建模、再匹配、后微调,提升语言模型数值记录处理能力
MoMaTune: Model, Match, Then Tune Language Models for Numerical Records
AI 导读
MoMaTune 是一种两阶段后训练策略,先用无标签序列化记录做下一 token 预测(Model),可选加入同记录一致性目标(Match),再做下游目标预测的监督微调(Tune)。
来源:arXiv cs.AI · arxiv.org