跳到正文
arXiv cs.AI· Weimin Lyu, Jingfen Zhang, Lingdao Sha, Peng sun, Xiaowei Chen, Vincent Gao, Rui Song·· 8 小时前AI 评分22

MoMaTune:先建模、再匹配、后微调,提升语言模型数值记录处理能力

MoMaTune: Model, Match, Then Tune Language Models for Numerical Records

AI 导读

MoMaTune 是一种两阶段后训练策略,先用无标签序列化记录做下一 token 预测(Model),可选加入同记录一致性目标(Match),再做下游目标预测的监督微调(Tune)。

来源:arXiv cs.AI · arxiv.org