跳到正文
arXiv cs.AI· Robert Graham, Yariv Barsheshat, Phil Blandfort, Sabri Alouache·· 3 小时前AI 评分30

研究发现:窄域微调模型在重采样下自相矛盾

An Investigation of Model Coherence: Narrow Finetunes Contradict Themselves Under Resampling

AI 导读

研究提出用175个问题在重采样时检测模型回答矛盾,以此衡量模型一致性,该指标特异性高,只标记问题明显的模型为不一致。结果显示窄域微调模型得分较差,文献中的模型有机体还出现身份混淆、内省失败和合理化等严重问题,表明窄域微调引发的缺陷可能限制其用于研究连贯的失准行为。

来源:arXiv cs.AI · arxiv.org