arXiv cs.AI· Robert Graham, Yariv Barsheshat, Phil Blandfort, Sabri Alouache·· 3 小时前AI 评分30
研究发现:窄域微调模型在重采样下自相矛盾
An Investigation of Model Coherence: Narrow Finetunes Contradict Themselves Under Resampling
AI 导读
研究提出用175个问题在重采样时检测模型回答矛盾,以此衡量模型一致性,该指标特异性高,只标记问题明显的模型为不一致。结果显示窄域微调模型得分较差,文献中的模型有机体还出现身份混淆、内省失败和合理化等严重问题,表明窄域微调引发的缺陷可能限制其用于研究连贯的失准行为。
来源:arXiv cs.AI · arxiv.org