跳到正文
热点事件持续更新

研究:窄微调模型重采样下自相矛盾

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Robert Graham等作者发布论文,提出用重采样时对同一问题回答是否矛盾来衡量模型一致性,并在175个问题上测试。该指标特异性高,只把问题明显的模型标为不一致。 结果显示,窄域微调模型得分较差;文献中的模型有机体还出现身份混淆、内省失败和合理化等严重问题。作者据此认为,窄域微调引发的缺陷可能限制其用于研究连贯的失准行为。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月9日
  1. arXiv cs.AI
    研究发现:窄域微调模型在重采样下自相矛盾

    研究提出用175个问题在重采样时检测模型回答矛盾,以此衡量模型一致性,该指标特异性高,只标记问题明显的模型为不一致。结果显示窄域微调模型得分较差,文献中的模型有机体还出现身份混淆、内省失败和合理化等严重问题,表明窄域微调引发的缺陷可能限制其用于研究连贯的失准行为。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。