研究提出J-ICL框架与FakeContextBench基准

Pei-lin Li等作者提出后训练框架J-ICL，并发布基准FakeContextBench，用于评测大语言模型对上下文权威性的判别能力。 FakeContextBench覆盖七个领域的伪科学声明。据该研究，评测发现大规模预训练不足以让模型可靠判断上下文权威性，而主流上下文学习（ICL）微调方法反而使模型对误导性上下文更易感，现实准确率最多下降14.95个百分点。J-ICL将上下文验证纳入训练目标，以应对这一权衡。 该基准已公开，论文给出其获取链接。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。