预注册测试发现托管决策模型jev-1.13.0违背IIA

一项预注册研究用 299,463 次调用测试托管决策模型 jev-1.13.0，发现其不满足无关选项独立性（IIA）：在意图分类（BANKING77、CLINC150）和主题分类（AG News）任务上，每新增一个选项都会移动 gold label 与最强错误标签之间的对数几率，均方根系统性偏移达 0.20–0.52 nats，为运行间波动的 1.2 至 3 倍。 研究称，即便新增选项仅占 0.1% 概率质量，这种偏移仍然出现。该结果由 Dushyant Rajput 等作者发布，针对的是 jev-1.13.0 的选项集依赖性。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。