arXiv cs.AI· Dushyant Rajput (AltSlate Labs LLP), Nirdesh Chauhan (AltSlate Labs LLP), Siddharth Kosaraju (AltSlate Labs LLP)·· 8 小时前AI 评分31
托管决策模型 jev-1.13.0 是否满足无关选项独立性？一项预注册测试
Does a Hosted Decision Model Respect Irrelevant Alternatives? A Pre-Registered Test of Option-Set Dependence in Jev
AI 导读
预注册研究用 299,463 次调用测试托管决策模型 jev-1.13.0，发现其不满足无关选项独立性（IIA）：每新增一个选项都会移动 gold label 与最强错误标签之间的对数几率，均方根系统性偏移达 0.20-0.52 nats，为运行间波动的 1.2 至 3 倍，即便新增选项仅占 0.1% 概率质量。
来源：arXiv cs.AI · arxiv.org