arXiv cs.CL· Sungnyun Kim, Sungwoo Cho, Jihwan Oh, Se-Young Yun·· 9 小时前AI 评分24
DyaFDB:全双工对话模型的二元评估框架
Conversation Is a Two-Body Problem: Dyadic Evaluation of Full-Duplex Dialogue Models
AI 导读
研究者提出 DyaFDB,一个在二元设定下评估全双工语音对话模型的框架:两个模型按指定角色直接对话,目标可合作或冲突,双方均由外部裁判离线打分。该框架实例化 4 项任务、140 个场景,记录 7,560 段对话,覆盖 6 种自博弈与交叉配对。实验显示模型行为会持续重塑其对话伙伴,因此每个模型必须同时充当对方的考官与被试,固定 interlocutor 无法胜任。
来源:arXiv cs.CL · arxiv.org