用潜在内在反馈训练用户模拟器

研究者提出"带内在反馈的用户模拟器"，即具备潜在评估状态的模型，能在每轮对话中以第一人称视角给出内部想法、反应和标量评分。基于真实用户与助手的交互日志训练后，其模拟真实性和批判行为优于提示词基线，且能提供现有微调模拟器缺失的轮级评估。该模拟器生成的评估与人类判断的相关性更高，用作多轮 RL 奖励信号时可匹配外部 judge LLM 方案，并将 RL 算力削减一半以上。