你的偏好模型可信吗？用 Stackelberg 博弈做对齐

研究将偏好模型集成中的分歧作为预测误差的代理，把寻找可被评估器反转偏好的比较样本建模为 Leader 与 Follower 之间的零和 Stackelberg 博弈，并提出两时间尺度的 Stackelberg Mirror Descent-Ascent（SMIDA）算法，在表格设定下具备线性 last-iterate 收敛，并给出神经策略梯度版本。