arXiv cs.AI· Ning Liu, Chuanneng Sun, Kristina Klinkner, Shervin Malmasi·· 1 天前AI 评分27
GraphDPO：让语言模型在偏好图上做对齐，而非成对比较
Beyond Pairs: Your Language Model is Secretly Optimizing a Preference Graph
AI 导读
研究者提出 GraphDPO，将 DPO 从成对偏好推广到由 rollout 排序诱导的有向无环偏好图，用图结构的 Plackett-Luce 目标聚合支配邻域监督，并把标准 DPO 作为特例保留。
来源：arXiv cs.AI · arxiv.org