arXiv cs.AI· Phillip Howard, Xin Su, Allen Roush, Manikandan Ravikiran, Runyan Tan, Amir Abdullah·· 10 小时前AI 评分24
拒绝门控解码（RGD）：高温采样下保持 LLM 拒绝行为
Refusal-Gated Decoding: Preserving Refusal Behavior Under High-Temperature Sampling
AI 导读
研究者提出拒绝门控解码（RGD），一种顺序解码方法，可在高温采样下保留模型的贪心解码拒绝响应，同时让其他提示词按原始高温分布采样。在 7 个模型和 3 个基准数据集上、T=2.0 时，RGD 将贪心拒绝保留率从直接采样的 91.9% 提升至平均 98.3%，非拒绝请求的中位延迟仅增加 2.2-4.3%。其残差流变体将延迟开销降至最多 0.5%，路由准确率相当。
来源：arXiv cs.AI · arxiv.org