arXiv cs.AI· Yichi Zhang, Zhiqi Wang, Neil Gong, Yuchen Yang·· 5 小时前AI 评分30
面向大语言模型的安全投机解码 SecureSD 研究
Secure Speculative Decoding for Large Language Models
AI 导读
研究首次系统分析投机解码的安全影响,发现各类有损投机解码方法在提升推理效率时,越狱与提示注入攻击成功率上升速度远快于效用下降,存在明显的安全-效用不对称。为此提出 SecureSD,理论分析指出安全退化主要源于 draft model 生成的早期 token,故对早期解码位置的 draft token 采用更严格验证标准。
来源:arXiv cs.AI · arxiv.org