arXiv cs.AI· Zhihao Liu, Yitian Cheng, Shuang Liu, Rui Wen, Yuke Hu, Zhan Qin·· 1 天前AI 评分27
DP-MIND:面向百万 token 上下文的差分隐私记忆引导推理框架
DP-MIND: Differentially private memory-guided Long context Inference
AI 导读
DP-MIND 是一个记忆引导框架,将差分隐私推理扩展到百万 token 级上下文。它通过本地扰动输入、分块处理并用紧凑记忆保留任务相关信息,同时用强化学习在扰动输入上优化记忆构建策略,并以本地去噪模块恢复被扰动破坏的答案片段。在多个长上下文基准上,DP-MIND 在可扩展性和效用上均优于现有 DP 与长上下文推理基线。
来源:arXiv cs.AI · arxiv.org