arXiv cs.AI· Shashie Dilhara Batan Arachchige, Robin Carpentier, Hassan Jameel Asghar, Dali Kaafar·· 9 小时前AI 评分27
SpliTEE：用 GPU 辅助 TEE 结合差分隐私实现快速私密 LLM 推理
SpliTEE: Fast and Private LLM Inference by Coupling GPU-Assisted Trusted Execution Environments with Differential Privacy
AI 导读
SpliTEE 将 LLM 推理拆分到 Intel TDX TEE 与不受信任的 GPU 之间，并用差分隐私保护中间表示，避免加密带来的量化问题。作者对 LLM 推理关键函数做了全局敏感度分析，并推导出掩码与噪声抵消的浮点误差上界。基于 Llama-3.2-3B 和 Qwen3-4B 的实现比全 TDX 推理快近 2 倍，比 Slalom 最多快 43% 且准确率更高。
来源：arXiv cs.AI · arxiv.org