跳到正文
arXiv cs.CL· Nan Jiang, Panagiotis Theodoropoulos, Wei Deng·· 2 小时前AI 评分22

PreSTO:为快速 LLM Power Sampling 设计的预测性子树预取

PreSTO: Predictive Subtree Prefetching for Fast LLM Power Sampling

AI 导读

PreSTO 通过预取未来提案来加速 PowerMH 采样器,且可证明不改变其 MH 转移核。在七个数据集和五个基础 LLM 上,PreSTO 对 PowerMH 及后续方法 EntropyCut、MultiTryMH 分别实现 1.71×、1.91×、2.33× 的中位加速,前两者模型调用次数中位数减少 3.9×。

来源:arXiv cs.CL · arxiv.org