PreSTO 加速 LLM Power 采样且不改变转移核
热点事件持续更新
PreSTO 加速 LLM Power 采样且不改变转移核
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Nan Jiang 等作者提出并发布 PreSTO(预测性子树预取),用于加速 LLM 的 PowerMH 采样器。该方法通过预取未来提案来提速,作者称可证明不改变 PowerMH 的 Metropolis-Hastings 转移核,即采样结果不受影响。 在七个数据集和五个基础 LLM 上,PreSTO 对 PowerMH 及后续方法 EntropyCut、MultiTryMH 分别实现 1.71×、1.91×、2.33× 的中位加速;其中对前两者的模型调用次数中位数减少 3.9×。
AI 根据报道生成 · 57 分钟前更新
最新进展10月12日 12:00
PreSTO:为快速 LLM Power Sampling 设计的预测性子树预取报道时间线
沿着报道,了解事件的不同侧面。
10月12日
- arXiv cs.CLPreSTO:为快速 LLM Power Sampling 设计的预测性子树预取
PreSTO 通过预取未来提案来加速 PowerMH 采样器,且可证明不改变其 MH 转移核。在七个数据集和五个基础 LLM 上,PreSTO 对 PowerMH 及后续方法 EntropyCut、MultiTryMH 分别实现 1.71×、1.91×、2.33× 的中位加速,前两者模型调用次数中位数减少 3.9×。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。