跳到正文
热点事件持续更新

PreSTO 加速 LLM Power 采样且不改变转移核

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Nan Jiang 等作者提出并发布 PreSTO(预测性子树预取),用于加速 LLM 的 PowerMH 采样器。该方法通过预取未来提案来提速,作者称可证明不改变 PowerMH 的 Metropolis-Hastings 转移核,即采样结果不受影响。 在七个数据集和五个基础 LLM 上,PreSTO 对 PowerMH 及后续方法 EntropyCut、MultiTryMH 分别实现 1.71×、1.91×、2.33× 的中位加速;其中对前两者的模型调用次数中位数减少 3.9×。

AI 根据报道生成 · 57 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. arXiv cs.CL
    PreSTO:为快速 LLM Power Sampling 设计的预测性子树预取

    PreSTO 通过预取未来提案来加速 PowerMH 采样器,且可证明不改变其 MH 转移核。在七个数据集和五个基础 LLM 上,PreSTO 对 PowerMH 及后续方法 EntropyCut、MultiTryMH 分别实现 1.71×、1.91×、2.33× 的中位加速,前两者模型调用次数中位数减少 3.9×。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。