RAMP：面向循环深度语言模型高效 Prefill 的循环自适应混合精度方法

针对循环深度语言模型长上下文 prefill 反复计算开销大的问题，研究者提出 RAMP（Recurrent Adaptive Mixed Precision），在循环深度早期用低精度权重与激活计算、末端恢复高精度。在最长 4K 上下文下，RAMP 保持接近全精度的 prefill 质量，在 NVIDIA H100 上实现最高 1.16x 端到端首次 prefill 加速，延迟降低 13.9%。