arXiv cs.CL· Zhengyang Su, Isay Katsman, Yueqi Wang, Ruining He, Lukasz Heldt, Raghunandan Keshavan, Shao-Chuan Wang, Xinyang Yi, Mingyan Gao, Onkar Dalal, Lichan Hong, Ed Chi, Ningren Han·· 4 小时前AI 评分26
STATIC：面向 TPU/GPU 上 LLM 生成式检索的高效约束解码
Vectorizing the Trie: Efficient Constrained Decoding for LLM-based Generative Retrieval on Accelerators
AI 导读
STATIC 是一种面向 TPU/GPU 高吞吐 LLM 生成式检索的约束解码技术，通过将前缀树扁平化为静态 CSR 矩阵，把不规则树遍历转为全向量化稀疏矩阵运算。
来源：arXiv cs.CL · arxiv.org