arXiv cs.CL· Mohammad Siavashi, Pascal Schwinte, Ali Banaei, Gerald Q. Maguire Jr., Marco Chiesa, Dejan Kosti\'c·· 2 小时前AI 评分31
GraphTok：将 tokenization 从主机卸载到 GPU 的智能体 LLM 服务方案
Taking Tokenization off the Host for Agentic LLM Serving
AI 导读
GraphTok 是一个 GPU tokenizer，将预分词、BPE 合并到 token-ID 组装整条编码流水线作为可重放的 CUDA graph 运行，在 GPT-2、Llama 3、Qwen 2.5、DeepSeek-V3 和 Gemma 3 上逐位复现参考 token ID，并可接入未修改的 vLLM 和 NVIDIA Dynamo。
来源：arXiv cs.CL · arxiv.org