GraphTok：GPU分词器加速Agentic LLM服务
热点事件持续更新
GraphTok：GPU分词器加速Agentic LLM服务
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Mohammad Siavashi 等作者发布论文提出 GraphTok，一个把整条分词编码流水线（预分词、BPE 合并到 token-ID 组装）作为单个可重放 CUDA graph 在 GPU 上运行的 tokenizer，目的是把 tokenization 从主机卸载到 GPU，用于智能体式 LLM 服务。 据论文，GraphTok 在 GPT-2、Llama 3、Qwen 2.5、DeepSeek-V3 和 Gemma 3 上逐位复现参考 token ID，并可接入未修改的 vLLM 和 NVIDIA Dynamo。这些结果来自作者自述，尚待独立验证。
AI 根据报道生成 · 55 分钟前更新
最新进展10月12日 12:00
GraphTok：将 tokenization 从主机卸载到 GPU 的智能体 LLM 服务方案报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv cs.CLGraphTok：将 tokenization 从主机卸载到 GPU 的智能体 LLM 服务方案
GraphTok 是一个 GPU tokenizer，将预分词、BPE 合并到 token-ID 组装整条编码流水线作为可重放的 CUDA graph 运行，在 GPT-2、Llama 3、Qwen 2.5、DeepSeek-V3 和 Gemma 3 上逐位复现参考 token ID，并可接入未修改的 vLLM 和 NVIDIA Dynamo。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。