arXiv cs.AI· Boyuan Yang, Wei Gao·· 8 小时前AI 评分29
SchemaWeaver：通过 Schema 引导的并行 LLM 解码加速端侧移动智能体 AI
SchemaWeaver: Accelerating On-Device Mobile Agentic AI via Schema-Guided Parallel LLM Decoding
AI 导读
SchemaWeaver 是一种端侧移动智能体 AI 技术，在 LLM 工具调用的解码阶段实施 schema 引导的并行解码，每次解码可生成多个 token，将工具调用延迟最多降低 3.9 倍。该方法无需训练或修改 LLM，可通用应用于移动设备上的 LLM 推理引擎，已在主流移动 SoC 和 LLM 系列上验证。
来源：arXiv cs.AI · arxiv.org