arXiv cs.AI· Guangyu Feng, Huanzhi Mao, Prabal Dutta, Joseph E. Gonzalez·· 9 小时前AI 评分32
AsyncFC：无需改动模型，为 LLM 带来基于 Future 的异步函数调用
Concurrency without Model Changes: Future-based Asynchronous Function Calling for LLMs
AI 导读
AsyncFC 是一个纯执行层框架，将 LLM 解码与函数执行解耦，实现模型解码与函数执行的并行，以及依赖允许时的函数间并行，无需微调或改动标准同步函数调用协议。在编码任务上，AsyncFC 取得 1.4 倍端到端加速且保持任务准确率。结果还显示 LLM 具备对表示未完成执行结果的符号 Future 进行推理的原生能力。
来源：arXiv cs.AI · arxiv.org