跳到正文
热点事件持续更新

AsyncFC:不改模型实现异步函数调用

1 篇报道1 个报道来源8 小时前更新

先了解这件事

AI 综述

Guangyu Feng 等作者提出 AsyncFC,一个纯执行层的异步函数调用框架,将 LLM 解码与函数执行解耦,使模型解码与函数执行可以并行,依赖允许时函数之间也能并行,且无需微调或改动标准同步函数调用协议。 作者称,在编码任务上 AsyncFC 取得 1.4 倍端到端加速并保持任务准确率;结果还显示 LLM 具备对表示未完成执行结果的符号 Future 进行推理的原生能力。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv cs.AI
    AsyncFC:无需改动模型,为 LLM 带来基于 Future 的异步函数调用

    AsyncFC 是一个纯执行层框架,将 LLM 解码与函数执行解耦,实现模型解码与函数执行的并行,以及依赖允许时的函数间并行,无需微调或改动标准同步函数调用协议。在编码任务上,AsyncFC 取得 1.4 倍端到端加速且保持任务准确率。结果还显示 LLM 具备对表示未完成执行结果的符号 Future 进行推理的原生能力。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。