跳到正文
热点事件持续更新

研究实测边缘平台VLM推理能耗

1 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

一项研究在边缘设备上实测了视觉语言模型的推理能耗。作者 Junlin Liao 等人测量了 Qwen2-VL-2B-Instruct 及其纯文本版本在搭载 Hailo-10H NPU 的树莓派 5 和 Jetson Orin Nano Super 上的总系统能耗、延迟与热行为,覆盖 CPU 与加速器两种运行方式。 研究将每次请求的固定能耗与随输出长度增长的能耗分开统计,以便区分哪部分能耗不随生成内容变化。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv cs.LG
    边缘平台上的视觉语言模型推理能耗实测:Qwen2-VL-2B 在树莓派 5 与 Jetson Orin Nano 上的表现

    研究实测了 Qwen2-VL-2B-Instruct 及其纯文本版本在搭载 Hailo-10H NPU 的树莓派 5 和 Jetson Orin Nano Super 上的总系统能耗、延迟与热行为。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。