跳到正文
热点事件持续更新

MAPLE框架用于评估知识提取增强技术

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

研究者提出 MAPLE 框架,用于刻画激活引导、解码调整、提示词等知识提取增强(KEE)技术对 LLM 参数化知识提取的影响。其诊断指标在表层、概率和超越采样三个层面衡量答案恢复与破坏、未恢复失败样本的 gold-token 排名变化,以及固定预算采样遗漏答案的恢复情况。 团队在 OLMo2、Qwen2.5 和 Llama3 三个模型家族上评测了六种 KEE 技术,揭示出各技术不同的效果与权衡。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv cs.CL
    MAPLE:面向 LLM 评测的多轴参数化知识提取透镜

    研究者提出 MAPLE 框架,用于刻画激活引导、解码调整、提示词等知识提取增强(KEE)技术对 LLM 参数化知识提取的影响。其诊断指标在表层、概率和超越采样三个层面衡量答案恢复与破坏、未恢复失败样本的 gold-token 排名变化,以及固定预算采样遗漏答案的恢复情况。团队在 OLMo2、Qwen2.5 和 Llama3 三个模型家族上评测了六种 KEE 技术,揭示出各技术不同的效果与权衡。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。