跳到正文
热点事件持续更新

OracleProto:可复现LLM预测评测框架

1 篇报道1 个报道来源8 小时前更新

先了解这件事

AI 综述

Yiding Ma等作者提出OracleProto,一个可复现的LLM预测评测框架。它通过模型知识截止约束与时间掩码构建时间沙盒,对真实网络检索做信息边界审计,并把已解决事件重建为预测实例。 研究在300道FutureX-Past衍生问题上评测了27组模型配置,共24,300次预测试验。作者称,经时间掩码与泄漏过滤后,检索结果仅残留1.37%泄漏。该框架将已解决的预测任务保留为可复用评测资源,代码已开源。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv cs.AI
    OracleProto:通过知识截止与时间掩码评测 LLM 预测能力的可复现框架

    OracleProto 是一个可复现的 LLM 预测评测框架,通过模型知识截止约束与时间掩码构建时间沙盒,对真实网络检索进行信息边界审计,并将已解决事件重建为预测实例。研究在 300 道 FutureX-Past 衍生问题上评测了 27 组模型配置,共 24,300 次预测试验,审计显示时间掩码与泄漏过滤后检索结果仅残留 1.37% 泄漏。该框架将已解决的预测任务保留为可复用评测资源,代码已开源。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。