OracleProto:可复现LLM预测评测框架
热点事件持续更新
OracleProto:可复现LLM预测评测框架
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
Yiding Ma等作者提出OracleProto,一个可复现的LLM预测评测框架。它通过模型知识截止约束与时间掩码构建时间沙盒,对真实网络检索做信息边界审计,并把已解决事件重建为预测实例。 研究在300道FutureX-Past衍生问题上评测了27组模型配置,共24,300次预测试验。作者称,经时间掩码与泄漏过滤后,检索结果仅残留1.37%泄漏。该框架将已解决的预测任务保留为可复用评测资源,代码已开源。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
OracleProto:通过知识截止与时间掩码评测 LLM 预测能力的可复现框架报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- arXiv cs.AIOracleProto:通过知识截止与时间掩码评测 LLM 预测能力的可复现框架
OracleProto 是一个可复现的 LLM 预测评测框架,通过模型知识截止约束与时间掩码构建时间沙盒,对真实网络检索进行信息边界审计,并将已解决事件重建为预测实例。研究在 300 道 FutureX-Past 衍生问题上评测了 27 组模型配置,共 24,300 次预测试验,审计显示时间掩码与泄漏过滤后检索结果仅残留 1.37% 泄漏。该框架将已解决的预测任务保留为可复用评测资源,代码已开源。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。