预注册研究:渐进式披露未省LLM问答成本
热点事件持续更新
预注册研究:渐进式披露未省LLM问答成本
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
一项预注册消融研究在 LLM 维护的 709 页 markdown 知识库上测试“渐进式披露”对知识库问答的影响,结论是预期中的成本节省并不存在:能力强的智能体不会先加载大索引,而是直接从问题推断页面位置并读取。 研究称,质量结果依赖模型评审,因为人工评分者与模型评审的一致度远低于计划要求,仅辅以敏感性检查;当智能体被强制先加载目录时,质量优势未获证实,在更严格测试下两项最可靠评分标准上同样未获证实。成本方面,研究称所有测试条件下成本均明显下降,改造版本每次回答引用的页面更少、工具调用轮次也更少。
AI 根据报道生成 · 2 小时前更新
最新进展10月8日 12:00
LLM 维护的 Wiki 知识库渐进式披露:一项预注册消融研究报道时间线
沿着报道,了解事件的不同侧面。
10月8日
- arXiv cs.CLLLM 维护的 Wiki 知识库渐进式披露:一项预注册消融研究
一项预注册消融研究在 LLM 维护的 709 页 markdown 知识库上测试渐进式披露,发现能力强的智能体根本不会加载大索引,而是直接从问题推断页面位置并读取,预期中的成本节省并不存在。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。