研究团队发布SpecGen整体评估数据集与框架
热点事件持续更新
研究团队发布SpecGen整体评估数据集与框架
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
研究团队发布了一套统一数据集与评估框架,用于整体评估大语言模型的形式化规范生成(SpecGen)。数据集整合了350个Lean任务,其中189个来自VERINA、161个来自CLEVER。 该框架的评估维度覆盖形式有效性、参考相似性与等价性、行为充分性。相关成果由Srijith Nair等作者发布。
AI 根据报道生成 · 1 小时前更新
最新进展10月9日 12:00
超越类型检查:面向形式化规范生成的整体评估报道时间线
沿着报道,了解事件的不同侧面。
10月9日
- arXiv cs.AI超越类型检查:面向形式化规范生成的整体评估
研究团队构建了统一数据集与评估框架,用于整体评估 LLM 形式化规范生成(SpecGen)。数据集整合了 350 个 Lean 任务,其中 189 个来自 VERINA、161 个来自 CLEVER,评估维度覆盖形式有效性、参考相似性与等价性、行为充分性。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。