跳到正文
热点事件持续更新

开放权重模型在CTI-REALM基准上的评测研究

1 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

一项研究在CTI-REALM威胁情报检测基准上,用统一的测试框架、评分器和LLM评审组评测了26个模型,其中19个为开放权重模型、7个为闭源模型。 研究称,在放开消息轮次限制后,开放权重模型能够以不到闭源最强模型十分之一的成本,追平其表现。该结论来自论文作者Sahil Garg等人的评测结果。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv cs.AI
    放开消息轮次限制后,开源权重模型在 CTI-REALM 上追平闭源前沿模型

    在 CTI-REALM 威胁情报检测基准上,一项研究用统一测试框架评测了 26 个模型(19 个开源权重、7 个闭源),发现开源权重模型在获得足够对话轮次时,能以不到闭源最强模型十分之一成本追平其表现。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。