研究者发布CodeInsight编程数据集与基准

研究者发布 CodeInsight 数据集，收录 2 门 C++ 入门课程、3286 名本科生在 2 个学年内的超 300 万次代码提交，并附测试用例级结果、时间戳和源码。基于该数据集，他们建立了面向迭代解题预测的基准，评测参数化、序列化与生成式模型。 结果显示，适配的 RSSM 在 4 门课程中的 3 门取得最高预测准确率；LLM 预测器准确率较低，但能生成完整提交。研究还发现，模型的编码能力与该场景下的预测表现呈负相关。 作者称，代码和数据集将在申请后公开，以支持后续研究。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。