研究者发布时点语言模型训练与评估流程

研究者 Bryan Kelly 等人发布了时点语言模型的完整流程，包括数据集构建、训练基础设施与评估代码，用于可复现的时点语言建模和需要严格时间有效性的研究。 该流程基于 FineWeb 中 1 万亿按时间过滤的 token，训练了参数量最高 4B 的 decoder-only Transformer，并构建覆盖 2013 至 2024 年的逐月模型检查点，以消除训练数据中的未来信息泄漏。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。