跳到正文
热点事件持续更新

OctoLong:跨仓库代码上下文增强长上下文建模

1 篇报道1 个报道来源8 小时前更新

先了解这件事

AI 综述

Indraneil Paul、Falko Helm、Goran Glavaš 与 Iryna Gurevych 提出并发布 OctoLong 上下文工程流水线及配套的 OctoLong-Instruct 长上下文开源模型套件。该流水线结合 AST 解析器、语言服务器后端和包管理器递归检索代码引用,构建出可达数百万 token 的依赖丰富代码上下文。 基于这些数据训练的 OctoLong-Instruct 覆盖 600M 至 14B 参数,中期训练混合约 50B token,其中约 6.2B 为 OctoLong 代码上下文,随后用约 10B token 做指令微调。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv cs.AI
    OctoLong:用跨仓库代码上下文做中期训练,提升长上下文建模能力

    OctoLong 是一套上下文工程流水线,通过 AST 解析器、语言服务器后端和包管理器递归检索代码引用,构建出可达数百万 token 的依赖丰富代码上下文。基于此训练的 OctoLong-Instruct 覆盖 600M 至 14B 参数,中期训练混合约 50B token(其中约 6.2B 为 OctoLong 代码上下文),再用约 10B token 做指令微调。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。