OctoLong:跨仓库代码上下文增强长上下文建模
热点事件持续更新
OctoLong:跨仓库代码上下文增强长上下文建模
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
Indraneil Paul、Falko Helm、Goran Glavaš 与 Iryna Gurevych 提出并发布 OctoLong 上下文工程流水线及配套的 OctoLong-Instruct 长上下文开源模型套件。该流水线结合 AST 解析器、语言服务器后端和包管理器递归检索代码引用,构建出可达数百万 token 的依赖丰富代码上下文。 基于这些数据训练的 OctoLong-Instruct 覆盖 600M 至 14B 参数,中期训练混合约 50B token,其中约 6.2B 为 OctoLong 代码上下文,随后用约 10B token 做指令微调。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
OctoLong:用跨仓库代码上下文做中期训练,提升长上下文建模能力报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- arXiv cs.AIOctoLong:用跨仓库代码上下文做中期训练,提升长上下文建模能力
OctoLong 是一套上下文工程流水线,通过 AST 解析器、语言服务器后端和包管理器递归检索代码引用,构建出可达数百万 token 的依赖丰富代码上下文。基于此训练的 OctoLong-Instruct 覆盖 600M 至 14B 参数,中期训练混合约 50B token(其中约 6.2B 为 OctoLong 代码上下文),再用约 10B token 做指令微调。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。