arXiv cs.AI· Indraneil Paul, Falko Helm, Goran Glava\v{s}, Iryna Gurevych·· 9 小时前AI 评分31
OctoLong：用跨仓库代码上下文做中期训练，提升长上下文建模能力
OctoLong: Mid-Training On Cross-Repository Code Contexts Enhances Long-Context Modeling
AI 导读
OctoLong 是一套上下文工程流水线，通过 AST 解析器、语言服务器后端和包管理器递归检索代码引用，构建出可达数百万 token 的依赖丰富代码上下文。基于此训练的 OctoLong-Instruct 覆盖 600M 至 14B 参数，中期训练混合约 50B token（其中约 6.2B 为 OctoLong 代码上下文），再用约 10B token 做指令微调。
来源：arXiv cs.AI · arxiv.org