arXiv cs.LG· Rishabh Ranjan, Vignesh Kothapalli, Harshvardhan Agarwal, Charilaos Kanatsoulis, Roshan Upendra, Tom Palczewski, Carlos Guestrin, Jure Leskovec·· 7 小时前AI 评分27
RT-J：面向上下文高效预测的关系型 Transformer 大规模预训练
RT-J: Large-Scale Pretraining of Relational Transformers for Context-Efficient Predictions
AI 导读
85M 参数的 RT-J 关系型基础模型（RFM）发布，仅需数百个上下文示例即可完成准确预测。研究团队构建了包含 639 个网页抓取数据库、6,023 个 LLM 生成预测任务的 Join 数据集，以最长 8,192 个数据库单元格的长上下文预训练，并采用轻量随机游走检索器与上下文调优、集成扩展测试时计算。
来源：arXiv cs.LG · arxiv.org