arXiv cs.LG· Thea Aviss·· 3 小时前AI 评分33
State Stream Transformer (SST) V2：用非线性循环并行训练实现潜空间推理
State Stream Transformer (SST) V2: Parallel Training of Nonlinear Recurrence for Latent Space Reasoning
AI 导读
State Stream Transformer (SST) V2 通过每层解码器中的 FFN 驱动非线性循环，将潜状态沿全序列水平流动，实现连续潜空间推理。它用两遍并行训练近似顺序循环，在 27B 基座模型上仅用少量 GSM8K 样本联合训练，于 GPQA-Diamond 上达到 61.11% 的架构容量上限，较微调匹配基线提升 15.15 分，并将该基线剩余的 GSM8K 错误减少 46%。
来源：arXiv cs.LG · arxiv.org