arXiv cs.CL· Fabien Furfaro·· 2 小时前AI 评分22
Kairos：面向全模态的字节级基础模型
Kairos: Toward a Byte-Level Foundation Model for Every Modality
AI 导读
Kairos 提出一种字节级基础模型架构，结合双向门控 DeltaNet 线性注意力、滑动窗口注意力（LiZAttention2）、块级 Attention-Residual 聚合、稀疏 MoE 前馈层和多尺度字节级编解码器，在文本、图像、音频、视频、激光雷达和控制流共享的单一字节空间上以均匀噪声去噪目标训练。
来源：arXiv cs.CL · arxiv.org