Kairos发布字节级多模态基础模型技术报告

Fabien Furfaro 发布 Kairos 技术报告，提出一种字节级基础模型架构：结合双向门控 DeltaNet 线性注意力、滑动窗口注意力（LiZAttention2）、块级 Attention-Residual 聚合、稀疏 MoE 前馈层和多尺度字节级编解码器，在文本、图像、音频、视频、激光雷达和控制流共享的单一字节空间上，以均匀噪声去噪目标训练。 报告称，现有检查表明该实现能够优化，但未涉及泛化能力、多模态训练或与现有模型的比较，这些将由计划中的预训练运行来验证。报告讨论部分按 200M 总参数/25M 激活参数的目标做了分析性估算，其中吞吐量数字均非实测。代码已公开。

AI 根据报道生成 · 55 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。