arXiv cs.LG· Maximilian Schambach, Clemens Biehl, Sam Thelin·· 7 小时前AI 评分22
表格基础模型的注意力机制基准测试：FlashAttention、CuDNN、SageAttention 在 A100/H100/B200 上的对比
Benchmarking Attention for Tabular Foundation Models
AI 导读
针对 TabPFN、Mitra、ConTextTab 等表格上下文学习模型的行列二维注意力，研究者构建了可复现基准，在 A100、H100、B200 三代 GPU 上测量 Torch SDPA（efficient 与 cuDNN）、FlashAttention-2/3/4、vLLM 和 SageAttention 的前向与反向吞吐。
来源：arXiv cs.LG · arxiv.org