arXiv cs.LG· Hai Duong, Thanh Le, ThanhVu Nguyen·· 9 小时前AI 评分24
ZonoGPT:面向大型 GPT 模型验证的抽象域
ZonoGPT: Towards An Abstract Domain for Verifying Large GPT Models
AI 导读
ZonoGPT 是一种用于验证大型 Transformer 的抽象域,其空间复杂度与网络深度无关。它采用结构化 zonotope 与生成元约简机制,并为 Attention、LayerNorm 引入分块融合变换、为 GELU 引入仿射变换以保持精度。
来源:arXiv cs.LG · arxiv.org