arXiv cs.LG· Marco Deano, Filippo Ziche, Nicola Bombieri·· 3 小时前AI 评分22
S4oP：面向资源受限设备的结构化状态空间模型算子级剪枝
S4oP: Operator-level Pruning of Structured State Space Models for Resource-Constrained Devices
AI 导读
研究者提出 S4oP，一种针对 S4 和 S4D 等结构化状态空间模型（SSM）的增量式算子级剪枝方法，通过结构化掩码与微调交替进行，并同步监控精度与推理延迟。实验显示，在多个基准数据集上剪除多达 70% 的模型算子，多数情况下仍能保持原模型性能，同时大幅降低推理延迟。作者称这是首个系统研究 SSM 结构化算子剪枝的工作。
来源：arXiv cs.LG · arxiv.org