arXiv cs.LG· Mei Okonkwo, Owen Castellanos, Ingrid Solberg, Yusuf Demirel·· 7 小时前AI 评分22
SQUELCH：无需路由器的 rank-one LoRA 专家混合方法，按 token 自适应激活秩
How Many Ranks Does a Token Need? A Noise-Floor Squelch for Rank-One LoRA Experts
AI 导读
SQUELCH 是一种无需路由器的 rank-one LoRA 专家混合方法，通过对每个 token 的响应按其自身稳健噪声水平做软阈值，使激活秩随 token 变化，且不增加可训练参数。
来源：arXiv cs.LG · arxiv.org