SQUELCH：无路由的秩一LoRA专家混合方法

Mei Okonkwo等作者发布预印本论文，提出SQUELCH——一种无需路由器的秩一LoRA专家混合方法。该方法对每个token的响应按其自身稳健噪声水平的倍数做软阈值，使激活秩随token变化，且不增加可训练参数。 据论文描述，该倍数由Stein无偏风险估计为每个模块选定，因此无需指定秩预算；随后用值Gram矩阵上的一步“解释掉”操作替代边际保留或丢弃决策，以抑制冗余的共激活成分并招募互补成分。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。