arXiv cs.AI· Dayan Pan, Jingyuan Wang, Xie Yu·2026-10-07 12:00· 5 小时前AI 评分22

DyPAM：面向大语言模型参数高效微调的动态位置注意力调制

Dynamic Positional Attention Modulation for Parameter-Efficient Fine-Tuning of Large Language Models

AI 导读

研究者提出 PEFT 方法 DyPAM（Dynamic Positional Attention Modulation），直接作用于 query 和 key 表示，通过输入条件化的维度级调制与 head 级、layer 级结构调制，在不改动预训练主干的前提下对齐 RoPE 引发的位置结构。

来源：arXiv cs.AI · arxiv.org