arXiv cs.CV· Bilal A. Sidiqi, Yipei Wang, Shaheer U. Saeed, Shiqi Huang, Daniel C. Alexander, Yipeng Hu·· 5 小时前AI 评分12
用 LoRA 持续预训练前列腺 MRI ViT 编码器以实现任务对齐
Continual pretraining Prostate MRI ViT Encoder for task alignment
AI 导读
研究团队用 LoRA 在前列腺分割任务上持续预训练已预训练的 ViT 编码器，以提升预训练与下游任务的对齐程度，6 项下游任务中 3 项性能提升、其余相当。基于 Centered Kernel Alignment（CKA）的逐层表征分析显示，分割任务上持续预训练编码器的特征比原始预训练编码器更接近微调编码器，且与性能提升相关。
来源：arXiv cs.CV · arxiv.org