arXiv cs.CL· Hyojung Han, Jongmin Kim, Seung-Hun Jeon·· 4 小时前AI 评分21
Quantize by Drift：面向文本嵌入模型的无标签混合精度训练后量化
Quantize by Drift: Label-Free Mixed-Precision Post-Training Quantization for Text Embedders
AI 导读
针对文本嵌入模型混合精度量化缺乏相关性标签的问题，研究者提出以量化引发的表示漂移作为无标签敏感度信号，在五个开发用嵌入模型上，配置级漂移对留出检索质量的宏观 Spearman 相关系数达 0.911。该方法在硬性打包字节预算下做一次加性分配，无需标签与搜索。在三个封存嵌入模型上，预注册的方向性假设 3/3 成立，但主预算下漂移方案数值上低于同预算均匀精度（-0.99、-0.85、-1.01 分）。
来源：arXiv cs.CL · arxiv.org