研究语音语言模型的音义联觉与感知对齐

研究用真实人类语音录音测试语音语言模型（SLM）的声音象征能力，发现 SLM 的听觉判断与人类感知对齐较差，且未能捕捉驱动人类直觉的频谱倾斜等声学线索，开放权重模型也无法可靠地将听到的声音与对应形状关联。视觉-only 对照实验排除了形状感知因素，表明这一弱点源于语音表征方式，感知对齐取决于能否捕捉人类所听的线索，而非更强的视觉能力。

摘自 arXiv cs.CL

还没有足够的连续观测数据，暂不绘制趋势。