跳到正文
arXiv cs.CL· Noureddine Khaous (LLF - UMR7110, UPCit\'e), Guillaume Wisniewski (LLF - UMR7110, UPCit\'e)·· 2 小时前AI 评分22

更好的度量救不了你:比较什么比怎么比较更重要

A Better Metric Will Not Save You: What You Compare Beats How You Compare It

AI 导读

表征相似性度量(RSA、CKA、Procrustes)都默认条件集合是给定的,而这一集合由"纳入哪些输入"和"如何分组"两个先于矩阵存在的决定固定,任何不变性都无法触及。研究在十五种语言、二十七种表征的元音声学组织上测量发现:在类别数量固定时改变所比较的类别,会使两个表征间的差距变动超过所测效应的两倍,而改变类别数量则毫无影响。该设定下模型排名可被这些选择确定,跨语言排名则不能。

来源:arXiv cs.CL · arxiv.org