跳到正文
arXiv cs.CL· Abdu Sallouh, Nicholas Popovi\v{c}, Michael F\"{a}rber·· 3 小时前AI 评分22

研究:现代标准阿拉伯语(MSA)并未在 LLM 内部表征中主导阿拉伯方言

Does Modern Standard Arabic (MSA) Dominate Arabic Dialects in LLMs? A Representation-Level Analysis

AI 导读

一项针对 26 种阿拉伯语变体的表征层分析发现,没有证据表明现代标准阿拉伯语(MSA)在 LLM 内部表征中占据主导地位。方言表征形成高度重叠的密集空间,归一化互信息相比差异较大的语言明显下降,且最强可分性效应并不局限于中间层,会随架构向更靠后的层偏移。研究指出,MSA 偏置的生成输出并不必然反映内部表征主导,多语言与方言 LLM 分析应区分生成偏置与内部表征几何。

来源:arXiv cs.CL · arxiv.org