arXiv cs.CL· Ghazal Kalhor, Behnam Bahrak·· 5 小时前AI 评分22
MasalBench：评估 LLM 对波斯谚语语境与跨文化理解能力的基准
MasalBench: A Benchmark for Contextual and Cross-Cultural Understanding of Persian Proverbs in LLMs
AI 导读
研究者推出 MasalBench，用于评估 LLM 对低资源语言波斯谚语的语境与跨文化理解。八个 SOTA 模型在语境中识别波斯谚语准确率超 0.90，但识别对应英文谚语时最佳模型仅 0.79。该基准揭示了当前 LLM 在文化知识与类比推理上的局限，已开源。
来源：arXiv cs.CL · arxiv.org