arXiv cs.CL· Marek \v{S}uppa, Ivan Vykopal, Andrej Ridzik, Kristi\'an Sopkovi\v{c}, Nat\'alia K\v{n}a\v{z}ekov\'a, Jaroslav Kop\v{c}an, Miroslav Bl\v{s}t\'ak, Vikt\'oria Ondrejov\'a, Daniel Hl\'adek, Michal Gregor, Martin Tamajka, Mari\'an \v{S}imko·· 4 小时前AI 评分22
sk-bench：面向斯洛伐克语大语言模型的原生优先基准
sk-bench: A Native-First Benchmark for Evaluating Large Language Models in Slovak
AI 导读
研究团队发布 sk-bench，一个原生优先的斯洛伐克语 LLM 基准，包含 30 个数据集（33 个评分任务变体）、覆盖十类技能，其中 11 项资源为首次引入或首次打包用于生成式 LLM 评测。在统一测试框架下评测 55 个开源与闭源模型，最佳开源模型落后专有 API 12.6 分；对 Qwen3-14B 继续斯洛伐克语预训练会使总分下降 13.9 分，少量指令数据可恢复其中四分之三。
来源：arXiv cs.CL · arxiv.org