arXiv cs.CL· Christopher Kissling, Elena Merdjanovska, Alan Akbik·· 2 小时前AI 评分22
语言模型关系知识置信度校准评估：Self-Aware Knowledge Probing 框架分析 21 个因果模型与 8 个掩码模型
Self-Aware Knowledge Probing: Evaluating Language Models' Relational Knowledge through Confidence Calibration
AI 导读
研究提出 Self-Aware Knowledge Probing 框架，在封闭答案集下评估语言模型关系知识的置信度校准，涵盖内在置信度、复述一致性和语言置信度三种模态。对 21 个因果语言模型和 8 个掩码语言模型的广泛分析显示，多数模型过度自信，掩码目标预训练的模型尤为明显；考虑复述不一致性的置信度估计校准最佳，且增加答案选项数量可改善校准。
来源：arXiv cs.CL · arxiv.org