arXiv cs.CL· Naomi Baes, Jemima Kang, Nick Haslam, Chris Groot, Alsa Wu, Luc Raszewski, Yulia Otmakhova·· 1 天前AI 评分22
心理健康污名自动评估基准:LLM 常过度预测污名,除非给出明确操作规则
Automatic Evaluation of Mental Health Stigma in Online Communication
AI 导读
研究者提出一个基于理论的心理健康污名自动评估基准,包含真实网络新闻与社交媒体文本,并按污名模式、领域及具体成分进行细粒度标注,覆盖六种心理健康状况。结果显示,检测情感、毒性和仇恨言论的模型无法很好捕捉心理健康污名,LLM 在缺乏明确操作规则时往往过度预测污名。基准的公开部分、标注、典型示例与代码已发布。
来源:arXiv cs.CL · arxiv.org