arXiv cs.CL· Anubhav Jangra, Smaranda Muresan·· 5 小时前AI 评分36
DivAlgo:代码生成模型算法多样性系统评估基准
DivAlgo: A systematic evaluation of algorithmic diversity for code generation models
AI 导读
DivAlgo 基准对 24 个代码生成模型的算法多样性进行评估,发现模型生成的代码多样性仅为人类方案的约 31%,即便最佳多样化策略也只能达到人类多样性的约 70%。模型虽可被引导按人类策略生成解法,却无法复现人类方案的多样性,过度接触模型生成代码可能收窄程序员的算法视野。
来源:arXiv cs.CL · arxiv.org