arXiv cs.CL· Meriem Terki, Nouhaila Innan, Minghao Shao, Muhammad Kashif, Alberto Marchisio, Muhammad Shafique·· 2 小时前AI 评分20
QTestBench：评估 LLM 生成量子代码测试的框架
QTestBench: A Test Framework for Evaluating LLM-Generated Quantum Code
AI 导读
QTestBench 是一个评估 LLM 生成量子测试套件的框架，它不把测试本身当作真值，而是将测试判定与独立基准检查器对比。在八个 PennyLane QHack 挑战和十个 Qiskit HumanEval 任务上测试五个 LLM，最佳生成器的测试质量仅为 QHack 0.71、Qiskit HumanEval 0.34，说明可执行性高估了测试质量。
来源：arXiv cs.CL · arxiv.org