跳到正文
arXiv cs.AI· Yuhe Hu·· 5 小时前AI 评分22

量化对工具故障恢复的影响因提示词与评测设计而异

Quantization Effects on Tool-Failure Recovery Vary Across Prompts and Evaluation Designs

AI 导读

研究对比 Llama-3.1-8B-Instruct 与 Qwen2.5-7B-Instruct 的 8-bit 和 4-bit 量化版本在 20 个确定性工具任务、5 种提示词下的故障恢复表现,发现 8-bit 与 4-bit 的恢复差异会随提示词和评测目标改变方向。

来源:arXiv cs.AI · arxiv.org