arXiv cs.AI· Tomer Galanti, Josh Susskind, Eran Malach·· 8 小时前AI 评分41
少比特多尝试：内存受限下用验证重试恢复模型能力
Fewer Bits, More Tries: Recovering Capability Under Memory Constraints
AI 导读
一项 arXiv 研究提出"验证重试"：让更小或更压缩的模型并行生成多个候选答案，再用公开或模型自生成的测试筛选输出，从而在内存受限时恢复部分能力。在四个代码生成基准上，7B Qwen 模型并行尝试八次后，在 MBPP+ 上基本追平 32B 模型，并在其余三个基准上超过它，同时模型内存占用约少 4 倍、运行最高快 6 倍、能耗更低（基于 Nvidia GPU 测量）。
来源：arXiv cs.AI · arxiv.org