通过模型切片实现协作学习与推理

研究提出"协作学习"方法，用模型切片将大模型替换为参数量相当的异构小模型，让先前的推理能在不同参数化下被重新评估，并通过金字塔监督结合协议蒸馏与步骤级监督优化协作决策。在多跳问答、数学推理、代码生成和开放式约束生成四类任务上，训练后的异构模型表现与原始大模型及多智能体基线相当或更优，推理效率更高。