arXiv cs.CL· Gaurab Baral, Aaditya Khanal, Yangyang Tao, Junxiu Zhou·· 5 小时前AI 评分26
从 DeepSeek-R1 到 Qwen2.5-7B：John O'Bryan 数学竞赛上的推理模型知识蒸馏案例研究
Knowledge Distillation from Large Reasoning Models to Compact Student Models: A Case Study on the John O Bryan Mathematics Competition
AI 导读
研究用 DeepSeek-R1 通过双智能体框架构建 CoT 语料，在 Apple Silicon 上用 MLX 和 LoRA 微调 Qwen2.5-7B。微调后模型在竞赛题上平均准确率 69.43%（标准差 0.17%），较基座 64.67% 提升 4.76 个百分点，在 MATH-500 上达 73.1%。
来源：arXiv cs.CL · arxiv.org