小米发布Xiaomi MiMo开源大模型 7B参数超越o1-mini
类别：电脑数码
发布时间：2025-04-30 15:44
【太平洋科技快讯】4 月30 日，小米大模型团队通过“Xiaomi MiMo”公众号宣布，正式开源其首个专为推理任务设计的大模型 - Xiaomi MiMo。这款模型在数学推理和代码竞赛等公开测评集上表现出色，仅用 7B 参数便超越了 OpenAI 的闭源推理模型 o1-mini 以及阿里 Qwen 的更大规模开源推理模型 QwQ-32B-Preview。
MiMo 的卓越推理能力得益于预训练和后训练阶段的数据和算法创新。在预训练阶段，MiMo 团队着重挖掘富含推理信息的语料，并合成了约 200B tokens 的推理数据。通过三阶段逐步提升难度的训练，MiMo 总共接受了 25T tokens 的训练，从而“见识”了更多推理模式，为后续的推理能力打下了坚实基础。
在后训练阶段，MiMo 团队引入了高效稳定的强化学习算法和框架，进一步提升了模型的推理能力。他们提出了 Test Difficulty Driven Reward(测试难度驱动奖励)机制，以缓解困难算法问题中的奖励稀疏问题，并引入了 Easy Data Re-Sampling(简单数据重采样)策略，以稳定强化学习(RL)训练过程。
此外，MiMo 团队还设计了 Seamless Rollout(无缝展开)系统，该系统使得 RL 训练加速 2.29 倍，验证加速 1.96 倍，大大提高了训练效率。
本文转载于：https://www.sohu.com/a/890864717_223764 如有侵犯，请联系dddazheyh@163.com删除
热门优惠券
更多-
- ROTHSCROOSTER旗舰店满49减16
- 有效期至: 2025-01-25
- 立即领取
-
- 萨布森旗舰店满1299减800
- 有效期至: 2025-01-17
- 立即领取
-
- 哲高玩具旗舰店满69减33
- 有效期至: 2025-01-05
- 立即领取
-
- 戴·可·思官方旗舰店满196减27
- 有效期至: 2025-04-01
- 立即领取
-
- 佳婴旗舰店满30减3
- 有效期至: 2025-01-10
- 立即领取
-
- ROTHSCROOSTER旗舰店满19减8
- 有效期至: 2025-01-25
- 立即领取
-
- 荣业官方旗舰店满20减10
- 有效期至: 2025-01-04
- 立即领取
-
- 戴·可·思（Dexter）母婴京东自营旗舰店满48减10
- 有效期至: 2025-01-12
- 立即领取
-
- KOKOROCARE旗舰店满158减100
- 有效期至: 2025-03-28
- 立即领取
-
- RODEL官方旗舰店满59减30
- 有效期至: 2025-01-02
- 立即领取