蚂蚁百灵开源 Ling-3.0 tiny / flash Base 模型，开放训练过程中的关键节点
IT之家 8 月 21 日消息，蚂蚁百灵在本月陆续开源了 Ling-3.0-tiny 和 Ling-3.0-flash 模型。官方昨日宣布，**将 Ling-3.0-tiny-base 与 Ling-3.0-flash-base 正式开源**，除最终 Base checkpoint 外，还将同步开放两个模型的预训练和中期训练的权重 checkpoint，共计 6 个 checkpoints。
- **预训练 checkpoint**：已完成大规模预训练，尚未进行中期训练、WSM 合并和后训练；
- **中期训练 checkpoint**：已完成中期训练，尚未进行 WSM 合并和后训练；
- **WSM 合并 checkpoint**：已基于中期训练 checkpoint 完成 WSM 合并，尚未进行后训练。
IT之家注：Base 模型通常是指未经特定任务微调的基础预训练模型，在训练过程中最初被开发和优化的，它旨在平衡性能和资源消耗。
官方表示，这些 checkpoints 适合用于持续预训练、领域监督微调、偏好优化、强化学习后训练、蒸馏，以及长上下文和 MoE 系统研究。
> 需要特别说明的是，**Base Model 并不是已经完成指令对齐的聊天模型**。我们不建议未经后训练便直接将其部署为面向终端用户的聊天服务，也不建议未经额外对齐和评估便用于安全关键型应用。任何生产使用都应完成面向具体任务的后训练、评估与验证。
在中期训练结束后，官方将传统学习率衰减改写为 checkpoints 加权合并，即 WSM（Warmup-Stable and Merge）。由于没有了学习率衰减，**该 Base Model 更适合持续预训练和动态扩展数据**，且支持训练后离线探索不同学习率“衰减曲线”。
其中，Ling-3.0-tiny-base（总参数 7.9B，激活参数 1.3B）以相比前代 50% 左右的总参数量，在大多数评测中取得更高结果；在与同等规模模型对比中，展现出更具竞争力的代码能力。
Ling-3.0-flash-base（总参数 124B，激活参数 5.1B）具备更充足的参数容量与稀疏激活设计，为研究者和开发团队提供了一个可继续训练、拓展并适配真实场景的开放底座。
在下表的评测中，模型在代码、复杂推理和长上下文方向表现突出。相比总参数量约为其 2–3 倍的 base model，模型的整体表现仍具优势。
IT之家附开源链接如下：
### Ling-3.0-tiny
**Hugging Face：**
- [Ling-3.0-tiny-base](https://huggingface.co/inclusionAI/Ling-3.0-tiny-base)
- [Ling-3.0-tiny-base-30T](https://huggingface.co/inclusionAI/Ling-3.0-tiny-base-30T)
- [Ling-3.0-tiny-base-midtrain](https://huggingface.co/inclusionAI/Ling-3.0-tiny-base-midtrain)
**ModelScope：**
- [Ling-3.0-tiny-base](https://www.modelscope.cn/models/inclusionAI/Ling-3.0-tiny-base)
- [Ling-3.0-tiny-base-30T](https://www.modelscope.cn/models/inclusionAI/Ling-3.0-tiny-base-30T)
- [Ling-3.0-tiny-base-midtrain](https://www.modelscope.cn/models/inclusionAI/Ling-3.0-tiny-base-midtrain)
### Ling-3.0-flash
**Hugging Face：**
- [Ling-3.0-flash-base](https://huggingface.co/inclusionAI/Ling-3.0-flash-base)
- [Ling-3.0-flash-base-30T](https://huggingface.co/inclusionAI/Ling-3.0-flash-base-30T)
- [Ling-3.0-flash-base-midtrain](https://huggingface.co/inclusionAI/Ling-3.0-flash-base-midtrain)
**ModelScope：**
- [Ling-3.0-flash-base](https://www.modelscope.cn/models/inclusionAI/Ling-3.0-flash-base)
- [Ling-3.0-flash-base-30T](https://www.modelscope.cn/models/inclusionAI/Ling-3.0-flash-base-30T)
- [Ling-3.0-flash-base-midtrain](https://www.modelscope.cn/models/inclusionAI/Ling-3.0-flash-base-midtrain)
**相关阅读：**
- [蚂蚁百灵开源 Ling-3.0-tiny 模型，支持英伟达 DGX Spark、苹果 Mac mini 部署](https://www.ithome.com/0/988/431.htm)
- [蚂蚁集团百灵开源 Ling-3.0-flash 模型：124B 总参数、5.1B 激活参数](https://www.ithome.com/0/987/231.htm)
---
原文链接：[点击查看](https://www.ithome.com/0/992/416.htm)
- **预训练 checkpoint**：已完成大规模预训练，尚未进行中期训练、WSM 合并和后训练；
- **中期训练 checkpoint**：已完成中期训练，尚未进行 WSM 合并和后训练；
- **WSM 合并 checkpoint**：已基于中期训练 checkpoint 完成 WSM 合并，尚未进行后训练。
IT之家注：Base 模型通常是指未经特定任务微调的基础预训练模型，在训练过程中最初被开发和优化的，它旨在平衡性能和资源消耗。
官方表示，这些 checkpoints 适合用于持续预训练、领域监督微调、偏好优化、强化学习后训练、蒸馏，以及长上下文和 MoE 系统研究。
> 需要特别说明的是，**Base Model 并不是已经完成指令对齐的聊天模型**。我们不建议未经后训练便直接将其部署为面向终端用户的聊天服务，也不建议未经额外对齐和评估便用于安全关键型应用。任何生产使用都应完成面向具体任务的后训练、评估与验证。
在中期训练结束后，官方将传统学习率衰减改写为 checkpoints 加权合并，即 WSM（Warmup-Stable and Merge）。由于没有了学习率衰减，**该 Base Model 更适合持续预训练和动态扩展数据**，且支持训练后离线探索不同学习率“衰减曲线”。
其中，Ling-3.0-tiny-base（总参数 7.9B，激活参数 1.3B）以相比前代 50% 左右的总参数量，在大多数评测中取得更高结果；在与同等规模模型对比中，展现出更具竞争力的代码能力。
Ling-3.0-flash-base（总参数 124B，激活参数 5.1B）具备更充足的参数容量与稀疏激活设计，为研究者和开发团队提供了一个可继续训练、拓展并适配真实场景的开放底座。
在下表的评测中，模型在代码、复杂推理和长上下文方向表现突出。相比总参数量约为其 2–3 倍的 base model，模型的整体表现仍具优势。
IT之家附开源链接如下：
### Ling-3.0-tiny
**Hugging Face：**
- [Ling-3.0-tiny-base](https://huggingface.co/inclusionAI/Ling-3.0-tiny-base)
- [Ling-3.0-tiny-base-30T](https://huggingface.co/inclusionAI/Ling-3.0-tiny-base-30T)
- [Ling-3.0-tiny-base-midtrain](https://huggingface.co/inclusionAI/Ling-3.0-tiny-base-midtrain)
**ModelScope：**
- [Ling-3.0-tiny-base](https://www.modelscope.cn/models/inclusionAI/Ling-3.0-tiny-base)
- [Ling-3.0-tiny-base-30T](https://www.modelscope.cn/models/inclusionAI/Ling-3.0-tiny-base-30T)
- [Ling-3.0-tiny-base-midtrain](https://www.modelscope.cn/models/inclusionAI/Ling-3.0-tiny-base-midtrain)
### Ling-3.0-flash
**Hugging Face：**
- [Ling-3.0-flash-base](https://huggingface.co/inclusionAI/Ling-3.0-flash-base)
- [Ling-3.0-flash-base-30T](https://huggingface.co/inclusionAI/Ling-3.0-flash-base-30T)
- [Ling-3.0-flash-base-midtrain](https://huggingface.co/inclusionAI/Ling-3.0-flash-base-midtrain)
**ModelScope：**
- [Ling-3.0-flash-base](https://www.modelscope.cn/models/inclusionAI/Ling-3.0-flash-base)
- [Ling-3.0-flash-base-30T](https://www.modelscope.cn/models/inclusionAI/Ling-3.0-flash-base-30T)
- [Ling-3.0-flash-base-midtrain](https://www.modelscope.cn/models/inclusionAI/Ling-3.0-flash-base-midtrain)
**相关阅读：**
- [蚂蚁百灵开源 Ling-3.0-tiny 模型，支持英伟达 DGX Spark、苹果 Mac mini 部署](https://www.ithome.com/0/988/431.htm)
- [蚂蚁集团百灵开源 Ling-3.0-flash 模型：124B 总参数、5.1B 激活参数](https://www.ithome.com/0/987/231.htm)
---
原文链接：[点击查看](https://www.ithome.com/0/992/416.htm)
评论
暂无评论。