返回AI 模型
AI 模型

蚂蚁百灵Ling-3.0-flash:124B小参数如何对标旗舰大模型

蚂蚁百灵发布Ling-3.0-flash模型,总参数仅124B、激活5.1B,以极小参数对标旗舰模型性能,采用混合线性注意力与稀疏MoE架构。

10 阅读作者:新品星球编辑部

'大'不再是AI模型的唯一出路。蚂蚁百灵团队于7月29日正式发布Ling-3.0-flash模型,以总参数124B、激活仅5.1B的超轻量配置,在多项基准测试中逼近甚至持平部分旗舰级大模型,用实力证明了'少即是多'。

Ling-3.0-flash的核心技术路线是混合线性注意力(Hybrid Linear Attention)、KDA(Key-Dependent Attention)与稀疏MoE架构的组合。模型原生支持256K上下文窗口,并可扩展至1M token,在快速响应与稳定工具调用方面表现突出。团队承诺模型权重将在免费体验期后开源。

在参数竞赛趋于理性的当下,Ling-3.0-flash的发布具有风向标意义。它表明通过架构创新和训练策略优化,小参数模型完全可能在特定场景中达到大模型的实用水平。对于成本敏感的企业部署场景和端侧设备而言,这类'小而强'的模型可能比万亿参数巨兽更具落地价值。

蚂蚁百灵Ling-3.0小参数模型MoE线性注意力AI效率

相关推荐