3月24日晚,DeepSeek-V3发布小版本升级,实测表现远超预期。几乎与此同时,另一款国产大模型蚂蚁百灵凭借国产芯片训练,实现同等性能突破,还将训练成本再降20%,同样引发市场关注。
根据团队公布的论文显示,蚂蚁推出的百灵大模型分为两个版本——参数规模为168亿（激活参数27.5亿）的百灵Lite和参数规模为2900亿（激活参数288亿）的百灵Plus。通过实验表明,使用国产较低性能的GPU芯片,也能完成3000亿参数的MoE（混合专家）大语言模型的训练,而且性能与英伟达芯片训练的同等参数模型相当。
记者在论文中看到,MoE大模型的训练通常依赖于英伟达H100或H800等高性能GPU芯片,但过高的成本以及出口管制等问题,也限制了大模型的普及应用。因此,百灵团队通过低性能GPU来训练模型,通过模型训练环境、优化策略、基础设施、训练过程、评估结果和推理等层面进行优化,用低成本来复现高性能模型。
其中,跨异构计算与分布式集群是百灵大模型的训练创新之举。据蚂蚁相关人士介绍,跨异构计算与分布式集群主要解决基座芯片的混合性能问题,不同品牌和型号的芯片的结构和性能存在差异,协同处理数据需要通过分布式和跨异构计算来弥补芯片差异,这样能更好地降低芯片成本,以免被同一种芯片产能限制。
值得一提的是,百灵团队通过5种不同芯片配置的硬件来训练百灵Plus,其中高性能硬件配置训练1万亿token（词元）的预训练成本约为635万元,而百灵调优过的低规格硬件的训练成本将降至508万元左右,降低约近20%的成本,而性能保持与通义Qwen2.5-72B-Instruct和DeepSeek-V2.5-1210-Chat相当。不过相关人士也透露,这种测试结果是实验环境中取得的,真实使用感受的差距仍有待验证。
目前,百灵大模型已在生活服务、金融服务、医疗健康等场景落地应用。针对百灵大模型所取得的成绩,蚂蚁集团回应称,未来将针对不同芯片持续调优,以降低AI应用成本,百灵Plus和百灵Lite两款大模型将在日后开源。
【版权声明】秉承互联网开放、包容的精神，万通商务网欢迎各方(自)媒体、机构转载、引用我们原创内容，但要严格注明来源万通商务网；同时，我们倡导尊重与保护知识产权，如发现本站文章存在版权问题，烦请将版权疑问、授权证明、版权证明、联系方式等，发邮件至770276607@qq.com，我们将第一时间核实、处理。
部分资讯信息转载网络或会员自己投稿发布，如果有侵犯作者权力，请联系我们删除处理，联系QQ：770276607
部分资讯信息转载网络或会员自己投稿发布，如果有侵犯作者权力，请联系我们删除处理，联系QQ：770276607
