百度召开新闻发布会，发布大语言模型“文心一言”

3月16日下午,百度发布新一代大语言模型、生成式AI产品文心一言。百度创始人、董事长兼首席执行官李彦宏表示,文心一言的使用场景主要包含文学创作、商业文案创作、数理推算、中文理解和多模态生成。

同时百度还公布了文心一言的邀请测试方案。3月16日起,首批用户可通过邀请测试码,在文心一言官网体验产品,后续将陆续开放给更多用户。

此外,百度智能云即将面向企业客户开放文心一言API接口调用服务。3月16日起正式开放预约,搜索“百度智能云”进入官网,可申请加入文心一言云服务测试。

李彦宏在现场多次提及,这类大语言模型还远未到发展完善的阶段,有赖于通过真实的用户反馈而逐步迭代。

百度方面表示,文心一言大模型的训练数据包括万亿级网页数据、数十亿的搜索数据和图片数据、百亿级的语音日均调用数据,以及5500亿事实的知识图谱等。

据百度介绍,文心一言的视频生成能力则因成本较高,现阶段还未对所有用户开放,未来会逐步接入。

“多模态是生成式AI一个明确的发展趋势。”李彦宏表示,“未来,随着百度多模态统一大模型的能力增强,文心一言的多模态生成能力也会不断提升。”

百度公司首席技术官（CTO）王海峰表示,“文心一言”是新一代知识增强大语言模型,是在ERNIE及PLATO系列模型的基础上研发的；它的关键技术包括有监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强。

王海峰称,前三项是这类大语言模型都会采用的技术,ERNIE和PLATO中也已经有应用和积累,在文心一言中又有了进一步强化和打磨；后三项则是百度已有技术优势的再创新,也是文心一言未来越来越强大的基础。

李彦宏表示,目前百度是全球大厂中第一个做出对标ChatGPT产品的企业,“无论是哪家公司,都不可能靠突击几个月就能做出这样的大语言模型。深度学习、自然语言处理,需要多年的坚持和积累,没法速成。”

他认为,百度是全球为数不多在“芯片-框架-模型-应用”四层进行全栈布局的人工智能公司；而百度AI全栈布局的优势在于,可以在技术栈的四层架构中实现端到端优化,大幅提升效率。尤其是框架层和模型层之间,有很强的协同作用,可以帮助构建更高效的模型,并降低成本。

超大规模模型的训练和推理,给深度学习框架带来了很大考验。为了支持千亿参数模型的高效分布式训练,百度飞桨专门研发了4D混合并行技术。

百度官方信息显示,自2月份百度官宣“文心一言”以来,已有超过650家企业宣布接入文心一言生态。

李彦宏预测,大语言模型将带来三大产业机会。

第一类是新型云计算公司,其主流商业模式从IaaS变为MaaS。之前企业选择云厂商更多看算力、存储等基础云服务。未来,更多会看框架好不好、模型好不好,以及模型、框架、芯片、应用这四层之间的协同。

第二类是进行行业模型精调的公司。这是通用大模型和企业之间的中间层,他们可以基于对行业的洞察,调用通用大模型能力,为行业客户提供解决方案。目前百度文心大模型已经在电力、金融、媒体等领域,发布了10多个行业大模型。

第三类是基于大模型底座进行应用开发的公司,即应用服务提供商。李彦宏断言,对于大部分创业者和企业来说,真正的机会并不是从头开始做ChatGPT和文心一言这样的基础大模型,这很不现实,也不经济。

基于通用大语言模型抢先开发重要的应用服务,这可能才是真正的机会。基于文本生成、图像生成、音频生成、视频生成、数字人、3D等场景,可能会出现更多新机会。

“我们相信,人工智能会彻底改变我们今天的每一个行业。AI的长期价值,对各行各业的颠覆性改变,才刚刚开始。未来,将会有更多的杀手级应用、现象级产品出现,将会有更多的里程碑事件发生。”李彦宏表示。