百度吴甜分享大模型产业实践与文心一言进展

8月5日消息，“科创中国”青年百人会（下文简称青百会）联合百度在8月1日举办“青·创·汇”高端对话，围绕人工智能技术创新与产业发展交流研讨，同时正式成立“科创中国”青年百人会女性工作委员会。该委员会将鼓励更多女性投身科技创新事业，为女性科技工作者提供展示交流平台和职业发展支持，为推动科技经济融合工作贡献女性力量。

图注：“科创中国”青年百人会女性工作委员会成立仪式

（图源飞浆PaddlePaddle公众号，下同）

“科创中国”青百会轮值主席、百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜在现场分享了大模型产业实践与文心一言的进展。她表示，文心一言是百度在产业实践中发展而来的。2019年，百度推出了文心大模型1.0，然后持续演进到2.0、3.0版本，今年5月份升级到3.5版本。

“文心大模型3.5相比3月份的版本，效果提升50%，训练速度提升2倍，推理速度提升30倍，这得益于飞桨与文心的协同优化。”吴甜分享到，在基础模型训练方面，文心大模型3.5采用了飞桨最先进的自适应混合并行训练技术及混合精度计算策略，并采用多种策略优化数据源及数据分布，加快了模型迭代速度，提升了模型效果和安全性。同时，创新了多类型多阶段有监督精调、多层次多粒度奖励模型、多损失函数混合优化策略、双飞轮结合的模型优化等技术，进一步提升模型效果及场景适配能力。此外，文心大模型3.5新增插件机制，扩增了大模型的能力边界。

大语言模型在产业中的应用非常广泛，吴甜表示百度各产品基于文心一言重构应用。例如，百度智能办公系统“如流”基于文心一言上线了智能总结、会议智能洞察、超级助手等多个新功能，实现工作模式的范式变革。再如，百度智能编码助手Comate可根据自然语言的描述，生成对应的代码片段，支持在代码编辑区内根据注释自动生成代码，已帮助80%百度工程师提升编程效率。

图注：“科创中国”青百会轮值主席、百度集团副总裁深度学习技术及应用国家工程研究中心副主任吴甜

值得一提的是，吴甜此前接受网易科技等媒体采访时，就曾表示：“新版本文心一言的能力已经超出ChatGPT 3.5，这也是在我们国内开展相关技术工作重要的里程碑。”她介绍，IDC最新发布的《AI大模型技术能力评估报告，2023》显示，百度文心大模型3.5拿下12项指标的7个满分，综合评分第一，算法模型第一，行业覆盖第一。

关于“百模大战”的终局，吴甜曾表示，“过去短短几个月时间，大量新的大模型出现，但这是个阶段现象，未来各个企业和机构会逐渐找到自己的定位，下一步会走向自己细分的方向，终局只会集中在少量的几个大模型，但依托几个少量大模型，会有非常广泛的应用生态出现。”

（图源百度公众号）