百度王海峰:文心一言将逐步开放插件生态给第三方开发者

周兴
2023-06-27 14:03

6月27日消息,在《中国科学报》媒体独家采访中,百度首席技术官王海峰详细解读了文心3.5在技术和工程上的升级。据了解,与文心大模型3.0相比,3.5版本不仅在创作、问答、推理和代码能力上全面升级,安全性显著提升,训练和推理速度也大幅提升。对比数据显示,文心大模型3.5的训练速度提升2倍,推理速度提升17倍。

功能方面,文心大模型最大的一个变化是新增了插件机制。“文心大模型3.5通过插件方式扩增了大模型的能力边界。”王海峰举例说,默认的内置插件“百度搜索”使文心一言具备生成实时准确信息的能力、长文本摘要和问答插件“ChatFile”支持超长文本输入,等等。

王海峰表示,下一阶段,文心一言将发布更多优质的百度官方和第三方插件,让用户能够更好地应用文心大模型。同时,文心一言也将逐步开放插件生态给第三方开发者,帮助开发者基于文心大模型打造自己的应用。

format-jpg

(图源中国科学报公众号截图)

王海峰透露,文心大模型3.5在基础模型训练中采用了飞桨最先进的自适应混合并行训练技术及混合精度计算策略,采用多种策略优化数据源及数据分布,大大加快了模型的迭代速度,显著提升了模型效果和安全性。同时,百度文心大模型研发团队创新了多类型多阶段有监督精调、多层次多粒度奖励模型、多损失函数混合优化策略、双飞轮结合的模型优化等技术,使模型效果及场景适配能力进一步提升。

王海峰说,在此前的知识增强和检索增强的基础上,文心大模型3.5版本进一步提出了“知识点增强技术”。具体而言,知识点增强技术首先是对用户输入的查询、问题等进行分析理解,并解析生成答案所需要的相关知识点,之后运用知识图谱和搜索引擎为这些知识点找到相应答案,最后用这些知识点构造输入给大模型的提示。

知识点增强技术能为大模型注入更具体、更详细、更专业的知识点,显著提升大模型对世界知识的掌握和运用,使其完成各项任务的效果显著提升。

format-jpg

图注:飞桨20+个产业级精选模型

此外,在推理方面,研发团队通过大规模逻辑数据构建、逻辑知识建模、粗粒度与细粒度语义知识组合以及符号神经网络技术,显著提升文心大模型3.5在逻辑推理、数学计算及代码生成等任务上的表现。 

王海峰在采访中透露,已获得邀测资格的用户可以随时访问服务,体验文心大模型3.5的实际效果。

“凡是跟语言文字或程序代码打交道的应用场景,文心一言都可能有用武之地。”他表示,文心一言有很多应用场景,例如智能办公、智能编程、智能营销、智能媒体、智能教育、智能金融等。比如,当前百度“如流”已经基于文心一言的能力上线了“智能总结”“智能洞察”“超级助理”等多个新功能,倾力打造企业办公的统一入口、重塑业务流程、打破系统边界,实现工作模式的范式变革。再如,在智能编程方面,百度智能编码助手Comate已可根据自然语言的描述,生成对应的代码片段,支持在代码编辑区内根据注释自动生成代码,提升开发效率。

format-jpg

图注:百度首席技术官王海峰

(图源百度AI公众号)

1、该内容为作者独立观点,不代表电商报观点或立场,文章为作者本人上传,版权归原作者所有,未经允许不得转载。
2、电商号平台仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。
3、如对本稿件有异议或投诉,请联系:info@dsb.cn
相关阅读
百度文心新闻发布会上,海峰解读文心的技术特性及其背后的技术积累。
百度首席技术官海峰在2023世界人工智能大会上解读文心大模型3.5版核心技术,发布飞桨生态最新进展。
11月10日消息,2023年世界互联网大会乌镇峰会上,百度首席技术官、深度学习技术及应用国家工程研究中心主任海峰出席前沿数字技术创新与安全论坛和人工智能赋能产业发展论坛,解读文心大模型4.0最新技术,阐述大模型产业模式,海峰披露,文心用户规模现已达到7000万,场景4300个。
6月27日消息,百度首席技术官海峰近日详细解读文心3.5在技术和工程上的升级。对比数据显示,文心大模型3.5的训练速度提升2倍,推理速度提升17倍。功能方面,文心大模型最大的一个变化是新增了插件机制。海峰表示,下一阶段,文心将发布更多优质的百度官方和第三方插件,让用户能够更好地应用文心大模型。
百度WAVE SUMMIT+深度学习开发者大会2023上,百度首席技术官海峰宣布,目前文心的用户累计数量已经超过1个亿。
12月28日消息,在百度WAVE SUMMIT+深度学习开发者大会2023上,百度首席技术官海峰宣布,目前文心的用户累计数量已经超过1个亿。
中国电子学会副理事长、百度首席技术官海峰出席主论坛并做报告,阐释了大模型技术发展与产业模式。海峰展示了文心的对话问答、文学创作、多模态生成等能力。海峰表示,新一代知识增强大语言模型文心百度多年技术积累和产业实践的水到渠成。百度自2019年开始深耕预训练模型研发,经过近4年积累和迭代,文心大模型已经形成了系统性的大模型技术体系,包括自然语言处理、视觉、跨模态、生物计算等大模型。
36氪独家获悉,目前百度筹备“文心”的团队主要由TPG(技术中台事业群)、MEG(移动生态事业群)两大部门协同。
百度首席技术官海峰近日做客 CCTV-10《创新中国说》,展示大语言模型文心的能力。