百度王海峰发布人才培养星河计划

周兴
2023-10-20 04:30

10月20日消息,以“生成未来”为主题的百度世界2023近日在北京首钢园举办,百度首席技术官王海峰解读文心大模型4.0背后的关键技术和最新进展。王海峰表示,文心大模型4.0的理解、生成、逻辑、记忆四大能力都有显著提升,9月已开始小流量上线,过去一个多月效果又提升了近30%。8月31日文心一言面向全社会开放至今,用户规模已经达到4500万,开发者5.4万,场景4300个,应用825个,插件超过500个。

据了解,百度在3月16日发布知识增强大语言模型文心一言。文心一言从数万亿数据和数千亿知识中融合学习,得到预训练大模型,在此基础上采用有监督精调、人类反馈强化学习、提示等技术,具备知识增强、检索增强和对话增强的技术优势。

文心一言的基础模型5月升级至文心大模型3.5,在基础模型升级、精调技术创新、知识点增强、逻辑推理增强、插件机制等方面创新突破,取得效果和效率的提升。

format-jpg

图注:百度首席技术官王海峰

(图源百度AI公众号,下同)

10月17日发布的文心大模型4.0,相比3.5版本,理解、生成、逻辑、记忆四大能力都有显著提升。其中理解和生成能力的提升幅度相近,而逻辑和记忆能力的提升则更大,逻辑的提升幅度达到理解的近3倍,记忆的提升幅度也达到了理解的2倍多。百度基于文心大模型研制了智能代码助手 Comate,从内部应用效果来看,整体的代码采纳率达到40%,高频用户的代码采纳率达到60%。

据悉,文心大模型4.0在9月已开始小流量上线,过去一个多月效果又提升了近30%。训练算法效率自3月以来已累计提升3.6倍,周均的训练有效率超过98%。文心大模型4.0基本技术架构与3.0和3.5版本一脉相承,并在多个关键技术方向上进一步创新突破。

在万卡算力上运行飞桨平台,通过集群基础设施和调度系统、飞桨框架的软硬协同优化,支持了大模型的稳定高效训练。建设了多维数据体系,形成了数据挖掘、分析、合成、标注、评估闭环,充分释放数据价值,大幅提升模型效果。基于有监督精调、偏好学习、强化学习等技术进行多阶段对齐,保证模型更好地与人类的判断和选择对齐。可再生训练技术通过增量式的参数调优,有效节省了训练资源和时间,加快了模型迭代速度。

format-jpg

此外,文心大模型4.0在输入和输出阶段都进行知识点增强。一方面,对用户输入的问题进行理解,并拆解出回答问题所需的知识点,然后在搜索引擎、知识图谱、数据库中查找准确知识,最后把这些找到的知识组装进 Prompt 送入大模型,准确率好,效率也高;另一方面,对大模型的输出进行反思,从生成结果中拆解出知识点,然后再利用搜索引擎、知识图谱、数据库,以及大模型本身进行确认,进而对有差错的点进行修正。

在强大的基础大模型的基础上,百度进一步研制了智能体机制,包括理解、规划、反思和进化,能够做到可靠执行、自我进化,并一定程度上将思考过程白盒化,让机器像人一样思考和行动,自主完成复杂任务,在环境中持续学习实现自主进化。

format-jpg

此外,王海峰在现场还公布了百度人工智能人才培养的最新数据,百度在2020年提出5年为全社会培养500万AI人才,截至目前,百度已经培养了420万 AI 人才。

当下,大模型成为人工智能发展的热点方向,进一步加速产业变革,AI 人才培养也需与时俱进。王海峰发布了百度人才培养星河计划,他表示,“我们将与产学研各界密切合作,深化产教融合,为社会再培养500万大模型人才,让人工智能科技的‘创新之花’,结出更多‘产业之果’,服务国家战略,服务社会发展,服务人民福祉!”

1、该内容为作者独立观点,不代表电商报观点或立场,文章为作者本人上传,版权归原作者所有,未经允许不得转载。
2、电商号平台仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。
3、如对本稿件有异议或投诉,请联系:info@dsb.cn
相关阅读
百度首席技术官、深度学习技术及应用国家工程研究中心主任海峰做了主题演讲
在中国人工智能学会首届智能融合产业论坛上,百度CTO海峰发表了题为《“深度学习+”创新发展新引擎》的演讲
海峰认为,可以从两个角度解读,一是人工智能技术的通用性,二是能力的全面性。
百度WAVE SUMMIT+深度学习开发者大会2023上,百度首席技术官海峰宣布,目前文心一言的用户累计数量已经超过1个亿。
百度首席技术官、深度学习技术及应用国家工程研究中心主任海峰以《人工智能技术生态与产业模式》为题作主旨报告。
“2023百度十大科技前沿发明”发布会日前在北京召开。百度首席技术官(CTO)海峰在会上致辞。
百度首席技术官海峰近日做客 CCTV-10《创新中国说》,展示大语言模型文心一言的能力。
8月17日消息,由深度学习技术及应用国家工程研究中心主办的WAVE SUMMIT深度学习开发者大会2023于日前在北京举行。海峰首次对外表示,大语言模型具备了理解、生成、逻辑、记忆等人工智能的核心基础能力,为通用人工智能带来曙光。以解题为例,从读懂题目、解答题目到最后写出答案,需要理解、记忆、逻辑及生成能力的综合运用。
百度首席技术官海峰在2023世界人工智能大会上解读文心大模型3.5版核心技术,发布飞桨生态最新进展。