达摩院推出新型预训练对话模型 首次利用半监督学习注入知识

宋妤
2022-04-12 16:43

4月12日消息,据天下网商消息,今日,阿里达摩院研究人员首次利用半监督学习将标注的人类知识注入预训练对话模型,在MultiWOZ2.1等三个国际主流对话数据集中均实现了最佳效果,为知识和数据融合探索出新路径。

format-jpg

(融合知识后,AI会进行思考)

据了解,一个模型只能解决一项任务,通用性差是AI的一大问题。而预训练模型可能是破解之道,因此近些年备受关注,已迅速发展出万亿参数的大模型。不少研究者认为,数据量只是一方面,如果能将人类知识有机注入预训练模型, AI有望像人类一样思考。

但知识注入并不容易,简单混合容易导致知识被淹没,或者出现严重的过拟合。达摩院研究人员此次利用半监督学习来对预训练对话模型注入知识,在人机对话领域尚属首次。

format-jpg

(图为半监督使用示意图)

据介绍,预训练对话模型有别于常见的预训练语言模型,需更多考虑对话轮次、上下文情境、对话人员的角色等,以便理解对方意图并做出恰当回复。也就是说,这类模型必须考虑对话过程中的策略,他们属于特定场景下的人类知识。业界通常用对话动作标签(dialog act)来刻画对话策略,比如模糊澄清、信息问询和信息告知等。

为此,达摩院研究人员构建了目前最大的对话动作标签知识库,总量达97万轮次,将其注入新设计的预训练对话模型SPACE 1.0中,随后在下游任务进行验证。新模型在斯坦福 In-Car,剑桥MultiWOZ2.0和亚马逊 MultiWOZ2.1这三个国际主流对话数据集上均实现了SOTA(最佳效果),部分提升超过5%,幅度较大。在具体案例中,新模型能够更准确预测出对话动作,能够更好和人类进行对话,避免答非所问。

format-jpg

(图为达摩院新模型在三大国际数据集上的表现)

值得一提的是,在AI应用方面,此前,全国特大型钢企南京钢铁上线了AI质检系统,借助阿里达摩院先进算法,钢板表面缺陷检出率从原来人工的90%提升至98%,钢板出厂质量明显提升,质量异议金额从0.06元/吨降至0.02元/吨。

1、该内容为作者独立观点,不代表电商派观点或立场,文章为作者本人上传,版权归原作者所有,未经允许不得转载。
2、电商号平台仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。
3、如对本稿件有异议或投诉,请联系:info@dsb.cn
相关阅读
亚马逊日本被罚款。
4月27日消息,亚马逊日本宣布,将针对iOS和Android平台的亚马逊购物App及移动端网站,开始测试全新的首页功能与设计。目前,这些更新已在部分用户中试行,预计将在未来几个月内逐步扩大至更多日本用户。此次改版旨在通过提升个性化推荐和操作便捷性,进一步优化用户的购物体验,让消费者能够更轻松地在亚马逊上开始购物。
4月26日消息,亚马逊新加坡站在移动端和iOS及Android版购物APP上测试了全新首页设计和功能,旨在通过更具个性化和直观性的界面,提升用户购物体验,帮助消费者更快捷地发现所需商品并完成重复购买。此次升级的首页包括多个关键变化,其中最显著的是更加个性化的商品推荐系统。全新“再次购买”功能板块也同步上线,集中展示用户频繁购买的商品,使重复购买更加高效。
4月25日消息,在亚马逊云科技中国合作伙伴峰会上,亚马逊云科技发布“3+2”合作伙伴战略,聚焦全行业转型、生成式AI、云迁移和现代化三大业务战略,并通过亚马逊云科技Marketplace和合作伙伴网络系列支持计划两大基石,持续赋能合作伙伴实现业务创新与规模化增长。
4月24日消息,亚马逊发言人宣布,将连续第三年举办夏季美容活动。此次促销活动与2024年一样,选在亚马逊业务繁忙的春季,具体时间为太平洋时间4月28日午夜至5月11日午夜,恰好在母亲节当天结束,且与亚马逊母亲节购物促销活动同期进行。此次夏季美妆活动亮点颇多,涵盖数以千计的美容和保健产品,折扣力度高达35%。众多知名品牌纷纷参与,如Armani Beauty、Belif、Biodance、Clinique、Dolce & Gabbana Fragrance、Estée Lauder、Kiehl's等。
4月24日消息,亚马逊巴西站宣布推出取货点服务,以提升配送的便利性与灵活性。该服务初期将在巴西所有联邦设立532个网点,预计年底前覆盖数量超过3000个,取货点设于线下商店、超市、药店等本地合作机构,用户购物时选择“取货”作为配送方式,系统将通过地图展示附近可用的提货网点,便于用户自行前往领取。目前,所有合作点已完成相关培训,以确保统一的服务质量标准。
根据密西西比州发展局的消息,该设施选址于拜哈利亚(Byhalia)的奇克索工业园区(Chickasaw Trails Industrial Park),总建筑面积将达93万平方英尺。该项目将用于建立一处入库交叉转运中心(inbound cross-dock operations),主要负责接收并整合供应商的产品,随后将产品配送至亚马逊网络内的其他履约中心。