达摩院推出新型预训练对话模型 首次利用半监督学习注入知识

宋妤
2022-04-12 16:43

4月12日消息,据天下网商消息,今日,阿里达摩院研究人员首次利用半监督学习将标注的人类知识注入预训练对话模型,在MultiWOZ2.1等三个国际主流对话数据集中均实现了最佳效果,为知识和数据融合探索出新路径。

format-jpg

(融合知识后,AI会进行思考)

据了解,一个模型只能解决一项任务,通用性差是AI的一大问题。而预训练模型可能是破解之道,因此近些年备受关注,已迅速发展出万亿参数的大模型。不少研究者认为,数据量只是一方面,如果能将人类知识有机注入预训练模型, AI有望像人类一样思考。

但知识注入并不容易,简单混合容易导致知识被淹没,或者出现严重的过拟合。达摩院研究人员此次利用半监督学习来对预训练对话模型注入知识,在人机对话领域尚属首次。

format-jpg

(图为半监督使用示意图)

据介绍,预训练对话模型有别于常见的预训练语言模型,需更多考虑对话轮次、上下文情境、对话人员的角色等,以便理解对方意图并做出恰当回复。也就是说,这类模型必须考虑对话过程中的策略,他们属于特定场景下的人类知识。业界通常用对话动作标签(dialog act)来刻画对话策略,比如模糊澄清、信息问询和信息告知等。

为此,达摩院研究人员构建了目前最大的对话动作标签知识库,总量达97万轮次,将其注入新设计的预训练对话模型SPACE 1.0中,随后在下游任务进行验证。新模型在斯坦福 In-Car,剑桥MultiWOZ2.0和亚马逊 MultiWOZ2.1这三个国际主流对话数据集上均实现了SOTA(最佳效果),部分提升超过5%,幅度较大。在具体案例中,新模型能够更准确预测出对话动作,能够更好和人类进行对话,避免答非所问。

format-jpg

(图为达摩院新模型在三大国际数据集上的表现)

值得一提的是,在AI应用方面,此前,全国特大型钢企南京钢铁上线了AI质检系统,借助阿里达摩院先进算法,钢板表面缺陷检出率从原来人工的90%提升至98%,钢板出厂质量明显提升,质量异议金额从0.06元/吨降至0.02元/吨。

1、该内容为作者独立观点,不代表电商派观点或立场,文章为作者本人上传,版权归原作者所有,未经允许不得转载。
2、电商号平台仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。
3、如对本稿件有异议或投诉,请联系:info@dsb.cn
相关阅读
4月6日消息,亚马逊购物应用正测试一项新功能Buy for Me ,该功能处于测试阶段。如果这些商品目前不在亚马逊商店销售,Buy for Me可以帮助客户从其他品牌的网站发现并无缝购买这些商品。Buy for Me目前已在iOS和Android版Amazon Shopping应用中上线,供部分美国客户使用。亚马逊将先在有限数量的品牌商店和产品上进行测试,并计划根据反馈向更多客户推出并纳入更多品牌商店和产品。
4月3日消息,亚马逊全球开店日前与浙江省商务厅签署新一轮合作备忘录,共同启动“浙江产业带亚马逊外贸赋能计划”。未来三年双方将在四大领域展开深度合作,包括:支持“产业带+跨境电商”融合发展;培育跨境电商品牌;拓展跨境电商新增长点;加强跨境电商人才培育。目前,已有400家浙江头部企业通过跨境电商拓展全球业务。
亚马逊在无人机送货这块,一直没有放弃。
近期亚马逊多个仓库却陷入了严重的爆仓困境,给卖家们带来了前所未有的挑战。
亚马逊SPN账户权限升级
4月2日消息,亚马逊近日宣布,自4月10日起,将加强SPN(服务提供商网络)管理,第三方服务提供商的账户访问权限将受更严格的限制,必须经过身份验证,才能访问卖家账户。卖家需确认SPN服务商是否完成身份验证,否则可能无法继续为卖家提供服务。
4月1日消息,亚马逊在其照片应用Amazon Photos中推出人工智能购物功能,用户可通过搜索图库中的照片,识别商品并直接在亚马逊平台上查找和购买类似产品。该功能利用AI技术分析用户存储的图像,识别其中的可购商品,并提供购买链接。亚马逊指出,AI识图购物功能将减少用户手动搜索的步骤,使购物体验更加直观高效。无论是家居装饰、服装配饰还是特色小物件,用户都可以通过Amazon Photos快速找到与照片中商品相似的产品,仅需几次点击即可完成下单。
亚马逊计划到2030年实现每年交付5亿个包裹。