阿里达摩院公开“预训练语言模型的训练方法”专利

4月27日消息，天眼查资料显示，阿里巴巴达摩院（杭州）科技有限公司4月26日公开一项“预训练语言模型的训练方法、装置、计算机设备和介质”专利，申请公布号为CN114398899A，申请日期为2021年11月29日。

该专利摘要显示，本公开提供了一种预训练语言模型的训练方法、装置、计算机设备和介质。该方法包括：获得使用不同语言表达相同语义的训练数据组合；将训练数据组合输入具备不同语言理解能力的预训练语言模型，以使得预训练语言模型对训练数据组合进行预训练后得到训练数据组合对应的输出数据组合，并根据输出数据组合计算训练数据组合的损失值；利用损失值更新预训练语言模型的模型参数，以提高输出数据组合的相似度。

本公开提高了低资源语言场景下自然语言处理模型处理下游任务的性能和多语言场景下预训练语言模型所能适用的下游任务的种类范围。

近日，阿里巴巴达摩院（杭州）科技有限公司还公开“图像处理方法和存储介质”、“图像处理方法、存储介质以及计算机终端”、“机器翻译模型的训练方法和机器翻译方法”等多项专利。

天眼查资料显示，阿里巴巴达摩院（杭州）科技有限公司成立于2017年11月7日，法定代表人为周明，注册资本1000万人民币，经营范围包括：技术服务、技术开发、技术咨询、技术交流、技术转让、技术推广；软件开发；专业设计服务；翻译服务（除依法须经批准的项目外，凭营业执照依法自主开展经营活动）。

股权穿透图显示，阿里巴巴达摩院（杭州）科技有限公司由阿里巴巴（中国）有限公司全资持股，认缴金额1000万人民币。