EMO来了!通义APP推出照片唱歌功能

电商报
2024-04-25 17:26

把一段音频、一张照片输入AI模型,就能让图中人物开口唱歌说话,让奥黛丽赫本唱《上春山》、陶俑仕女说英文RAP、爱因斯坦说中文段子。不久前,这款名为EMO的模型因为阿里通义实验室的一篇论文火遍海内外,模型的产品化进程也广受关注。4月25日,EMO终于上线通义APP,开放给所有用户免费使用。

打开通义APP,进入“全民舞台”频道,就可来到EMO产品页面“全民唱演”。在歌曲、热梗、表情包中任选一款模板,上传肖像照片,EMO随即就能合成视频。

format-jpg

通义APP首批上线了80多个EMO模板,包括热门歌曲《上春山》《野狼disco》等,网络热梗“钵钵鸡”“回手掏”等。目前通义APP暂不开放用户自定义音频,用户只能选择APP预置的音频来生成视频。

EMO是通义实验室研发的AI模型,其背后的肖像说话(Talking Head)技术是当前大热的AIGC领域。EMO之前的Talking Head技术都需针对人脸、人头或者身体部分做3D建模,通义实验室在业界率先提出了弱控制设计,无需建模就可驱动肖像开口说话,不仅降低视频生成成本,还大幅提升了视频生成质量。EMO学习并编码了人类表达情绪的能力,能将音频内容和人物的表情、嘴型匹配,还能把音频的语气特征和情绪色彩反映到人物微表情上。

2月底,通义实验室公布相关论文,EMO随之成为继SORA之后最受关注的AI模型之一。现在,通义APP让所有人都可免费体验前沿模型的创造力。未来,EMO技术有望应用于数字人、数字教育、影视制作、虚拟陪伴、电商直播等场景。

通义APP近期爆款频出,现象级应用“全民舞王”曾在社交平台掀起“兵马俑跳科目三”“金毛跳舞”的热潮,全民舞王背后的模型Animate Anyone也出自通义实验室。近期,通义APP还陆续推出了超长文档解析、AI编码助手、AI会议助手等免费实用功能。通义大模型正在成为越来越多用户的超级AI助手。

1、该内容为作者独立观点,不代表电商派观点或立场,文章为作者本人上传,版权归原作者所有,未经允许不得转载。
2、电商号平台仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。
3、如对本稿件有异议或投诉,请联系:info@dsb.cn
相关阅读
1月2日消息,阿里巴巴日前发布2024年度AI答卷显示,今年淘宝上线的AI产品“生意管家”已累计服务400万商家,帮助中小商家生成超1亿件商品及营销素材。阿里国际站推出的“Al生意助手”全球已有超过6万中小企业使用,发布的商品规模已达700万。阿里巴巴还披露了通义APP的最新进展。目前,全球开发者基于不断迭代的Qwen系列模型二次开发的衍生模型已经超过8万个。
11月21日消息,2024年世界互联网大会“互联网企业家论坛”在浙江乌镇召开。阿里巴巴CEO吴泳铭在发言中表示,AI最大的价值绝不仅仅是在手机上做出一两个超级App,而是推动各行各业的生产力变革。发展AI需要建设繁荣的技术、产品和市场生态。目前,30多万家企业已经接入阿里“通义”大模型,用AI重构代码开发、药物研发、太空探索、生产制造等业务场景。
4月10日消息,从国家网信办官网获悉,为促进生成式人工智能服务创新发展和规范应用,网信部门会同相关部门按照《生成式人工智能服务管理暂行办法》要求,有序开展生成式人工智能服务备案工作,目前已有117个大模型完成这项工作。从公开信息可以看到,完成生成式人工智能服务备案的大模型包括中国移动九天、百度文心一言、阿里巴巴通义千问、华为云盘古、腾讯混元助手、OPPO安第斯、vivo蓝心等。
6月16日消息,图灵奖得主、Meta首席AI科学家杨立昆近日联合Abacus.AI、纽约大学等机构推出全新的大模型测评基准LiveBench AI,并公布首个测评榜单。阿里云通义千问刚刚开源的大模型Qwen2-72B成为排名最高的开源大模型,是前十榜单中唯一的开源大模型、唯一的中国大模型,成绩超过Meta的Llama3-70B模型。6月15日,周鸿祎发视频祝贺阿里巴巴通义千问2登上世界榜单第一名。
9月2日,阿里巴巴达摩院主办世界人工智能大会“大规模预训练模型”主题论坛。
达摩院副院长周靖人发布阿里巴巴最新“通义”大模型系列,并宣布相关核心模型向全球开发者开源开放。
9月2日消息,阿里巴巴达摩院今日主办世界人工智能大会“大规模预训练模型”主题论坛。会上,达摩院副院长周靖人发布阿里巴巴最新“通义”大模型系列,并宣布相关核心模型向全球开发者开源开放。面向大模型通用性与易用性仍欠缺的难题,通义打造了业界首个AI统一底座,并构建了大小模型协同的层次化人工智能体系,将为AI从感知智能迈向知识驱动的认知智能提供先进基础设施。
11月24日消息,第二届全球数字贸易博览会日前在杭州国际博览中心开展,本届数贸会共设7个展馆,其中前沿趋势馆集中展示了50多个AI大模型,以阿里巴巴“AI全家福”为代表,呈现了智能化浪潮正在如何改变我们的工作和生活。在阿里巴巴展区,“通义家族”AI大模型应用一字排开。基于阿里自研的“通义千问”大模型,它们在编程、法律、健康等8个领域实现了高度智能化。
2月19日消息,阿里巴巴副总裁、大数据和智能实验室负责人叶杰平在今日人工智能赋能科学研究研讨会上透露,截至目前阿里通义千问开源模型下载量为2亿,基于阿里通义模型衍生模型数量超过9万个,此外阿里的魔搭社区有超过4万家模型入驻,有超过1000万用户数。
公司的“通义千问”大模型自2019年开始研究,目前,钉钉、天猫精灵等产品已接入通义千问测试,将在评估认证后正式发布新功能。报告中称,通义千问是由阿里巴巴达摩院研发的预训练语言模型,拥有多模态、多任务能力,擅长语言理解、文本生成、问答能力等,可应用到电商、设计、医疗、法律、金融等行业。