图片一键变视频,淘宝发布图生视频技术框架AtomoVideo
一年来,国内各大电商AI布局不断提速。近日,淘天集团旗下阿里妈妈技术团队推出高保真图片生成视频框架——AtomoVideo(阿瞳木视频),可将图片素材自动化转换为高质量视频动效。目前,该技术已在阿里妈妈的万相实验室、广告投放平台等应用场景上线,所有商家都可以体验“图片一键变视频”的人工智能新技术,快速生成创意短视频。
年初OpenAI公司Sora的发布,让人们看到了视频智能创作的巨大想象力。实际上,国内很多团队也在文生或者图生视频上有着大量探索。今年初,字节跳动发布了超高清文生视频模型MagicVideo-V2,阿里云旗下魔搭社区(Model-Scope)上线文本生成视频大模型。而淘天旗下阿里妈妈,也一直专注于将视频生成技术与电商结合,为淘宝天猫商家提供更智能的视频创作工具,让视频生成技术在更真实的商业场景中加速落地。
最近,阿里妈妈发布的AtomoVideo应用,让电商人眼前一亮:以后的商品视频,可能不用再找专业拍摄团队来干了。
编辑在AtomoVideo的体验中发现,用户上传一张图,输入动作文字指令,静态的图片就能在各种场景中动起来。比如,上传一张玩偶图片后输入文字指令:穿红色衬衣的玩偶在街上散步。很快,一段短视频就生成了,玩偶迈开步伐行走,街景也跟着变化。此外,静态的帆船也能在输入指令后在大海中扬帆起航,海报中的乐手也开始弹奏吉他演奏,场景还原和人物表情、动作,都接近专业动画师水准。
据介绍,以上视频生成功能已在阿里妈妈广告平台广泛应用。商家可以在阿里妈妈电商图片生成工具“万相实验室”中,一键将制作的商品图片转化为商品视频。同时,阿里妈妈的设计师也可以应用该技术,为商家客户量身订制视频创意并投放。
据了解,AtomoVideo应用了阿里妈妈技术团队自研的诸多新技术,包括优质数据集构建、多粒度图像注入、渐进性动作强度增加的多阶段训练等,目前可以支持任意像素的图片生成4秒视频动效,并兼容市面上各种文生图模型。
阿里妈妈一位受访技术人士称,当前技术还远未挖掘出视频生成的真正潜力,在视频画面稳定性、内容创造可控性以及视频时长等关键要素上,仍有非常广阔的探索空间。这位人士认为,当前的应用生成虽然只是起步,但随着技术模型不断迭代,视频生成的准确度和仿真度也会逐渐提高。
在创意生成领域,除了此次发布的AtomoVideo,阿里妈妈技术团队也研发出可扩展图片、视频的“尺寸魔方”等创意编辑工具,可以实现图片和视频的任意目标尺寸的拓展和补缺,同时保持素材的原生性。
一位服饰商家说,现在市面上已经有不少AI出图工具,但将图片变成视频的还很少,生成高质量视频的就更少了,很多商家认为图生、文生视频还只是个概念,甚至噱头。“虽然AtomoVideo生成的视频时长还不长,精度也有待提高,但是感觉苗头不错,是个趋势。”这位商家表示,很多商家在讨论AI电商,各界也在期待圈里能出现杀手级应用。
据介绍,过去一年来,淘宝在AI电商领域探索不断加深。在消费者端,淘宝推出“淘宝问问”,用户可以通过向“问问”与淘宝互动,了解最新的消费动态。在商家端,淘宝推出的商家AI创意生产工具万相实验室可以帮助商家0成本上新、0成本适配模特、0成本创造场景以及批量生产高规格商品图。年初,淘宝基于AI大模型,升级智能客服机器人“店小蜜”,进一步提升“店小蜜”回答买家问题的准确度。最近,淘宝再次推出AI制图工具“绘蛙”,帮助商家生成各种风格的高品质图片,降低商家成本,该应用很快将结束内测全量推广。