阿里达摩院推出AI框架HQTrack 可实现视频高质量跟踪

云合
2023-07-31 14:59

7月31日消息,据GitHub页面显示,阿里达摩院近日宣布与大连理工大学合作,推出一款名为HQTrack的AI框架。

该框架主要由视频多目标分割器(VMOS)和掩模优化器(MR)组成,旨在“实现对视频中任何目标的高质量跟踪”。研究团队表示,HQTrack基于开源框架DeAOT、HQ-SAM,在此之上进行了一定改进,实现了“在视频中分割各目标”的可能性。

format-jpg

截自微博

同时,研究团队使用Intern-T作为特征提取器,提高框架对不同类型物体的区分能力,同时加入了一个门控传播模块(GPM),以便于框架在复杂环境中感知更多微小物体,生成高质量的即时目标遮罩。

据悉,在VOTS2023竞赛中,HQTrack以0.615的质量得分获得第二名,研究团队表示,该 AI 框架可以应用于人脸识别、智能驾驶、监控追踪等领域,并有望在未来商业应用中落地。

format-jpg

format-jpg

图源:HQTrack的GitHub页面

值得一提的是,阿里云近日在国内率先推出针对Llama2全系列版本的训练和部署方案。官方表示,欢迎所有开发者来阿里云上打造专属大模型。

近日,Llama2大语言模型宣布开源,覆盖70亿、130亿及700亿参数版本。Llama2可免费用于研究场景和月活7亿用户以下的商业场景,为企业和开发者提供了大模型研究的新工具。然而,对Llama2的再训练和部署仍存在较高门槛,尤其是针对效果更胜一筹的大尺寸版本。

format-jpg

截自阿里云官网

为方便开发者群体,阿里云机器学习平台PAI在国内率先对Llama2系列模型进行深度适配,推出了轻量级微调、全参数微调、推理服务等场景的最佳实践方案,助力开发者快速基于Llama2进行再训练,搭建自己的专属大模型。

阿里云牵头发起的AI模型社区魔搭ModelScope,第一时间上架了Llama2系列模型。开发者可在魔搭社区Llama2模型页面点击“Notebook快速开发”,一键拉起阿里云机器学习平台PAI,对模型进行云上开发和部署;在其他平台下载的Llama2模型,也可使用阿里云PAI进行开发。

1、该内容为作者独立观点,不代表电商派观点或立场,文章为作者本人上传,版权归原作者所有,未经允许不得转载。
2、电商号平台仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。
3、如对本稿件有异议或投诉,请联系:info@dsb.cn
相关阅读
10月22日消息,阿里巴巴集团旗下全球研究机构达摩院推出云端人工智能短临天气预测平台,可对未来六小时内的天气情况进行精细范围内的高精度预测。据了解,该平台可为阿里云的中国客户提供一公里网格范围的高分辨率图像,每十分钟更新一次。平台可追踪降雨量、风速以及包括雷暴、冰雹等在内的极端天气状况,为农业、物流、运输和可再生能源等天气敏感行业带来实际价值。
今日,阿里达摩院研究人员首次利用半监督学习将标注的人类知识注入预训练对话模型,在MultiWOZ2.1等三个国际主流对话数据集中均实现了最佳效果。
5月15日消息,从接近阿里达摩院和菜鸟双方的人士处确认,达摩院自动驾驶团队全部并入菜鸟集团,达摩院本身不再保留业务和团队。据了解,达摩院阿里物流机器人“小蛮驴”的诞生地,也是阿里自动驾驶技术的研发“重镇”。2020年9月,达摩院自动驾驶实验室推出L4级自动驾驶产品、物流无人车“小蛮驴”,服务于最后三公里的快递、外卖、生鲜配送,目前已进入全国200多个高校和社区,车队规模突破500辆。
3月22日消息,阿里达摩院已在AI模型社区“魔搭”ModelScope上线了“文本生成视频大模型”。根据介绍,整体模型参数约17亿,目前只支持英文输入。扩散模型采用Unet3D结构,通过从纯高斯噪声视频中,迭代去噪的过程,实现视频生成的功能。据了解,“魔搭”是阿里达摩院联手CCF开源发展委员会在2022云栖大会推出AI模型社区,首批开源模型超过300个,包括视觉、语音、自然语言处理、多模态等AI主要方向。
5月27日消息,截至5月27日,阿里达摩院20多辆小蛮驴无人车在沪配送物资超过60万件,目前援沪行动仍在继续。据了解,小蛮驴是阿里达摩院自研的L4级自动驾驶产品,主要用于最后三公里的快递、外卖、生鲜配送。值得一提的是,5月26日发布的阿里巴巴集团最新财报首次披露了无人车的配送单量,自2020年9月推出至2022年3月31日,小蛮驴累计配送物流订单超过1000万,刷新国内末端无人配送纪录。
据悉,在今年天猫“双11”期间,累计共有超过70家品牌、近700款商品参与阿里鱼IP新势力虚拟IP街区。
9月2日消息,阿里巴巴达摩院今日主办世界人工智能大会“大规模预训练模型”主题论坛。会上,达摩院副院长周靖人发布阿里巴巴最新“通义”大模型系列,并宣布相关核心模型向全球开发者开源开放。面向大模型通用性与易用性仍欠缺的难题,通义打造了业界首个AI统一底座,并构建了大小模型协同的层次化人工智能体系,将为AI从感知智能迈向知识驱动的认知智能提供先进基础设施。
10月22日消息,在杭州云栖大会上,阿里巴巴达摩院发布软硬件结合语音产品“听悟”。据介绍,“听悟”是面向未来会议的AI助理,集成了达摩院最新语音及自然语言处理技术,不仅“听”得准,且“悟”性高,可秒速生成智能会议纪要及待办。
10月21日消息,阿里云今日于云栖大会上展示全新人工智能会议助理“听悟”,同时发布云电脑的升级性能,以满足市场对自动化办公系统的需求。据了解,“听悟”由阿里巴巴旗下达摩院语音实验室研发,能将会议的语音内容实时转化为书面会议纪录,普通话识别准确率高达98%,有效提升了会议内容整理效率。