蚂蚁集团推出20亿参数多模态遥感基础模型SkySense

2月28日消息，蚂蚁集团推出20亿参数多模态遥感基础模型SkySense，这是蚂蚁百灵大模型在多模态领域最新的研发成果，其论文已被世界计算机视觉顶级会议CVPR 2024接收。据了解，蚂蚁集团正在计划开放Skysense模型参数，与行业共建，促进智能遥感技术与应用发展。SkySense可用于地貌、农作物观测和解译等，有效辅助农业生产和经营。

据介绍，SkySense突破传统技术瓶颈，实现了文本、红外光、可见光、SAR雷达多种模态、多分辨率的时序遥感影像建模，在多样化的任务中展现出优异性能。在蚂蚁百灵大模型多模态能力支持下，研发人员基于内部构建的19亿遥感影像数据集进行预训练，得到了20.6亿参数量的模型SkySense。

SkySense在总计17项国际权威公开数据集进行了测评，其测试任务类型包括了土地利用监测、高分辨率目标识别、地物变化检测等7种常见遥感感知任务，并与国际上已发布的包括IBM和NASA联合研发的Prithvi等共18个全球主流同类模型做了测试结果比较。数据显示，SkySense在17项测试场景中的指标均超过国际同类产品。

在17项测评中SkySense均名列第一 图源：环球网科技

SkySense由蚂蚁AI创新研发部门NextEvo与武汉大学联合研发。NextEvo是蚂蚁AI核心技术研发团队，主导了蚂蚁百灵大模型的研发工作，其研发方向涉及CV、NLP、多模态、AIGC、数字人、AI工程化等核心技术。2023年，该部门升级多模态团队，由杨铭带队全面布局多模态技术。杨铭是Facebook AI Research （FAIR）创始成员，去年加入蚂蚁集团，先后就职于NEC美国实验室、FAIR、地平线机器人公司，是世界知名计算机视觉研究专家。

目前，蚂蚁集团多模态研究成果已应用于支付宝五福节AI大规模互动、蚂蚁医疗数字人等场景。

蚂蚁集团发布的《2023蚂蚁集团知识产权白皮书》显示，截至2023年底，蚂蚁集团全球专利申请量 32459 件，其中22102件已经获得授权，发明专利占比达95.77%，国外专利申请量占比 58.75%。在逾3.2万件技术专利中，安全科技、区块链、人工智能等三大技术领域的申请量占比位居前三。

2023蚂蚁集团知识产权白皮 图源：蚂蚁集团公众号