蚂蚁集团、腾讯、百度等联合编制大模型安全国际标准正式发布

宋妤
2024-04-17 17:48

4月17日消息,第 27 届联合国科技大会(the 27th UN CSTD Annual Meeting)正在瑞士日内瓦召开。大会期间,世界数字技术院(WDTA)发布了两项国际标准:《生成式人工智能应用安全测试标准》、《大语言模型安全测试方法》。

这两项国际标准是由 OpenAI、蚂蚁集团、科大讯飞、谷歌、微软、英伟达、百度、腾讯等数十家单位的多名专家学者共同编制而成。蚂蚁集团牵头编制《大语言模型安全测试方法》,并参与制定了《生成式人工智能应用安全测试标准》。

format-jpg

图源:蚂蚁集团公众号

这次发布的两项标准是大模型及生成式 AI 应用程序方面的安全性测试标准,有助于行业构建安全、可靠的人工智能生态系统。

《生成式人工智能应用安全测试标准》由 WDTA 作为牵头单位,蚂蚁集团等多家单位共同参与。这项标准为测试和验证生成式 AI 应用的安全性提供了一个框架,特别是那些使用大语言模型(LLM)构建的应用程序。它定义了人工智能应用程序架构每一层的测试和验证范围,包括基础模型选择、嵌入和矢量数据库、RAG 或检索增强生成、AI 应用运行时安全等等。

《大语言模型安全测试方法》由蚂蚁集团作为牵头单位。这项标准则为大模型本身的安全性评估提供了一套全面、严谨且实操性强的结构性方案。它提出了大语言模型的安全风险分类、攻击的分类分级方法以及测试方法,并率先给出了四种不同攻击强度的攻击手法分类标准,系统地提供了大语言模型抗攻击测试的评估指标、能力分级、测试数据集构建要求和测试流程等。

format-jpg

WDTA 官网发布《大语言模型安全测试方法》标准 图源:蚂蚁集团公众号

蚂蚁集团机器智能部总经理、蚂蚁安全实验室首席科学家王维强表示,生成式 AI 将释放巨大的生产力,但也要对它带来的新风险高度警惕。大型科技公司应在促进生成式 AI 安全和负责任的发展中有所担当,利用其资源、专业知识和影响力推动最佳实践,构建一个优先考虑安全、隐私、可靠和伦理优先的生态系统。

1、该内容为作者独立观点,不代表电商报观点或立场,文章为作者本人上传,版权归原作者所有,未经允许不得转载。
2、电商号平台仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。
3、如对本稿件有异议或投诉,请联系:info@dsb.cn
相关阅读
蚂蚁集团发布模型安全一体化解决方案“蚁天鉴”。
12月27日消息,“势起AI智启新界”模型创新应用与安全治理大会近日在广州举办,会上,蚂蚁集团安全实验室首席科学家、可信AI负责人王维强围绕“模型安全的紧迫性和实践”发表主旨演讲。他表示,模型安全既要“快”也要“慢”,模型安全防御方面要“快”,要能快速检测、查杀病毒,确保服务无毒害;在模型安全可信方面要“慢”,要能长远地、体系化地保证整个系统环境的可控、可信。
天象安全实验室重点针对模型供应链安全,包括模型训练、微调、部署、运维的完整生命周期内涉及到的三方库、插件、框架等问题。
工作组将协同国内外模型产业力量,制定模型技术规范、测评方法、安全可信、可靠决策等领域国际先进标准,为全球模型产业技术创新和发展提供支撑。
根据合作协议,双方将围绕“下一代互联网应用安全技术”长期攻坚,先期聚焦在可信AI和安全通用模型两个核心领域。同时,双方还将开展“安全通用模型”的技术路线和落地研究,以应对模型技术爆发时代的安全科技生产力问题,及通用AI能力广泛应用带来的新型未知风险防控。
蚂蚁集团模型研发团队透露将投入近20%的技术人员建设科技伦理,还与8所高校机构开展共建科技伦理知识体系。
12月22日消息,在蚂蚁集团科技伦理顾问委员会2023年度会议上,蚂蚁集团模型研发团队透露将投入近20%的技术人员建设科技伦理,还与8所高校机构开展共建科技伦理知识体系,打造负责任的AI。今年2月,蚂蚁集团在设立公司内部科技伦理委员会的基础上,正式成立科技伦理顾问委员会,由7名外部专家构成,为蚂蚁集团科技伦理建设给予方向性、战略性、针对性的指导建议。