安全攸关应用中AI面临的挑战与应对

案例来源:蚂蚁集团
会议地点:深圳
分享时间: 2019-06-23 09:00-10:00

韦韬博士 

蚂蚁集团 副总裁兼首席技术安全官

蚂蚁集团副总裁兼首席技术安全官,蚂蚁密算科技有限公司董事长,北京大学客座教授,九三学社社员,中国计算机学会安全专委会“数字经济与安全”工作组副组长,中国密码学会大数据与人工智能安全专委会副主任委员,InForSec学术论坛联合创始人。韦韬博士致力于让各种复杂系统变得更加安全可靠,多项成果帮助各主流操作系统提升安全性,领导和推动了“隐语”、“星绽”等多项著名开源安全软件的研发。韦韬博士提出并率队实现了安全平行切面防御体系、密态计算技术体系、大模型可信应用DKCF体系等,在网络安全、数据要素与人工智能安全等领域做出了重要贡献。韦韬博士因其杰出贡献和影响力被权威媒体评为“2021年度数据智能新势力领军人物”,并入选2022年IDC“中国CSO名人堂”。

课程概要

深度学习方法在过去几年取得了飞速的发展,并应用到越来越多的业务场景。但是深度学习在安全攸关(Safety-critical)的业务场景下应用时,目前还缺乏系统化的方法来确保安全,比如基于视觉识别的某知名自动驾驶系统屡次出现车毁人亡的事故。

我们从安全威胁着手,展示了各个具有代表性的安全攸关业务场景在不同对抗样本攻击(例如数字空间白盒、物理世界白盒、云端黑盒等)以及正常的环境扰动时所面临的严重风险。比如从Safety角度出发,正常环境的概率扰动可能造成目前视觉识别系统的严重错误; 从Security角度出发,作为白盒模型的目标检测模 型YOLOv3,物理对抗样本可以使它无法有效探测面前的车辆;以及广泛应用的云端黑盒模型,也面临着严峻的迁移攻击威胁,可以被迅速绕过。

针对这些威胁,我们将介绍目前已有的模型鲁棒性的度量方法,以及提 升模型鲁棒性的手段。同时我们也介绍了百度安全实验室在AI安全研究前沿的研究成果,包括物理世界与云端黑盒的AI模型攻击与检测,模型鲁棒性度量与提升以及我们的AI安全开源工具箱等等。我们希望本报告为广大AI研究人员和工程应用人 员提供一个模型鲁棒性的阶段总结,并呼吁业界将模型鲁棒性作为AI模型预测准确性之外的一个 重要测评标准,同时制定有效的模型安全标准和规范,为深度学习在安全攸关场景中的应用打下坚实的基础。

听众收益

1、学习到安全攸关业务场景在不同对抗样本攻击(例如数字空间白盒、物理世界白盒、云端黑盒等)以及正常的环境扰动时所面临的严重风险;
2、从Safety角度出发,正常环境的概率扰动可能造成目前视觉识别系统的严重错误; 作为白盒模型的目标检测模型YOLOv3,物理对抗样本可以使它无法有效探测面前的车辆;以及广泛应用的云端黑盒模型,也面临着严峻的迁移攻击威胁,可以被迅速绕过;
3、针对上面的这些威胁,我们将学习目前已有的模型鲁棒性的度量方法,以及提升模型鲁棒性的手段;
4、学习百度安全实验室在AI安全研究前沿的研究成果,包括物理世界与云端黑盒的AI模型攻击与检测,模型鲁棒性度量与提升以及我们的AI安全开源工具箱等等。

韦韬博士 

蚂蚁集团
副总裁兼首席技术安全官

蚂蚁集团副总裁兼首席技术安全官,蚂蚁密算科技有限公司董事长,北京大学客座教授,九三学社社员,中国计算机学会安全专委会“数字经济与安全”工作组副组长,中国密码学会大数据与人工智能安全专委会副主任委员,InForSec学术论坛联合创始人。韦韬博士致力于让各种复杂系统变得更加安全可靠,多项成果帮助各主流操作系统提升安全性,领导和推动了“隐语”、“星绽”等多项著名开源安全软件的研发。韦韬博士提出并率队实现了安全平行切面防御体系、密态计算技术体系、大模型可信应用DKCF体系等,在网络安全、数据要素与人工智能安全等领域做出了重要贡献。韦韬博士因其杰出贡献和影响力被权威媒体评为“2021年度数据智能新势力领军人物”,并入选2022年IDC“中国CSO名人堂”。

课程概要

深度学习方法在过去几年取得了飞速的发展,并应用到越来越多的业务场景。但是深度学习在安全攸关(Safety-critical)的业务场景下应用时,目前还缺乏系统化的方法来确保安全,比如基于视觉识别的某知名自动驾驶系统屡次出现车毁人亡的事故。

我们从安全威胁着手,展示了各个具有代表性的安全攸关业务场景在不同对抗样本攻击(例如数字空间白盒、物理世界白盒、云端黑盒等)以及正常的环境扰动时所面临的严重风险。比如从Safety角度出发,正常环境的概率扰动可能造成目前视觉识别系统的严重错误; 从Security角度出发,作为白盒模型的目标检测模 型YOLOv3,物理对抗样本可以使它无法有效探测面前的车辆;以及广泛应用的云端黑盒模型,也面临着严峻的迁移攻击威胁,可以被迅速绕过。

针对这些威胁,我们将介绍目前已有的模型鲁棒性的度量方法,以及提 升模型鲁棒性的手段。同时我们也介绍了百度安全实验室在AI安全研究前沿的研究成果,包括物理世界与云端黑盒的AI模型攻击与检测,模型鲁棒性度量与提升以及我们的AI安全开源工具箱等等。我们希望本报告为广大AI研究人员和工程应用人 员提供一个模型鲁棒性的阶段总结,并呼吁业界将模型鲁棒性作为AI模型预测准确性之外的一个 重要测评标准,同时制定有效的模型安全标准和规范,为深度学习在安全攸关场景中的应用打下坚实的基础。

听众收益

1、学习到安全攸关业务场景在不同对抗样本攻击(例如数字空间白盒、物理世界白盒、云端黑盒等)以及正常的环境扰动时所面临的严重风险;
2、从Safety角度出发,正常环境的概率扰动可能造成目前视觉识别系统的严重错误; 作为白盒模型的目标检测模型YOLOv3,物理对抗样本可以使它无法有效探测面前的车辆;以及广泛应用的云端黑盒模型,也面临着严峻的迁移攻击威胁,可以被迅速绕过;
3、针对上面的这些威胁,我们将学习目前已有的模型鲁棒性的度量方法,以及提升模型鲁棒性的手段;
4、学习百度安全实验室在AI安全研究前沿的研究成果,包括物理世界与云端黑盒的AI模型攻击与检测,模型鲁棒性度量与提升以及我们的AI安全开源工具箱等等。

CopyRight © 2008-2020 Msup & 高可用架构

京ICP备09001521号