韦韬博士
蚂蚁集团 副总裁兼首席技术安全官
蚂蚁集团副总裁兼首席技术安全官，蚂蚁密算科技有限公司董事长，北京大学客座教授，九三学社社员，中国计算机学会安全专委会“数字经济与安全”工作组副组长，中国密码学会大数据与人工智能安全专委会副主任委员，InForSec学术论坛联合创始人。韦韬博士致力于让各种复杂系统变得更加安全可靠，多项成果帮助各主流操作系统提升安全性，领导和推动了“隐语”、“星绽”等多项著名开源安全软件的研发。韦韬博士提出并率队实现了安全平行切面防御体系、密态计算技术体系、大模型可信应用DKCF体系等，在网络安全、数据要素与人工智能安全等领域做出了重要贡献。韦韬博士因其杰出贡献和影响力被权威媒体评为“2021年度数据智能新势力领军人物”，并入选2022年IDC“中国CSO名人堂”。
韦韬博士
蚂蚁集团
副总裁兼首席技术安全官
副总裁兼首席技术安全官
即将开始的GIAC课程
安全攸关应用中AI面临的挑战与应对
安全
2019-06-23 09:00--10:00
深度学习方法在过去几年取得了飞速的发展，并应用到越来越多的业务场景。但是深度学习在安全攸关（Safety-critical）的业务场景下应用时，目前还缺乏系统化的方法来确保安全，比如基于视觉识别的某知名自动驾驶系统屡次出现车毁人亡的事故。
我们从安全威胁着手，展示了各个具有代表性的安全攸关业务场景在不同对抗样本攻击(例如数字空间白盒、物理世界白盒、云端黑盒等)以及正常的环境扰动时所面临的严重风险。比如从Safety角度出发，正常环境的概率扰动可能造成目前视觉识别系统的严重错误; 从Security角度出发，作为白盒模型的目标检测模 型YOLOv3，物理对抗样本可以使它无法有效探测面前的车辆;以及广泛应用的云端黑盒模型，也面临着严峻的迁移攻击威胁，可以被迅速绕过。
针对这些威胁，我们将介绍目前已有的模型鲁棒性的度量方法，以及提 升模型鲁棒性的手段。同时我们也介绍了百度安全实验室在AI安全研究前沿的研究成果，包括物理世界与云端黑盒的AI模型攻击与检测，模型鲁棒性度量与提升以及我们的AI安全开源工具箱等等。我们希望本报告为广大AI研究人员和工程应用人 员提供一个模型鲁棒性的阶段总结，并呼吁业界将模型鲁棒性作为AI模型预测准确性之外的一个 重要测评标准，同时制定有效的模型安全标准和规范，为深度学习在安全攸关场景中的应用打下坚实的基础。
蚂蚁集团副总裁兼首席技术安全官，蚂蚁密算科技有限公司董事长，北京大学客座教授，九三学社社员，中国计算机学会安全专委会“数字经济与安全”工作组副组长，中国密码学会大数据与人工智能安全专委会副主任委员，InForSec学术论坛联合创始人。韦韬博士致力于让各种复杂系统变得更加安全可靠，多项成果帮助各主流操作系统提升安全性，领导和推动了“隐语”、“星绽”等多项著名开源安全软件的研发。韦韬博士提出并率队实现了安全平行切面防御体系、密态计算技术体系、大模型可信应用DKCF体系等，在网络安全、数据要素与人工智能安全等领域做出了重要贡献。韦韬博士因其杰出贡献和影响力被权威媒体评为“2021年度数据智能新势力领军人物”，并入选2022年IDC“中国CSO名人堂”。
即将开始的GIAC课程
安全攸关应用中AI面临的挑战与应对
安全
2019-06-23 09:00--10:00
深度学习方法在过去几年取得了飞速的发展，并应用到越来越多的业务场景。但是深度学习在安全攸关（Safety-critical）的业务场景下应用时，目前还缺乏系统化的方法来确保安全，比如基于视觉识别的某知名自动驾驶系统屡次出现车毁人亡的事故。
我们从安全威胁着手，展示了各个具有代表性的安全攸关业务场景在不同对抗样本攻击(例如数字空间白盒、物理世界白盒、云端黑盒等)以及正常的环境扰动时所面临的严重风险。比如从Safety角度出发，正常环境的概率扰动可能造成目前视觉识别系统的严重错误; 从Security角度出发，作为白盒模型的目标检测模 型YOLOv3，物理对抗样本可以使它无法有效探测面前的车辆;以及广泛应用的云端黑盒模型，也面临着严峻的迁移攻击威胁，可以被迅速绕过。
针对这些威胁，我们将介绍目前已有的模型鲁棒性的度量方法，以及提 升模型鲁棒性的手段。同时我们也介绍了百度安全实验室在AI安全研究前沿的研究成果，包括物理世界与云端黑盒的AI模型攻击与检测，模型鲁棒性度量与提升以及我们的AI安全开源工具箱等等。我们希望本报告为广大AI研究人员和工程应用人 员提供一个模型鲁棒性的阶段总结，并呼吁业界将模型鲁棒性作为AI模型预测准确性之外的一个 重要测评标准，同时制定有效的模型安全标准和规范，为深度学习在安全攸关场景中的应用打下坚实的基础。
