课程概要

深度学习方法在过去几年取得了飞速的发展，并应用到越来越多的业务场景。但是深度学习在安全攸关（Safety-critical）的业务场景下应用时，目前还缺乏系统化的方法来确保安全，比如基于视觉识别的某知名自动驾驶系统屡次出现车毁人亡的事故。

我们从安全威胁着手，展示了各个具有代表性的安全攸关业务场景在不同对抗样本攻击(例如数字空间白盒、物理世界白盒、云端黑盒等)以及正常的环境扰动时所面临的严重风险。比如从Safety角度出发，正常环境的概率扰动可能造成目前视觉识别系统的严重错误; 从Security角度出发，作为白盒模型的目标检测模 型YOLOv3，物理对抗样本可以使它无法有效探测面前的车辆;以及广泛应用的云端黑盒模型，也面临着严峻的迁移攻击威胁，可以被迅速绕过。

针对这些威胁，我们将介绍目前已有的模型鲁棒性的度量方法，以及提 升模型鲁棒性的手段。同时我们也介绍了百度安全实验室在AI安全研究前沿的研究成果，包括物理世界与云端黑盒的AI模型攻击与检测，模型鲁棒性度量与提升以及我们的AI安全开源工具箱等等。我们希望本报告为广大AI研究人员和工程应用人 员提供一个模型鲁棒性的阶段总结，并呼吁业界将模型鲁棒性作为AI模型预测准确性之外的一个 重要测评标准，同时制定有效的模型安全标准和规范，为深度学习在安全攸关场景中的应用打下坚实的基础。

听众收益

1、学习到安全攸关业务场景在不同对抗样本攻击(例如数字空间白盒、物理世界白盒、云端黑盒等)以及正常的环境扰动时所面临的严重风险；
2、从Safety角度出发，正常环境的概率扰动可能造成目前视觉识别系统的严重错误; 作为白盒模型的目标检测模型YOLOv3，物理对抗样本可以使它无法有效探测面前的车辆;以及广泛应用的云端黑盒模型，也面临着严峻的迁移攻击威胁，可以被迅速绕过；
3、针对上面的这些威胁，我们将学习目前已有的模型鲁棒性的度量方法，以及提升模型鲁棒性的手段；
4、学习百度安全实验室在AI安全研究前沿的研究成果，包括物理世界与云端黑盒的AI模型攻击与检测，模型鲁棒性度量与提升以及我们的AI安全开源工具箱等等。