高效神经网络结构设计与压缩

案例来源:百度
会议地点:深圳
分享时间: 2021-07-30 14:30-15:30

刘经拓  |

百度 视觉技术部主任架构师

刘经拓,视觉技术部主任研发架构师,负责视觉垂类算法和软硬结合技术,从事计算机视觉算法研发工作近10年时间,在各类视觉顶级会议中发表多篇学术论文并获得多项学术竞赛冠军,目前担任视觉技术部TC主席。主导研发的人脸识别技术入选2017年"MIT世界十大技术突破"之一。

课程概要

案例背景:
随着基于深度神经网络的计算机视觉技术落地拓广,硬件的成本控制越来越严格,这对算法推理的性能、模型大小、资源占用、硬件适配等要求显著提升,需要针对不同的硬件在模型结构上进行针对性设计以实现低成本硬件也能取得很好的算法效果。而传统的网络结构设计依赖于人工的调整,适配硬件的成本很高,这使得我们需要有更自动化的方案来进行高效神经网络的结构设计。

解决思路:
针对上述问题,我们在模型压缩和网络结构搜索两项技术上进行了探索和应用,通过量化、剪枝、蒸馏、nas等技术的综合应用,实现了高效神经网络结构的自动设计和训练,相比原本的人工设计在效果、性能和时间成本上都有显著的提升。

成果:
上述技术已经成功应用于百度计算机视觉的多项产品和业务,基本取代了人工设计网络结构的传统做法,帮助百度的多项AI公有云能力和软硬结合产品实现行业效果领先。同时我们也对内和对外基于paddleslim进行技术的平台化和开源,搭配paddlelite推理引擎可以在各类硬件部署上取得实际加速。

听众收益

1.了解模型压缩、网络结构搜索等技术的基本原理和前沿进展;
2.了解如何根据项目和资源情况进行技术选型;
3.了解软硬结合的AI模型的部署与应用;
4.获取一次从新技术领域探索到大规模应用的成功经验

刘经拓  |

百度
视觉技术部主任架构师

刘经拓,视觉技术部主任研发架构师,负责视觉垂类算法和软硬结合技术,从事计算机视觉算法研发工作近10年时间,在各类视觉顶级会议中发表多篇学术论文并获得多项学术竞赛冠军,目前担任视觉技术部TC主席。主导研发的人脸识别技术入选2017年"MIT世界十大技术突破"之一。

课程概要

案例背景:
随着基于深度神经网络的计算机视觉技术落地拓广,硬件的成本控制越来越严格,这对算法推理的性能、模型大小、资源占用、硬件适配等要求显著提升,需要针对不同的硬件在模型结构上进行针对性设计以实现低成本硬件也能取得很好的算法效果。而传统的网络结构设计依赖于人工的调整,适配硬件的成本很高,这使得我们需要有更自动化的方案来进行高效神经网络的结构设计。

解决思路:
针对上述问题,我们在模型压缩和网络结构搜索两项技术上进行了探索和应用,通过量化、剪枝、蒸馏、nas等技术的综合应用,实现了高效神经网络结构的自动设计和训练,相比原本的人工设计在效果、性能和时间成本上都有显著的提升。

成果:
上述技术已经成功应用于百度计算机视觉的多项产品和业务,基本取代了人工设计网络结构的传统做法,帮助百度的多项AI公有云能力和软硬结合产品实现行业效果领先。同时我们也对内和对外基于paddleslim进行技术的平台化和开源,搭配paddlelite推理引擎可以在各类硬件部署上取得实际加速。

听众收益

1.了解模型压缩、网络结构搜索等技术的基本原理和前沿进展;
2.了解如何根据项目和资源情况进行技术选型;
3.了解软硬结合的AI模型的部署与应用;
4.获取一次从新技术领域探索到大规模应用的成功经验

CopyRight © 2008-2021 Msup & 高可用架构

京ICP备09001521号