高效神经网络结构设计与压缩

AI前沿

2021-07-30 14:30--15:30

案例背景:
随着基于深度神经网络的计算机视觉技术落地拓广，硬件的成本控制越来越严格，这对算法推理的性能、模型大小、资源占用、硬件适配等要求显著提升，需要针对不同的硬件在模型结构上进行针对性设计以实现低成本硬件也能取得很好的算法效果。而传统的网络结构设计依赖于人工的调整，适配硬件的成本很高，这使得我们需要有更自动化的方案来进行高效神经网络的结构设计。

解决思路:
针对上述问题，我们在模型压缩和网络结构搜索两项技术上进行了探索和应用，通过量化、剪枝、蒸馏、nas等技术的综合应用，实现了高效神经网络结构的自动设计和训练，相比原本的人工设计在效果、性能和时间成本上都有显著的提升。

成果：
上述技术已经成功应用于百度计算机视觉的多项产品和业务，基本取代了人工设计网络结构的传统做法，帮助百度的多项AI公有云能力和软硬结合产品实现行业效果领先。同时我们也对内和对外基于paddleslim进行技术的平台化和开源，搭配paddlelite推理引擎可以在各类硬件部署上取得实际加速。