当前位置：首页 > 启梦行动 > 讲座沙龙 > EngineClub > 2021 > 主题分享 >
讲座题目：神经网络剪枝方法概述与基于搜索的混合剪枝方法介绍
分享人：吴宇航
分享人介绍：鹏城实验室开源所开源算法研究室成员，负责AutoML与神经网络模型压缩算法的开发。联系方式：derekwu2020@stu.xmu.edu.cn
内容介绍：
模型剪枝是神经网络模型压缩方向中的一类方法，其主要目的是减少神经网络的运算量消耗与内存占用。模型剪枝根据其操作的粒度可以分为五个层级，分别是权重级的稀疏和模式剪枝，卷积核级的连接性剪枝，通道级的1：n剪枝和通道剪枝。从流程上来说经典的剪枝方法一般具有三个部分，预训练，剪枝和微调。也有一些方法将三者中的某两个甚至三者融合。
以往的剪枝方法，大都采用一种重要性标准，然而cv模型的不同层往往具有不同分布，此时过去的方法就会出现一定程度上的错剪误剪，造成性能下降。而混合剪枝方法则针对这一问题，采用多种剪枝标准混合的方法，在每层采用不同标准进行剪枝，以此达到在更高压缩率的基础上维持更好的精度。
更多技术讲座和课件下载，请访问EngineClub项目地址