OpenI 启智社区

启智社区,确实给力

当前位置:首页 > 启梦行动 > 讲座沙龙 > EngineClub > 2021 > 主题分享 >

神经网络剪枝方法概述与基于搜索的混合剪枝方法介绍

  • 发布时间:2022-12-06

2021年12月1日-第20场技术讲座

讲座题目:神经网络剪枝方法概述与基于搜索的混合剪枝方法介绍
分享人:吴宇航
分享人介绍:鹏城实验室开源所开源算法研究室成员,负责AutoML与神经网络模型压缩算法的开发。联系方式:derekwu2020@stu.xmu.edu.cn
内容介绍:
模型剪枝是神经网络模型压缩方向中的一类方法,其主要目的是减少神经网络的运算量消耗与内存占用。模型剪枝根据其操作的粒度可以分为五个层级,分别是权重级的稀疏和模式剪枝,卷积核级的连接性剪枝,通道级的1:n剪枝和通道剪枝。从流程上来说经典的剪枝方法一般具有三个部分,预训练,剪枝和微调。也有一些方法将三者中的某两个甚至三者融合。
以往的剪枝方法,大都采用一种重要性标准,然而cv模型的不同层往往具有不同分布,此时过去的方法就会出现一定程度上的错剪误剪,造成性能下降。而混合剪枝方法则针对这一问题,采用多种剪枝标准混合的方法,在每层采用不同标准进行剪枝,以此达到在更高压缩率的基础上维持更好的精度。

更多技术讲座和课件下载,请访问EngineClub项目地址