OpenI 启智社区

启智社区,确实给力

当前位置:首页 > 启梦行动 > 讲座沙龙 > EngineClub > 2022 > 主题分享 >

基于transformer大模型的压缩思路和实验

  • 发布时间:2024-03-29
  • 来源:启智社区

2022年3月2日-2022年第3场 总第25场技术讲座

讲座题目:基于transformer大模型的压缩思路和实验
分享人:易泽轩
分享人介绍:中国传媒大学通信与信息系统硕士毕业,现于鹏城实验室大模型研究子课题工作,负责大模型的在线推理部署和并行算法优化。联系邮箱:yizx@pcl.ac.cn
内容介绍:
基于transformer的预训练模型在大量的NLP任务上取得了SOTA的结果,然而这些模型往往参数规模巨大,难以部署在资源有限的场景。本次分享主要侧重于对transformer的剪枝方法和蒸馏技术介绍,提供压缩模型的多种思路。我们在鹏程·盘古26亿模型上进行了微调的动态剪枝实验,在部分下游任务上,剪枝率达到80%的条件下,精度仍保持甚至高于直接微调的结果。

更多技术讲座和课件下载,请访问EngineClub项目地址