当前位置：首页 > 启梦行动 > 讲座沙龙 > EngineClub > 2021 > 主题分享 >
讲座题目：MindSpore 并行训练技术
分享人：陶恒韬
分享人介绍：武汉邮电科学研究院信号与信息处理硕士，现于鹏城实验室基础技术研究室，负责大模型的并行训练和优化、多语言大模型、可持续学习等。联系邮箱：taoht@pcl.ac.cn
内容介绍：
MindSpore深度学习框架作为全国产软硬件协同生态中重要的一环，为“鹏城云脑Ⅱ”的使用和发挥效能提供了有力支撑。本次分享以鹏程盘古α的分布式并行训练经验为基础探讨MindSpore支持的并行训练解决方案，包括数据并行、算子级模型并行、Pipeline并行、优化器并行等并行训练技术，以及梯度累积、混合精度训练、图算融合、异构并行等性能优化方案，结合在盘古α和Transformer模型上的混合并行实现和效率优化，为模型训练效率和性能的提升提供思路和借鉴。
更多技术讲座和课件下载，请访问EngineClub项目地址