启梦行动

讲座题目：鹏程·盘古简介
分享人：颜达森
分享人介绍：深圳大学计算机科学与技术专业硕士毕业，现在鹏城实验室网络智能部开源所，负责大模型的开发和大模型算法库的研发工作。邮箱：yands@pcl.ac.cn
内容介绍：
鹏程·盘古是业界首个2000亿超大参数中文预训练模型。由鹏城实验室联合有关单位技术团队组建的「盘古α」联合攻关团队，首次基于“鹏城云脑Ⅱ”和MindSpore框架的自动混合并行模式实现在2048卡算力集群上的大规模分布式训练，训练出业界首个2000亿超大参数中文预训练模型“鹏程·盘古”。模型在16个下游任务中大部分指标优于SOTA模型，其中零样本学习任务11个任务领先，单样本学习任务12个任务领先，小样本学习任务13个任务领先。代码、模型以及在线体验服务已经在OpenI 启智社区全部开源开放。