当前位置：首页 > 启梦行动 > 讲座沙龙 > EngineClub > 2022 > 主题分享 >
讲座题目：大规模预训练模型联邦效率优化研究分享
分享人：张嘉琪
分享人介绍：鹏城实验室网络智能部开源技术研究所成员，负责预训练模型联邦学习研发工作。
内容介绍：
BERT、GPT等大规模预训练模型今年来取得了巨大成功，成为AI领域的里程碑。但由于对数据规模及计算资源的高需求，预训练大模型目前仍面临小众、泛用性差的情形。针对数据资源问题，我们提出了基于联邦学习的大模型预训练思路，融合智算网络的分布式算力资源，可以集合不同参与方数据进行训练，并保护各参与方的数据隐私安全。同时我们提出了基于参数稀疏化的训练效果优化思路，在各参与方计算资源有限的情况下，结合云脑的计算资源优势，完成联邦大模型预训练，以满足实际应用场景的需求。