当前位置:首页 > 启梦行动 > 讲座沙龙 > EngineClub > 2022 > 主题分享 >
讲座题目:大规模预训练模型联邦效率优化研究分享
分享人:张嘉琪
分享人介绍:鹏城实验室网络智能部开源技术研究所成员,负责预训练模型联邦学习研发工作。
内容介绍:
BERT、GPT等大规模预训练模型今年来取得了巨大成功,成为AI领域的里程碑。但由于对数据规模及计算资源的高需求,预训练大模型目前仍面临小众、泛用性差的情形。针对数据资源问题,我们提出了基于联邦学习的大模型预训练思路,融合智算网络的分布式算力资源,可以集合不同参与方数据进行训练,并保护各参与方的数据隐私安全。同时我们提出了基于参数稀疏化的训练效果优化思路,在各参与方计算资源有限的情况下,结合云脑的计算资源优势,完成联邦大模型预训练,以满足实际应用场景的需求。