OpenI 启智社区

启智社区,确实给力

当前位置:首页 > 启梦行动 > 讲座沙龙 > EngineClub > 2022 > 主题分享 >

大规模预训练模型联邦效率优化

  • 发布时间:2023-03-24

2022年7月28日-2022年第15场 总第37场技术讲座

讲座题目:大规模预训练模型联邦效率优化研究分享
分享人:张嘉琪
分享人介绍:鹏城实验室网络智能部开源技术研究所成员,负责预训练模型联邦学习研发工作。
内容介绍:
BERT、GPT等大规模预训练模型今年来取得了巨大成功,成为AI领域的里程碑。但由于对数据规模及计算资源的高需求,预训练大模型目前仍面临小众、泛用性差的情形。针对数据资源问题,我们提出了基于联邦学习的大模型预训练思路,融合智算网络的分布式算力资源,可以集合不同参与方数据进行训练,并保护各参与方的数据隐私安全。同时我们提出了基于参数稀疏化的训练效果优化思路,在各参与方计算资源有限的情况下,结合云脑的计算资源优势,完成联邦大模型预训练,以满足实际应用场景的需求。