OpenI 启智社区

启智社区,确实给力

当前位置:首页 > 启梦行动 > 讲座沙龙 > EngineClub > 2022 > 主题分享 >

星云(Nebula-I):面向云际协同的统一训练框架

  • 发布时间:2024-04-20

2022年7月6日-2022年第13场 总第35场技术讲座

讲座题目:星云(Nebula-I):面向云际协同的统一训练框架
分享人:侯永帅 博士
分享人介绍:哈尔滨工业大学计算机应用技术专业博士,现于鹏城实验室基础技术研究室,负责自然语言处理算法研发。联系邮箱:houysh@pcl.ac.cn
内容介绍:
当前人工智能模型的参数规模变得越来越大,使得单集群难以完成模型训练,已训练模型也难以给普通用户使用,如何使用跨地域集群、复用已训练模型进行目标模型训练是当前亟待解决的问题。
面向云际环境的深度学习统一训练框架“鹏城-百度·星云(Nebula-I)”,可以根据任务场景对训练策略、并行方式和通信模式进行整体优化,实现在低带宽环境下使用异地算力、复用已有模型来训练目标模型。本次分享主要介绍星云框架及其在NLP模型不同训练阶段的应用及效果。