当前位置：首页 > 启梦行动 > 讲座沙龙 > EngineClub > 2021 > 主题分享 >
讲座题目：鹏程·通言—基于稀疏激活与增量训练的多语翻译模型
分享人：张晗
分享人介绍：鹏城实验室-哈尔滨工业大学联培博士生，网络智能部门开源所大模型子课题组，研究方向为自然语言处理中的机器翻译与语言模型的预训练技术。联系方式: zhangh04@pcl.ac.cn
内容介绍：
“通言"多语言机器翻译模型旨在为“一带一路”建设提供语言服务支撑，让“语言通”成为一带一路”五通的基础与依托。目前"通言"模型支持包括中文和十七种“一带一路”语言的任意方向互译，平均翻译性能相比标准transformer模型提升19% (BLEU值)。“通言”模型预训练采用了更加节约能耗的增量式方法，模型结构采用基于稀疏激活的混合专家策略，参数量达到132亿，其推理速度与十分之一参数量的模型相当。“通言”还提供新语言的可持续学习方案，学习新语言时对旧语言翻译的遗忘率控制在1-2%，在一定程度克服了“灾难性遗忘”的问题。
更多技术讲座和课件下载，请访问EngineClub项目地址