昨日,首届 WAVE SUMMIT 2019 深度学习开发者峰会在北京举办,会上,来自工业界的多家展商展示了基于 PaddlePaddle 训练的包括瓷器质检、遥感影像目标检测与语义分割、轴承外观缺陷检测等多个系统,百度高级副总裁、深度学习技术及应用国家工程实验室主任王海峰,百度深度学习技术平台部总监马艳军均上台发言,分别阐述了深度学习在智能时代的重要意义以及推进 PaddlePaddle 的价值、PaddlePaddle 的一系列新特性,在会上,更是重磅发布 PaddlePaddle 中文名「飞桨」以及 AI studio 亿元免费算力支持计划。而来自学术界和工业界的嘉宾也共聚一堂,对深度学习的发展情况以及未来展开激烈探讨。
开场伊始,百度高级副总裁王海峰博士表示,人类经历的三次工业革命,分别以机械技术、电气技术和信息技术为核心驱动力,而现在,人工智能是第四次工业革命核心驱动力量,这一技术会将人类社会带入智能时代。
随后,他也从语音识别、语音合成、OCR 技术、自然语言处理以及机器翻译诸多层面对深度学习带来的重大价值进行了举例。诸如机器翻译,最早基于规则系统,依据领域知识,但是由人工撰写规则,存在规则冲突,耗时也耗力,随后进展到统计机器翻译,由人工设计特征,需要机器自动训练,但也存在模型多、单个模型无法迁移到其他场景的问题,到现在的基于神经网络机器,依靠深度神经网络,利用端到端模型全自动学习,这样大大节省了人力资源和成本。
在这一过程中,深度学习框架的发展极具现实意义。他强调,深度学习推动人工智能进入工业大生产阶段,深度学习框架是智能时代的操作系统,从最底层芯片出发,我们需要通过框架来训练模型,随后才能完成各种业务模型,触及各个行业应用。
图:PaddlePaddle 全景
针对深度学习工具的必要性,他也为广大开发者重温了 PaddlePaddle 的各种功能。PaddlePaddle 包括核心框架、工具组件和服务平台三大部分。在核心框架层面,可以为开发者提供开发、训练和预测三大能力,在此之上,百度提供包括视觉、自然语言处理等在内的丰富模型,通过模块化的方式提供给使用者。
在工具组件上,PaddlePaddle 提供包括迁移学习、强化学习、自动化网络结构设计、训练可视化工具、弹性深度学习计算等在内的多个工具组件,适应工业大生产的需要。而在服务平台层面,PaddlePaddle 则提供零基础定制化训练和服务平台 EasyDL 以及一站式开发平台 AI Studio。他表示,这一整套的框架和服务,可以帮助广大开发者和企业利用工具化、平台化的方式,进一步降低深度学习应用门槛,加速推动产业智能化变革。
百度 PaddlePaddle 全新升级,中文名「飞桨」
随后,马艳军上台从开发、训练、预测、工具、服务五个层面出发,介绍了全新升级的 PaddlePaddle。
开发环节,主要包括 PaddleNLP 和视频识别工具集的升级。
马艳军表示,PaddlePaddle 目前已经支持 60 多个经过真实业务场景验证的官方模型,涵盖视觉、自然语言处理、推荐等 AI 核心技术领域。此次,PaddlePaddle 提供 NLP 和 CV 领域的更多模型,在 NLP 领域,提供语义表示模型 ERNIE、BERT、ELMo,语言模型 LSTM、GRU,语义匹配组网集 SimNet,在 CV 领域,提供诸如流行的 fast R-CNN、faster R-CNN、mask R-CNN、SSD、VGG、ResNet 等丰富的模型。
另外,此次发布的视频识别工具集能共享骨架代码,覆盖当前 7 个经典的视频分类模型,包括百度的 stNet、Attention LSTM 和 Attention Cluster,还可实现一键式的高效配置来做训练和预测。
训练环节,主要是大规模分布式训练和工业级数据处理上的升级。
大规模分布式训练主要从三方面实现升级。首先全面支持多机多卡,其次在 CPU 的应用场景方面,针对大规模稀疏特征设计并开放了大规模稀疏参数服务器,此外,提供 K8S 生态支持。
在数据处理方面,主要有如下四大优势:分布式样本 Shuffle、分布式文件系统 IO 支持、高性能多生产者-多消费者设计、多种语言 IO 组件的灵活嵌⼊。
而在预测环节,PaddlePaddle 支持完整的端到端全流程部署方案,在服务端部署上,提供完备的在线服务能力,支持硬件设备的扩展,以及快速部署。此外,PaddleSlim 模型压缩工具库能够在精度损失较小的情况下高效进⾏模型体积压缩。
在工具组件上,PaddlePaddle 不仅重磅开源 AutoDL Design、升级 PARL,并首次提出并发布预训练一站式管理工具 PaddleHub。AutoDL Design 自动化网络结构设计是用深度学习设计深度学习,目前已经全面超过人类专家设计的网络效果。升级后的强化学习工具 PARL,在算法的覆盖、高性能通讯以及并行的训练方面做了大量支持和扩展。PaddleHub提供包括预训练模型管理、命令行一键式使用和迁移学习三大功能,10 行代码即可让开发者完成模型迁移。
发布 AI studio 一亿元免费算力支持计划以及未来更新图
而在服务方面,百度发布亿元算力支持计划,支持开发者免费试用工业旗舰 GPU,同时提供免费安装的集成环境,开发者可以直接上手试用。在这里,提供两种模式,一是一人一张 V100 训练卡,提供 16GB 显存以及最高 2TB 的存储空间,这里可以使用邀请码获赠算力时长,邀请好友加入即可获赠更多时长。二是远程集群模式,百度提供单卡 12GB 显存,开发者可以多卡并行训练,以及不限时免费试用。这里登录 AI studio 即可使用。
面向高校、开发者和企业,PaddlePaddle 也有不同的方案,针对高校,提供深度学习师资培训班,针对开发者,有免费在线课程以及算力支持,此外还举办不间断的赛事,而针对企业,则设置 AI 黄埔学院、AI 快车道以及百度 AI 技术生态扶持。
在会上,马艳军也公布了 PaddlePaddle 未来一系列新计划:
在 2019 年 7 月,将实现如下四项功能:
- 动态图基本功能完善,新增流水线并行能力
- 提供视觉检测、生成工具集,使用文档全面优化
- 显存占用优化,静态图训练速度全面提升
- 优化高速推理引擎,支持在更多硬件的快速扩展,完善支持半精度
2019 年 11 月,将实现如下四项功能:
- 动态图实现与静态图灵活转换,支持高层 API
- 动态图训练速度全面优化
- PaddleHub 升级到 2.0,基于最完备的预训练模型库进行迁移学习
- 多项行业应用解决方案发布
而在会后,雷锋网 AI 科技评论也针对以下开发者所关注的问题对马艳军进行了提问,以下为问答环节。
雷锋网:2016 年 9 月,百度开源 PaddlePaddle,发展至今,PaddlePaddle 与 TensorFlow 以及 PyTorch 相比,主要差异点在哪里,对于开发者来说,使用它有哪些优势?
马艳军:PaddlePaddle 是在我们的产业实践中持续研发和完善起来的,我们的 slogan 也是「源自产业实践的开源深度学习平台」。因此 PaddlePaddle 贴合实际应用场景,真正满足工业场景的应用需求。PaddlePaddle 也开放了深度学习产业应用中的最佳实践。如官方支持面向真实场景应用、达到工业级应用效果的模型,针对大规模数据场景的分布式训练能力、支持多种异构硬件的高速推理引擎,训练所支持的数据规模、训练速度、推理支持的硬件全面性、推理速度更优。
第二,PaddlePaddle 不仅仅包含深度学习框架,而是提供一整套紧密关联、灵活组合的完整工具组件和服务平台,更加有利于深度学习技术的应用落地。目前 PaddlePaddle 完整具备了端到端的平台能力。去年我们就将 PaddlePaddle 定位为深度学习平台,我们布局也是很早的。所以,我们出的各种相应的配套工作都做得非常完善,开发者能在实打实的应用里体验到,在这个方面 PaddlePaddle 和其他框架相比形成了自己的特色。
雷锋网:在 TensorFlow 以及 PyTorch 发展非常成熟的今天,推动 PaddlePaddle 在中国的进展非常有难度,你们是如何应对的?
马艳军:确实有一定的先发优势在那儿,不过开发者的眼睛和手都是很快的,只要什么地方出了什么好用的东西他们很快就能看得到并用起来。所以,我们一直还是觉得真正把这个东西做好用了,开发者自然而然就会用。这是其一。
其二,我们确实有自己的技术优势,真正能让开发者用起来的,不管是产业实践特色还是自己就有很多结合场景做出原创模型和系统的能力,以及百度 AI 生态的影响力,我们还是有很强的势能,能够真正把这个东西做起来。
雷锋网:前几年大家一直关注 AI 框架,但是近年来框架同质化严重,而且发展很成熟了。有种说法是,作为 AI 工程师,我们应该跳出框架的桎梏,往更广泛的领域寻找价值。您如何看待这一观点?
马艳军:首先,深度学习技术有比较好的通用性,能比较好地解决人工智能领域的很多问题。而深度学习框架是智能时代的操作系统,能够让深度学习更容易使用起来,从而让 AI 进入广泛应用。因此深度学习框架在 AI 时代处在一个十分关键的位置。其次,我们自己的业务场景也需要对深度学习和深度学习框架做更加深入的技术研发,而且我们自己在这些领域也处在非常领先的位置,会持续在这个领域引领技术的发展。
时至今日,PaddlePaddle 与 PyTorch、TensorFlow 等各种框架的发展,正如手机操作系统中的 IOS 与 Android 一样。在如今框架发展日益成熟的今天,你在使用什么框架?欢迎留言讨论。
来源 | 雷锋网
作者 | 汪思颖