OpenI 启智社区

启智社区,确实给力

当前位置:首页 > 学习 > 实训 >

深度学习与 MinSpore 实践

深度学习与 MinSpore 实践

  • 来源:中国科学技术大学
  • 章节:6 单元:11

  • 陈苏浩
进入实训课程

课程简介:

自 $$2006$$ 年,深度学习 ( DL,Deeping Learning )这一术语被正式提出后,人工智能的发展便引起了轩然大波。深度学习是一门在许多领域都有着及其广泛地应用,在图像识别、语音识别与合成、无人驾驶、机器视觉等方面取得了巨大的成功。这也对算法的应用以及依赖的框架有了更高级的要求。深度学习框架的不断发展使得在大型数据集上训练神经网络模型时,可以方便地使用大量的计算资源。
深度学习是使用多层结构从原始数据中自动学习并提取高层次特征的一类机器学习算法。通常,从原始数据中提取高层次、抽象的特征是非常困难的。目前有两种主流的深度学习框架:一种是在执行之前构造一个静态图,定义所有操作和网络结构,典型代表是 TensorFlow ,这种方法以牺牲易用性为代价,来提高训练期间的性能;另一种是立即执行的动态图计算,典型代表是 PyTorch 。通过比较可以发现,动态图更灵活、更易调试,但会牺牲性能。因此,现有深度学习框架难以同时满足易开发、高效执行的要求。
MindSpore 是由华为推出的新一代全场景 AI 计算框架,MindSpore 着重提升易用性并降低 AI 开发者的开发门槛,MindSpore 原生适应每个场景包括端、边缘和云,并能够在按需协同的基础上,通过实现 AI 算法即代码,使开发态变得更加友好,显著减少模型开发时间,降低模型开发门槛。通过 MindSpore 自身的技术创新及 MindSpore 与华为昇腾 AI 处理器的协同优化,实现了运行态的高效,大大提高了计算性能;MindSpore 也支持 GPUCPU 等其它处理器。



src="https://data.educoder.net/api/attachments/2107659"
alt=""
height="70%"
width="70%" />
推荐教材


本课程是深度学习的入门课程,系统介绍深度学习的基础知识与 AI 计算框架 MindSpore 的相关实践,包括以下部分:
第一部分:介绍 MindSpore 的基本架构以及 MindSpore 的基本运算方法。介绍几个常用数据集及如何使用 MindSpore 去读取并处理数据。
第二部分:介绍神经网络的前向传播、反向传播及神经网络的基本结构;介绍 MindSpore 如何实现前向传播、反向传播及如何搭建简单的全连接神经网络解决手写数字体识别问题。
第三部分:介绍深度网络训练所面临的问题,介绍多种优化方法原理、 L1 正则化、L2 正则化、Dropout 及如何使用 MindSPore 在深度网络训练这些技巧防止过拟合问题。

第四部分:介绍卷积神经网络的神经科学基础、卷积和池化操作及如何使用 MindSpore 搭建卷积神经网络解决实际问题;介绍经典的卷积神经网络进行比较并使用 MindSpore 搭建经典卷积神经网络进行实践。
第五部分:介绍循环神经网络的基本结构及如何让使用 MindSpore 搭建循环神经网络;介绍经典循环神经网络及如何使用 MindSpore 应用并解决实际问题。

课程章节:

MindSpore 基础

MindSpore 是由华为推出的新一代全场景人工智能计算框架,着重提升易用性并降低 AI 开发者的开发门槛,总体的架构主要包括三部分,总体分为 MindSpore 前端表示层、 MindSpore 计算图引擎和 MindSpore 后端运行。MindSpore 开发态友好,运行高效、部属态灵活, MindSpore 通过自身的技术创新及 MindSpore 与华为昇腾AI处理器的协同优化,实现了运行态的高效,大大提高了计算性能。本章主要介绍 MindSpore 的基本架构及如何让使用 MindSpore 进行简单编程。

深度神经网络基础

人工神经网络也简称为神经网络,它是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度,通过调整内部大量节点之间相互连接的关系,从而达到处理信息的目的。神经网络的研究内容相当广泛,反映了多学科交叉技术领域的特点。现代人工智能可以通过构造合适的神经网络来解决各种问题,并且神经网络的性能指标往往比传统的机器学习算法更加优化。介绍神经网络的前向传播、反向传播及神经网络的基本结构;介绍 MindSpore 如何实现前向传播、反向传播及如何搭建简单的全连接神经网络解决手写数字体识别问题。

深度神经网络学习与优化

当神经网络的深度不断加深,神经网络的计算性能也在不断提升,但是在验证集上可能会导致过拟合问题,为了解决过拟合问题并且提高训练过程的优化速度我们提出了很多优化方法,本章主要介绍深度网络训练所面临的问题,介绍多种优化方法原理、 L1 正则化、L2 正则化、Dropout 及如何使用 MindSpore 在深度网络训练这些技巧防止过拟合问题。

卷积神经网络

卷积神经网络是一种前向神经网络,表示在网络中采用卷积的数学运算,它是一种专门处理具有类似网状数据的神经网络,卷积神经网络仿造生物的视知觉机制构建,可以进行监督学习和非监督学习,其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征,例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程要求 。介绍卷积神经网络的神经科学基础、卷积和池化操作及如何使用 MindSpore 搭建卷积神经网络解决实际问题;介绍经典的卷积神经网络进行比较并使用 MindSpore 搭建经典卷积神经网络进行实践。

循环神经网络

循环神经网络是一类以序列数据为输入,在序列的演进方向进行递归且所有节点(循环单元)按链式连接的递归神经网络。循环神经网络具有记忆性、参数共享并且图灵完备,因此在对序列的非线性特征进行学习时具有一定优势。循环神经网络在自然语言处理,例如语音识别、语言建模、机器翻译等领域有应用,也被用于各类时间序列预报。介绍循环神经网络的基本结构及如何让使用 MindSpore 搭建循环神经网络;介绍经典循环神经网络及如何使用 MindSpore 应用并解决实际问题。

深度强化学习

如果能够充分利用深度学习的优势,将会提高强化学习智能体在实际任务中的表现,尤其是利用深度学习极强的表征能力。深度强化学习将深度学习的感知能力和强化学习的决策能力相结合,可以直接根据输入的图像进行控制,是一种更接近人类思维方式的人工智能方法。本章主要包含有一个深度强化学习的小实验。