启智社区，确实给力

当前位置：首页 > 学习 > 实训 >

Spark 军用大数据分析（Python3 实战 ）

Spark 军用大数据分析（Python3 实战 ）

  • 来源：头歌教研中心
  • 章节：6 单元：13

  • 大数据组

  • Coder
进入实训课程

课程简介：

Spark 最初由美国加州伯克利大学的 AMP 实验室于 2009 年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。

本课程以军事数据分析处理为主线，主要包括使用 Spark SQL 统计全球战斗机相关性能指标，使用 Structed Streaming 对飞机点击次数的实时统计，使用 Spark MLib 对坦克类型分类以及使用 Spark GraphX 对军用物资运输路线规划。另外，我们还有 Spark Core 相关知识的介绍。

Spark 支持 Java、Scala 和 Python 等语言，本课程主要基于 Python 语言开发。

本课程使用 Python3 实战讲解了 Spark 核心功能组件，结合军事数据进行脱敏作为实战项目，让你在学习对大数据进行处理与分析的同时也了解如何对军事相关数据进行使用和分析，从而形成数据洞察，辅助决策人员作出更好的决策。

本门课程分为六个章节：

- 前两章主要介绍 Spark 的基础知识，包括 Spark 环境的搭建，入门案例的编写，Spark Core的使用，带领你通过实战来入门 Spark；

- 第三章至第六章主要介绍 Spark 核心组件结合军事数据进行分析的案例，带领你通过项目实战来学习和了解 Spark 核心组件的使用。




课程章节：

第一章：Spark 入门

本章节主要介绍Spark的核心入门知识，包含Spark的安装，运行流程、任务提交等模块，带领你认识 Spark。

第二章：Spark Core核心RDD

RDD 是 Spark 的计算模型。是 Spark 中最基本的数据抽象，它代表一个不可变、只读的、被分区的数据集。RDD使用方便，而无需关心底层的调度细节。本章节将带领你学习RDD的基础知识，了解如何使用RDD进行编程。

第三章：SparkSQL结构化数据分析与处理

SparkSQL 是 Spark 的一个模块，主要用于进行结构化数据的处理。本章节主要介绍 Spark SQL 的入门知识以及使用 Spark SQL 进行军事信息统计。

第四章：Spark 结构化流处理

Spark Structed Streaming 是 Spark 的一个模块，主要用来进行实时数据处理。本章节主要介绍了 Spark 流处理中的结构化流的使用，以及如何使用结构化流进行军事数据的实时处理。

第五章：Spark GraphX 图计算

Spark GraphX 图计算是 Spark 的一个模块。本章节主要介绍了 Spark GraphX 图计算的基础知识，并根据所学对军用物资路线进行规划。

第六章：Spark MLib 机器学习

Spark MLib 机器学习是 Spark 的一个模块，提供了 MLlib 机器学习的包，本章节主要介绍了Spark MLib 机器学习的基础知识，并使用 Spark Mlib 对卫星坦克图像进行分类。