OpenI 启智社区

启智社区,确实给力

当前位置:首页 > 学习 > 实训 >

Spark大数据入门与实践

Spark大数据入门与实践

  • 来源:头歌教研中心
  • 章节:9 单元:32

  • 大数据组

  • 颜渊

  • 马宁

  • ZY
进入实训课程

课程简介:

本实训路径以任务为导向,较为全面地介绍了Spark大数据技术的相关知识。具体内容包括Spark概述;SparkRDD编程;Spark编程进阶;Spark SQL:结构化数据文件处理;Spark Streaming:实时计算框架:功能强大的算法库;项目案例:餐饮平台菜品智能推荐。通过练习和操作实践,帮助你巩固所学的内容。

课程章节:

Spark工作机制

本章节主要介绍了Spark的安装,运行流程和任务提交和初始化流程。

SparkRDD及算子

本章节主要介绍了RDD的概念、用Java、Scala和Python如何创建RDD以及Spark算子在三种语言中的使用。

Spark算子综合案例

本章节为Spark算子的测试题,以此来加深对Spark算子的理解和使用。

SparkSQL

SparkSQL是Spark的一个模块,主要用于进行结构化数据的处理。 本章节主要介绍了如何使用SparkSQL以及多个数据源的读写操作。

SparkStreaming

SparkStreaming是对于Spark核心API的拓展,从而支持对于实时数据流的可拓展,高吞吐量和容错性流处理。本章节介绍了SparkStreaming如何从多个数据源处理数据。

SparkGraphX

GraphX是一个分布式图处理框架,基于Spark平台提供对图计算和图挖掘简洁易用而丰富多彩的接口,满足了大规模图处理的需求。本章主要通过案例讲解GraphX。

Spark机器学习

Spark MLlib Spark中可以扩展的机器学习库,它有一系列的机器学习算法和实用程序组成。 本章节主要通过垃圾邮件检测和红酒分类等案例向我们介绍了分类算法的使用。

Spark实战 - 企业出租车轨迹案例

本章节为出租车轨迹的一个案例,包含了数据清洗,数据分析以及可视化展示几个模块。

Spark实战-酒店数据分析

本章节为酒店数据分析,主要包含数据清洗和数据分析。