启智社区，确实给力

当前位置：首页 > 学习 > 实训 >

基于大数据的企业岗位需求决策

基于大数据的企业岗位需求决策

  • 来源：头歌教研中心
  • 章节：3 单元：3

  • 大数据组

  • 马宁
进入实训课程

课程简介：

本课程从网络爬虫入手，获取招聘网站数据，结合 `Hadoop`、`mysql`、`Springboot`、`Echarts` 核心技术搭建一个大数据企业岗位需求的分析系统。
我们会通过几个步骤来实现一个大数据实战项目：
1. 数据采集；
2. 数据清洗；
3. 数据可视化。

课程章节：

数据采集

数据采集主要是采用 Java 爬虫对各大招聘网站上的招聘信息进行数据采集，为最终的数据可视化进行铺垫。

数据清洗

本阶段主要是使用 MapReduce 对招聘网站上的数据进行数据清洗 ，过滤掉一些不符合需求或者数据残缺的数据。

数据可视化

数据可视化主要是采用 SpringBoot + Mybatis + Echarts 进行数据可视化系统进行架构，Springboot + Mybatis 负责从 Mysql 数据库中查询相应的数据并将该数据与相关业务进行结合形成对外的接口，Echarts 负责数据图表的展示，使用 Ajax 访问接口，然后获取返回的数据，完成最终的数据渲染展示