计算机毕业设计Python+Spark招聘推荐系统 招聘大数据 招聘数据分析 大数据毕业设计

1.选题意义

近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长，“大数据”一词被越来越多的人提及和热议，随着大数据概念的普及，当今“大数据”一词的重点其实已经不仅在于数据规模的定义，而且代表着信息技术发展进入了一个新的时代。因为爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战，所以大数据处理的新技术和新方法都有了施展的平台。大数据的分析应用具有十分重大的意义和价值，被誉为“大数据时代预言家”的维克托·迈尔-舍恩伯格在其《大数据时代》一书中列举了大量详实的大数据应用案例，并分析预测了大数据的发展现状和未来趋势，提出了很多重要的观点和发展思路。他认为：“大数据开启了一次重大的时代转型”。因此，在未来拥有数据分析的能力将成为各行各业的首要任务。

2.研究内容

使用Python从招聘网上爬取大量的就业招聘信息并且将这些信息保存在本地；然后将这些爬取的就业招聘信息数据集上传到Hadoop集群；使用Hive进行离线分析；最后将分析的就业的公司名、公司该职位薪水、公司所在的地点以及该职业要求的必须能力、以及要求的工作经验等指标通过柱状图、扇形图、饼图、地图的形式将分析的结果展示出来并且将公司的详细数据通过表格的形式展示在页面上。

3.研究方法

通过Python网络爬虫爬取的招聘的网站数据，采用离线分析的方法通过Hadoop、Hive数据仓库对爬取的招聘数据进行分析。从招聘公司的对招聘员工的工作经验、工作地点、公司的类型、技能的要求四个角度入手分析。分析公司对招聘员工的工作经验进行分析可以清楚的看出目前行业对招聘人员的普遍要求；分析公司的工作地点可以看出哪些地方是公司招聘的热门地点；分析公司的类型可以清楚的看出哪种类型的公司对于人才的需求量；分析公司对员工的技能要求可以得到公司当前使用的哪些技术，从而更加清楚的知道整个行业热门的技术有哪些。

4.参考文献

[1]刘晓光.基于MySQL的分布式SQL数据库的设计与实现. 2016-05-01

[2]Garry Turkington. Hadoop基础教程[M].张治起译.人民邮电出版社 第1版, 2014. 

[3]Tom White. Hadoop权威指南[M]. 王海,华东,刘喻,吕粤海译. 清华大学出版社 第四版2017.

[4]董西成. Hadoop技术内幕：深入解析MapReduce架构设计与实现原理[M].机械工业出版社, 2013.

[5]董西成. Hadoop技术内幕：深入解析YARN架构设计与实现原理[M]. 机械工业出版社, 2013.

[6]余炀,曲毅; 孙亦乐.基于Apache Tomcat的一站式Java应用服务器解决方案.中国金融电脑. 2018,(01).

[7]王宏,王清勇.计算机软件开发中Java编程语言的应用[J].数字技术与应用，2020,38（01）：32-33.

[8]黄俊.Java程序设计与应用开发.第二版.机械工业出版社.2014.

[9]陈强.精通Java开发技术.清华大学出版社.2014

[10]向昌成.Java程序设计项目化教程.清华大学大学出版社.2013