大数据毕业设计hadoop+spark+hive小说数据分析可视化大屏 小说推荐系统 计算机毕设

流程：

1.爬取17k.com的小说数据约5-10万，存入mysql数据库；

2.使用mapreduce对mysql中的小说数据集进行数据清洗，转为.csv文件上传至hdfs文件系统；

3.根据.csv文件结构，使用hive建库建表；

4.一半分析指标使用hive_sql完成，一半分析指标使用Spark-Scala完成;

5.将分析结果使用sqoop导入mysql数据库；

6.使用Flask+echarts构建可视化大屏；

创新点：Python爬虫、海量数据、可视化、实时计算spark+离线计算hive双实现

可选装知识图谱、推荐系统、后台管理、预测系统等，实现界面如下(可0秒无缝衔接选装上)：

https://www.bilibili.com/video/BV1aj411K7wp/?spm_id_from=333.999.0.0

https://www.bilibili.com/video/BV1MR4y1b7kZ/?spm_id_from=333.999.0.0