计算机毕业设计吊打导师hadoop+spark+hive知网文献数据分析可视化大屏 知网文献推荐系

## 开发技术：

spark hadoop hive 装杯显摆虚拟机Linux敲命令炫酷吊打 flask echarts sqoop scala hdfs yarn mysql requests爬虫框架等；

## 流程： 

1.采集知网文献数据，同步存到mysql数据库和.csv文件，并将.csv上传hdfs文件系统；

2.使用hive建库建表导入hdfs中的.csv数据;

3.一半的指标使用hive_sql分析以后用sqoop导入mysql;一半的指标使用Spark的scala分析计算后插入mysql;

4.使用glask+echarts构建可视化大屏；

## 创新点：

Python爬虫、可视化大屏、离线数仓hive+实时计算Spark双结合双实现防止导师喷人、使用vmvare虚拟机模拟大数据环境等

如果他(导师)还是狂喷不止，继续选择以下的系统，他们可以选装牛鼻功能！

## 可选装项目模块如下：

1.推荐系统(4种深度学习推荐算法 协同过滤基于用户 基于物品 SVD神经网络 MLP)。附带AI、支付、短信、lstm情感分析。

2.预测系统(KNN CNN RNN卷积神经预测 K-means 线性回归)。

3.知识图谱neo4j可视化关系网络图。

4.后台管理系统。

## 注意：以上1234部分均采用springboot+vue.js前后端分离架构！！！

选装视频效果如下：

https://www.bilibili.com/video/BV1Vu411L7vU/?spm_id_from=333.999.0.0

https://www.bilibili.com/video/BV1zm4y1j7wx/?spm_id_from=333.999.0.0

https://www.bilibili.com/video/BV15K411Z79Y/?spm_id_from=333.999.0.0