开发技术

selenium(Python爬虫)、spark、hadoop、scala、hive、sqoop、Flask、echarts、mysql

分析流程

python爬取直播数据存到.csv文件、mysql数据库(备份数据集)，上传CSV到hdfs分布式文件系统上，hive导入csv建模，一部分指标使用hive_sql分析后用sqoop导入mysql，一部分指标使用idea+spark+scala分析计算存入mysql。最终利用flask+echarts构建可视化大屏炫酷显摆！

创新点

• 可视化大屏；

• spark+hive离线计算、实时计算全部实现；

• Python爬虫采集真实直播数据(全网唯一！！！)

题目特色

比较冷门，就算有人给你撞题了我的系统你也可以分分钟吊打答辩现场！

如果还觉得辣鸡可以选装推荐系统(4种深度学习神经网络推荐)、预测系统(卷积神经)、知识图谱、后台管理

选装系统界面如下：

https://www.bilibili.com/video/BV1i14y1o76A/?spm_id_from=333.999.0.0

https://www.bilibili.com/video/BV1Kg4y1P7aT/?spm_id_from=333.999.0.0