流程

1.Python爬取steam或者其他游戏站点数据存到.csv和mysql数据库(双备份)；

2.将.csv文件上传到hdfs文件系统；

3.使用hive建表建库，并且导入.csv文件建立数据仓库;

4.一半分析指标使用hive_sql完成，一半分析指标使用Spark完成；

5.分析结果使用sqoop导入mysql数据库；

6.使用Flask+echarts搭建可视化大屏；

创新点

python爬虫、spark实时计算+hive数据仓库离线计算双实现、可视化大屏

注意：如果你还觉得本系统太low,可以选装推荐系统、预测系统、后台管理系统、知识图谱等，如下界面(0秒选装安装无缝衔接)：

https://www.bilibili.com/video/BV1PA411Q7iC/?spm_id_from=333.999.0.0

https://www.bilibili.com/video/BV1Eg41147So/?spm_id_from=333.999.0.0