流程

• 爬取阳光高考约50-100W历年高考数据(含2023年)存入mysql;

• 使用dump命令将省控线、专业线、专业、学校、省份、软科排名、QS排名等表导出csv存到hdfs上;

• 使用hive基于CSV文件建立数据仓库;

• 一部分数据使用Spark进行实时分析，一部分数据使用Hive进行离线分析;

• 分析结果使用sqoop导入mysql;

• 使用flask+echarts进行可视化大屏实现。

开发技术

spark hadoop  hive sqoop echarts flask requests爬虫技术 mysql

创新点

爬虫、大屏、hadoop+hive离线计算+spark实时计算双实现、海量真实数据

如果你还觉得本系统太low13,本系统可以无缝衔接1秒内选装以下系统的推荐算法(深度学习4种)、预测算法(卷积神经)、后台管理，感兴趣的话可以看下面：

https://www.bilibili.com/video/BV1j8411271E/?spm_id_from=333.999.0.0

https://www.bilibili.com/video/BV1s8411U7rV/?spm_id_from=333.999.0.0