流程

1.使用Python采集新闻数据约10万条存入mysql数据库;

2.使用pandas+numpy或者hadoop+mapreduce进行数据清洗，尝试用深度学习的分析模型对新闻语料、情感、数据标注等进行大模型分析，最终结果保存为.csv文件并上传hdfs;

3.使用hive建库建表，导入.csv文件作为数据集；

4.一半分析指标使用hive_sql完成，一半分析指标使用Spark之Scala完成；

5.对分析的结果使用sqoop导入mysql数据库；

6.使用Flask+echarts构建炫酷吊炸天大屏可视化界面；

创新点

1大屏 2Python爬虫 3深度学习自然语言处理分析 4海量百万数据随时可爬 5实时计算+离线计算全部实现

注意点

如果你还觉得工作量不够，可以选装推荐系统(4种机器学习、深度学习推荐算法)、预测系统、知识图谱、后台等，实现界面如下(我保证可以0秒内无缝对接选装安装上)

https://www.bilibili.com/video/BV1WG411o7sZ/?spm_id_from=333.999.0.0