欢迎光临散文网 会员登陆 & 注册

计算机毕业设计spark+hive+nlp租房数据分析可视化大屏 租房推荐系统 大数据毕业设计

2023-08-15 01:37 作者:计算机毕业设计之家  | 我要投稿

流程:

1.爬取58同城租房信息约10万条,可以选择你想要爬取的城市,爬完生成.csv文件同时向mysql数据库保存一份;

2.上传csv到hdfs中,使用hive建表导入CSV数据。

3.一部分分析使用Spark实时计算完成,一部分分析使用hive sql完成;

4.计算结果使用sqoop工具对接到mysql数据库的指标表;

5.使用flask+echarts制作可视化大屏;

创新点:selenium采集海量租房数据、可视化大屏、spark+hive离线计算实时计算全部实现、使用NLP文本分类模型对租房信息的评论部分进行深度学习训练分析

注意:如果还觉得系统太简单不够工作量,可以选装推荐系统、预测系统、知识图谱、后台管理,我这边能1秒无缝对接,实现界面如下:

https://www.bilibili.com/video/BV1HL4y1b7TK/?spm_id_from=333.999.0.0


计算机毕业设计spark+hive+nlp租房数据分析可视化大屏 租房推荐系统 大数据毕业设计的评论 (共 条)

分享到微博请遵守国家法律