计算机毕业设计spark+hive+nlp慕课在线教育可视化 课程推荐系统 知识图谱 深度学习

流程

selenium爬取慕课网的课程、章节、评论数据集分别存两个地方：mysql数据库[便于后期选装推荐、预测算法、知识图谱、后台]、.csv文件；

【需要注意的是慕课网评分不准，需要使用深度学习知识NLP模型进行文本分类、情感分析！！！】

将.csv上传到hdfs中，并使用hive建表后导入.csv数据；

9个指标，一半使用spark/scala去做实时计算分析。一半使用hive_sql进行分层离线处理计算，并使用sqoop把hive分析结果导入mysql;

最终使用flask+echarts制作可视化统计大屏图；

NLP模型进行文本分类情感分析、Python爬虫采集50万+数据集、可视化大屏、spark+hive离线计算实时计算混合开发双实现防止被导师喷;

如果他(导师)还是狂喷不止，继续选择以下的系统，他们可以选装牛鼻功能！

可选装项目模块如下

1.推荐系统(4种深度学习推荐算法 协同过滤基于用户 基于物品 SVD神经网络 MLP)。附带AI、支付、短信、lstm情感分析。

2.预测系统(KNN CNN RNN卷积神经预测 K-means 线性回归)。

3.知识图谱neo4j可视化关系网络图。

4.后台管理系统。

注意：以上1234部分均采用springboot+vue.js前后端分离架构！！！