音乐数据中心数仓综合项目

1.项目介绍

音乐数据中心项目是大型企业级综合数仓项目，此项目针对音乐数据进行分析，构建数据仓库，建立用户、机器、内容等主题进行数据分析，涉及数仓建模理论基础、数仓建模规则、数仓建模命名设计规范、数仓分层设计、数仓数据采集、数据ETL、数据质量检验、各主题业务处理流程设计、实时数据处理、任务流调度、数据可视化等实际企业级大数据数据中心建设使用到的方法论及实际技术使用流程。

2.技术选型

音乐数据中心主要使用技术如下：CDH、flume、sqoop、HDFS、Spark、SparkSQL、Hive、Hbase、Zookeeper、kafka、mysql、redis、yarn、superset、Azkaban等

3.项目核心功能模块

音乐数据中心数仓项目主要分析业务如下：

1)针对业务数仓建模分层设计

2)关系型数据库批量、实时采集到数据中心

3)SpringBoot日志采集接口采集日志数据到数据中心

4)歌曲、歌手热度分析

5)机器分布分析

6)机器位置信息统计分析

7)活跃、留存用户分析

8)用户机器营收分析

9)商户营收数据分析

10)地域营收分析

11)实时热歌榜单分析

12)实时PV/UV统计

13)音乐排行榜统计

4、适合人群

1)掌握Hadoop及HDFS原理和使用

2)掌握Hive、HBase、Sqoop、Flume工具

3)掌握SparkCore,SparkSQL,SparkStreaming原理及代码编写

4)掌握azkaban原理及使用

5)掌握Kafka原理及使用

6)掌握redis原理及使用

5、课程章节

第一章 数据仓库建模理论及模型设计

01_数据仓库建模理论_数据库及数据库三范式设计

02_数据仓库建模理论_ER实体关系模型设计

03_数据仓库建模理论_ER实体关系模型设计案例分析

04_数据仓库建模理论_数据仓库产生原因及数据仓库概念

05_数据仓库建模理论_数据仓库发展过程

06_数据仓库建模理论_维度建模事实表及维度表

07_数据仓库建模理论_维度建模数据分析模型分类

08_数据仓库建模理论_维度建模案例分析

09_数据仓库建模理论_数据仓库分层设计及每层设计思想

10_数据仓库建模理论_数据仓库分层案例分析

11_数据仓库建模理论_数据库与数据仓库区别

第二章 歌曲热度与歌手热度排行

01_音乐数据中心项目_项目介绍

02_音乐数据中心项目_项目技术架构设计

03_音乐数据中心项目_项目集群配置、项目人数及项目开发周期

04_音乐数据中心项目_项目数据仓库分层设计、主题设计、命名规范

05_音乐数据中心项目_歌曲热度及歌手热度_需求

06_音乐数据中心项目_歌曲热度及歌手热度_需求分析 01

07_音乐数据中心项目_歌曲热度及歌手热度_需求分析 02

08_音乐数据中心项目_歌曲热度及歌手热度_表模型设计

09_音乐数据中心项目_歌曲热度及歌手热度_数据仓库分层及数据流转处理流程

10_音乐数据中心项目_歌曲热度及歌手热度_项目结构介绍

11_音乐数据中心项目_歌曲热度及歌手热度_客户端歌曲播放日志数据处理 01

12_音乐数据中心项目_歌曲热度及歌手热度_客户端歌曲播放日志数据处理 02

13_音乐数据中心项目_歌曲热度及歌手热度_客户端歌曲播放日志数据处理 03

14_音乐数据中心项目_歌曲热度及歌手热度_Sqoop 安装及准备jar包

15_音乐数据中心项目_歌曲热度及歌手热度_将歌库歌曲表通过Sqoop导入ODS层

16_音乐数据中心项目_歌曲热度及歌手热度_SparkSQL 使用补充

17_音乐数据中心项目_歌曲热度及歌手热度_ETL获取EDS层歌曲基本信息日全量表 01

18_音乐数据中心项目_歌曲热度及歌手热度_ETL获取EDS层歌曲基本信息日全量表 02

19_音乐数据中心项目_歌曲热度及歌手热度_ETL获取EDS层歌曲特征日统计表 01

20_音乐数据中心项目_歌曲热度及歌手热度_ETL获取EDS层歌曲特征日统计表 02

21_音乐数据中心项目_歌曲热度及歌手热度_微信指数公式及歌曲歌手热度计算公式

22_音乐数据中心项目_歌曲热度及歌手热度_歌曲热度统计 01

23_音乐数据中心项目_歌曲热度及歌手热度_歌曲热度统计 02

24_音乐数据中心项目_歌曲热度及歌手热度_歌手热度统计 01

25_音乐数据中心项目_歌曲热度及歌手热度_歌手热度统计 02

26_音乐数据中心项目_歌曲热度及歌手热度_Azkaban任务流调度环境准备

27_音乐数据中心项目_歌曲热度及歌手热度_Azkaban任务流脚本准备 01

28_音乐数据中心项目_歌曲热度及歌手热度_Azkaban任务流脚本准备 02

29_音乐数据中心项目_歌曲热度及歌手热度_Azkaban任务流配置及任务流调度任务

30_音乐数据中心项目_歌曲热度及歌手热度_Azkaban任务调度结果查看及SuperSet介绍

31_音乐数据中心项目_Superset BI可视化_Superset基于Linux安装

32_音乐数据中心项目_Superset BI可视化_Superset界面介绍及导入数据源及表

33_音乐数据中心项目_Superset BI可视化_Superset 图表制作

34_音乐数据中心项目_Superset BI可视化_Superset 柱状图制作

35_音乐数据中心项目_Superset BI可视化_Superset 饼图及自定义页面制作

36_音乐数据中心项目_Superset BI可视化_Superset 折线图制作

37_音乐数据中心项目_歌曲热度及歌手热度_结果使用Superset 可视化展示

第三章 机器详细信息统计及日活跃用户统计

01_音乐数据中心项目_机器详细信息统计_需求及数据来源

02_音乐数据中心项目_机器详细信息统计_需求分析

03_音乐数据中心项目_机器详细信息统计_数仓分层ODS层设计

04_音乐数据中心项目_机器详细信息统计_数仓分层EDS层及DM层设计

05_音乐数据中心项目_机器详细信息统计_Sqoop导入mysql数据到ODS层 01

06_音乐数据中心项目_机器详细信息统计_Sqoop导入mysql数据到ODS层 02

07_音乐数据中心项目_机器详细信息统计_EDS层数据ETL 01

08_音乐数据中心项目_机器详细信息统计_EDS层数据ETL 02

09_音乐数据中心项目_机器详细信息统计_EDS层数据ETL 03

10_音乐数据中心项目_机器详细信息统计_Azkaban任务流自动调度 01

11_音乐数据中心项目_机器详细信息统计_Azkaban任务流自动调度 02

12_音乐数据中心项目_机器详细信息统计_报表使用Superset可视化展示

13_音乐数据中心项目_用户画像7日活跃用户分析__需求及数据来源

14_音乐数据中心项目_用户画像7日活跃用户分析__需求分析

15_音乐数据中心项目_用户画像7日活跃用户分析__数据仓库ODS、EDS、DM分层设计

16_音乐数据中心项目_用户画像7日活跃用户分析__Sqoop导入mysql数据到ODS层 01

17_音乐数据中心项目_用户画像7日活跃用户分析__Sqoop导入mysql数据到ODS层 02

18_音乐数据中心项目_用户画像7日活跃用户分析__业务处理数据分析

19_音乐数据中心项目_用户画像7日活跃用户分析__EDS层数据ETL 01

20_音乐数据中心项目_用户画像7日活跃用户分析__EDS层数据ETL 02

21_音乐数据中心项目_用户画像7日活跃用户分析__Azkaban任务流自动调度 01

22_音乐数据中心项目_用户画像7日活跃用户分析__Azkaban任务流自动调度 02

23_音乐数据中心项目_用户画像7日活跃用户分析__Superset可视化展示数据

第四章 商户及地区营收统计

01_音乐数据中心项目_商户、地区营收统计__商户营收统计与地区营收统计需求

02_音乐数据中心项目_商户营收统计__商户营收统计需求分析 01

03_音乐数据中心项目_商户营收统计__商户营收统计需求分析 02

04_音乐数据中心项目_商户营收统计__商户营收统计数仓分层设计 01

05_音乐数据中心项目_商户营收统计__商户营收统计数仓分层设计 02

06_音乐数据中心项目_商户营收统计__用户上报机器位置信息数据增量导入ODS层

07_音乐数据中心项目_商户营收统计__用户上报机器位置信息业务分析 01

08_音乐数据中心项目_商户营收统计__用户上报机器位置信息业务分析之高德api使用 02

09_音乐数据中心项目_商户营收统计__用户上报机器位置信息业务分析之高德api使用 03

10_音乐数据中心项目_商户营收统计__用户上报机器位置信息业务 ETL 数据清洗获取EDS层数据 01

11_音乐数据中心项目_商户营收统计__用户上报机器位置信息业务 ETL 数据清洗获取EDS层数据 02

12_音乐数据中心项目_商户营收统计__机器消费订单明细数据增量导入ODS层

13_音乐数据中心项目_商户营收统计__机器消费订单明细数据业务 ETL 数据清洗获取EDS层数据

14_音乐数据中心项目_商户营收统计__机器日营收情况统计表业务分析 01

15_音乐数据中心项目_商户营收统计__机器日营收情况统计表业务分析 02

16_音乐数据中心项目_商户营收统计__机器日营收情况统计表 ETL 数据分析得到EDS层数据

17_音乐数据中心项目_商户营收统计__机器日营收情况统计表 ETL 数据分析得到DM层结果数据

18_音乐数据中心项目_地区营收统计__地区营收统计业务需求

19_音乐数据中心项目_地区营收统计__地区营收统计获取DM层数据

20_音乐数据中心项目_商户、地区营收统计__Azkaban任务调度环境准备

21_音乐数据中心项目_商户、地区营收统计__Azkaban任务调度编写及执行 01

22_音乐数据中心项目_商户、地区营收统计__Azkaban任务调度编写及执行 02

23_音乐数据中心项目_商户、地区营收统计__使用Superset数据可视化展示结果

第五章 实时业务统计

01_音乐数据中心项目_流式业务处理_流式业务介绍

02_音乐数据中心项目_流式业务处理_日志采集接口设计Controller

03_音乐数据中心项目_流式业务处理_日志采集接口设计Service

04_音乐数据中心项目_流式业务处理_日志采集接口设计 Log日志目录配置

05_音乐数据中心项目_流式业务处理_日志采集接口设计 Log日志采集测试

06_音乐数据中心项目_流式业务处理_日志采集接口部署到Linux中及Flume搭建配置

07_音乐数据中心项目_流式业务处理_使用Flume采集接口日志到Kafka

08_音乐数据中心项目_流式业务处理_实时统计pv&uv业务分析

09_音乐数据中心项目_流式业务处理_实时统计pv&uv业务代码

10_音乐数据中心项目_流式业务处理_实时统计pv&uv数据执行及结果查看

11_音乐数据中心项目_流式业务处理_实时统计歌曲点播热榜业务分析

12_音乐数据中心项目_流式业务处理_实时统计歌曲点播热榜业务数据准备

13_音乐数据中心项目_流式业务处理_实时统计歌曲点播热榜业务代码及数据结果查看

第六章 Spark优化

01_Spark优化_资源优化设置

02_Spark优化_并行度设置

03_Spark优化_自定义分区器设置

04_Spark优化_代码优化 01

05_Spark优化_代码优化 02

06_Spark优化_代码优化 03

07_Spark优化_代码优化 04

08_Spark优化_SparkShuffle优化及Spark内存优化

09_Spark优化_Spark堆外内存优化

10_Spark优化_Spark数据倾斜

11_Spark优化_第一类方式解决Spark数据倾斜

12_Spark优化_第二类方式解决Spark数据倾斜

13_Spark优化_第三类方式解决Spark数据倾斜 01

14_Spark优化_第三类方式解决Spark数据倾斜案例分析

15_Spark优化_第三类方式解决Spark数据倾斜 02

全套课程大纲私信小编获取