欢迎光临散文网 会员登陆 & 注册

浅谈数据仓库建设体系

2023-05-09 17:50 作者:Normcore_羽  | 我要投稿


数仓建模:

常见的有 范式建模法、维度建模法、实体建模法

范式建模法主要用于业务系统

DW/BI常用维度建模法

维度建模以分析决策的需求出发构建模型,构建的数据模型为分析需求服务,因此它重点解决用户如何更快速完成分析需求,同时还有较好的大规模复杂查询的响应性能。

ps:就监管报送来说一般是通过需求出发去构建模型,构建的模型为需求服务,侧重点在如何更快速完成分析需求,同时还有较好的大规模复杂查询的响应性能。

就维度建模建模细说

维度建模是目前应用较为广泛的,专门应用于分析型数据库、数据仓库、数据集市建模的方法。数据集市可以理解为是一种"小型数据仓库"。

  • 表类型:

事实表、维度表、明细表(宽表)

事实表的设计是以能够正确记录历史信息为准则,维度表的设计是以能够以合适的角度来聚合主题内容为准则。

  • 维度建模三种模式

星型模式、雪花模式、星座模式(星型模式延伸而来,区别在于多张事实表,共享维度信息)

ps:业务发展后期,绝大部分维度建模都采用的是星座模式

  • 建模过程:

选择业务过程——>声明粒度——>确定维度——>确认事实

ps:就监管报送,业务过程有,财务、业务、资金等

ps:维度建模中要求我们,在同一事实表中,必须具有相同的粒度

  • 实际业务中数仓分层

ODS:数据源层,导入各种业务方数据,不做任何处理

DW:数据明细层,对数据进行主题划分,分为事实表和维度表,并对数据进行规范化处理

DM:数据轻度汇总层,建设通用型指标,主要表数据还是明细数据,部分数据为汇总数据

APP:数据应用层,面向不用部门,不同业务需求进行制定化开发,提供报表数据

ps:技术是为业务服务的,业务是为公司创造价值的,离开业务的技术是无意义的。所以数仓的建设与业务是息息相关的,公司的业务不同,数仓的建设也是不同的,只有适合的才是最好的。





浅谈数据仓库建设体系的评论 (共 条)

分享到微博请遵守国家法律