数据仓库建模之范式建模
在数据仓库领域,提起数据建模,范式建模作为一种经典的理论,其地位是不容小觑的。Inmon的范式建模理念,在传统业务的数据仓库建模当中,尤其受到青睐。今天的丝瓜视频官方 开发分享,我们就来讲讲数据仓库建模之范式建模。
目前市面上已有的数据仓库模型有范式建模,维度建模,Data Vault 1.0+2.0,Anchor模型等,而使用最广泛的是Inmon的范式建模与Kimball的维度建模。
范式建模
Inmon提出的集线器的自上而下(EDW-DM)的数据仓库架构。操作型或事务型系统的数据源,通过ETL抽取转换和加载到数据仓库的ODS层,然后通过ODS的数据建设原子数据的数据仓库EDW,EDW不是多维格式的,不方便上层应用做数据分析,所以需要通过汇总建设成多维格式的数据集市层。
优势:易于维护,高度集成;
劣势:结构死板,部署周期较长
范式建模分为三个主要的阶段:
高层建模
了解当前所有业务的关联实体,预判业务未来可能产生关系的实体,在企业业务角度对于实体合并主题,产出高度抽象的模型,包括主题的内容,主题的边界与主体之间的关系。
中层模型
在高层模型之下,对于每一主题确定主数据与其业务众多的属性,并确定在各个场景下能够关联的其他实体。
物理模型
在中层模型之下,基于不同的物理存储平台,基于平台特点设计物理属性,构建“a single source of truth”。
范式建模应用在EDW层
Inmon理论下结构就是:ODS、EDW和DM,也就是贴源层、主题模型层、共性加工层以及集市层。
(1)ODS(贴源层):即这里存放的数据与原系统保持一致,将采集公司所有的系统产生的数据以及外部数据(包括合作数据以及爬虫获得的数据),将所采集的数据汇总到一起,供EDW和DM使用;
(2)EDW:这一层分为两个,即ADM(共性加工层)和FDM(主题模型层)。其中FDM将从ODS层不同系统不同表的字段进行分类,同一主题的字段都归为一类,目前流行的十大主题;ADM是加工一些共性的指标,指标从ODS或者FDM的字段加工来,这层主要供集市层使用;
(3)DM:数据集市层,这一层是将业务部门所关注的指标进行汇总,形成的数据,不同的业务部门可以形成不同的集市,具体情况可以视情况而定;集市层的架构可以细分为:基础层、汇总层和分析层。
总体来说,范式建模的缺点很明显,因为要求自顶向下构建,对于设计者要求非常高,同样对于后续管理者也要求很高;完成大量的实体表与大量的关联关系非常耗时,也不能快速的产出业务价值,尤其是在起步的阶段很容易被质疑。
但是范式建模并非一无是处,完整的范式建模数据冗余度非常小,那么意味着有更小的数据更新风险,包括逻辑断层;不论是在业务源变更或需求变更下都更加健壮。如果企业业务发展已经非常稳定,对于数据的稳定性要求非常高,那么可以尝试一下范式建模。
关于丝瓜视频官方 开发,数据仓库建模之范式建模,以上就为大家做了简单的介绍了。在丝瓜视频官方 学习阶段,数据仓库是需要重点理解和掌握的一部分,而数仓建模更是其中的核心环节之一。
【免责声明】本文部分系转载,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请在30日内与联系我们,我们会予以更改或删除相关文章,以保证您的权益!此页面下方声明无效!

猜你喜欢LIKE
相关推荐HOT
更多>>
HDFS架构演进之路
当active Namenode出现故障或者宕机的时候,standby会自动切换为新的active Namenode对外提供服务,并且HA对外提供了统一的访问名称,对于用户...详情>>
2022-12-09 15:44:00
丝瓜视频官方 开发:Hive小文件合并
Hadoop生态技术体系下,负责丝瓜视频官方 存储管理的组件,涉及到HDFS、Hive、Hbase等。Hive作为数据仓库工具,最初的存储还是落地到HDFS上,这其中就...详情>>
2022-12-09 15:42:00
HDFS的故障恢复和高可用
客户端读取文件时,会先校验该信息文件与读取的文件,如果校验出错,便请求到另一DataNode读取数据,同时向NameNode汇报,以删除和复制这个数据...详情>>
2022-12-09 15:41:00
丝瓜视频官方 开发:Flink on Yarn原理
这个Container通过Application Master启动进程,Application Master里面运行的是Flink程序,即Flink-Yarn ResourceManager和JobManager。详情>>
2022-12-09 15:39:00
丝瓜视频官方 开发基础:Java基础数据类型
在Java基础入门学习阶段,Java基础数据类型无疑是基础当中的重点,掌握基础数据类型,对于后续去理解和掌握更深入的理论,是有紧密的关联性的。...详情>>
2022-12-09 15:38:13丝瓜视频官方 丝瓜视频苹果版 问答更多>>
新丝瓜视频官方 适合女生学吗?
新哪家丝瓜视频官方 分析丝瓜视频苹果版 班好
新丝瓜视频官方 丝瓜视频苹果版 班需要多少钱?怎么挑选丝瓜视频官方 丝瓜视频苹果版 班
新丝瓜视频官方 丝瓜视频苹果版 班需要多少钱?丝瓜视频官方 就业方向有哪些
新丝瓜视频官方 丝瓜视频苹果版 班靠谱吗?丝瓜视频官方 发展前景怎么样
新丝瓜视频官方 分析丝瓜视频苹果版 哪里好
新丝瓜视频官方 丝瓜视频苹果版 学费多少?课程内容是什么
丝瓜视频官方 面试题库 更多>>
丝瓜视频官方 的五个V是什么?
数据及集群管理(三)
数据及集群管理(二)
数据及集群管理(一)
丝瓜视频官方 之hbase的优化读数据方面
丝瓜视频官方 之hbase的优化写入数据方面
开班信息
北京校区
- 北京校区
- 大连校区
- 广州校区
- 成都校区
- 杭州校区
- 长沙校区
- 合肥校区
- 南京校区
- 上海校区
- 深圳校区
- 武汉校区
- 郑州校区
- 西安校区
- 青岛校区
- 重庆校区
- 太原校区
- 沈阳校区
- 北京校区
- 大连校区
- 广州校区
- 成都校区
- 杭州校区
- 长沙校区
- 合肥校区
- 南京校区
- 上海校区
- 深圳校区
- 武汉校区
- 郑州校区
- 西安校区
- 青岛校区
- 重庆校区
- 太原校区
- 沈阳校区
