美文网首页
大数据领域建模综述

大数据领域建模综述

作者: 升空的焰火 | 来源:发表于2023-03-04 23:08 被阅读0次

一.典型的数据仓库建模方法论

1.ER模型

建模分为3个阶段:

高层模型:一个高度抽象的模型,描述的是主题以及主题之间的关系。

中层模型:细化主题的数据项

物理模型:物理存储。

2.维度模型

维度建模是从分析决策 的需求出发构建模型,为分析需求服务。星型,雪花模型分为如下几个阶段:

1.选择需要进行分析决策的业务过程。

2.选择粒度。

3.识别维表

4.选择事实。

3.Data Vault模型

Data Vault重点在于根据业务进行数据整合,弱化数据一致性。分为如下几个部分:

Hub 业务实体,Repository.

Link 连接Hub,表示Hub之间的关系

Satellite:Hub的详细内容,一个Hub由多个Satellite组成。

二.模型设计的基本原则

1.高内聚,低耦合

2.核心模型与扩展模型分离

3.公共处理逻辑下沉及单一

4.成本与性能平衡

5.数据可回滚

6.一致性:具备相同含义的字段在不同表的命名必须相同。

7.命名清晰,可理解。

三.模型的实施

1.Kimball维度实施过程

需要讨论需求分析,高层模型,详情模型和模型审查。

高层模型:目标是创建高层维度模型图,它是对业务过程中的维表和事实表的图形描述。确定维表创建初始化属性列表,为每个事实表创建提议度量。

详细模型:详细的维度建模过程是为高层模型填补确实的信息。

模型省察,再设计和验证

提交ETL设计和开发

2.Inmon模型实施过程

Inmon对数据模型的定位是:扮演着通往数据仓库其他部分的智能路线图的角色。由于数据仓库的建设不是一蹴而就,为了协调不同人的工作,有必要建立一个路线图--数据模型,描述数据仓库各部分是如何结合在一起的。

ERD(实体关系层) DIS(数据项集) 物理层(物理模型)

相关文章

  • 2019-06-12

    大数据领域建模综述 性能:良好的数据模型能帮助我们快速查询所需要的数据,减少数据I/O吞吐。 成本:良好的数据模型...

  • 阿里巴巴大数据实践(数据模型篇)

    第8章 大数据领域建模综述第9章 数据整合及管理体系第10章 维度设计(重点!)第11章 事实表设计 第8章 大数...

  • 20180122领域建模讨论

    总摘要: 领域建模点击查看技术分享链接 2018-01-22摘要: 领域建模. 1. 领域建模中,状态的转变不是...

  • 简书——风一样的行情,轻装上阵

    综述】2019.1.30——洗大澡 张德良 德良综述 今天 【综述】2019.1.30——洗大澡 张德良SAC证书...

  • 2.2 雅思写作

    一、Review 手段写法 分段思路 趋势表达 数据引出 二、What is new? 1.综述 综述思...

  • 系统分析与设计 Lesson 7 作业

    1. 领域建模 a. 阅读Asg_RH文档,按用例构建领域模型 b. 数据库建模(E-R模型) 导出SQL 数据库...

  • 大数据综述

    1.1. 大数据的产生 现在的社会是一个信息化、数字化的社会,互联网、物联网和云计算技术的迅猛发展,使得数据充斥着...

  • 系统分析与设计 hw5

    领域建模 阅读 Asg_RH 文档,按用例构建领域模型task2 数据库建模(E-R 模型)physicalmod...

  • olap系统设计学习

    综述 大数据与OLAP系统 A Comprehensive Survey of OLAP: Recent Tren...

  • 想写出好文章,必须确定写作思路

    老街讲写作: 文献看了一大堆,怎么梳理,怎么写成文献综述? 文献综述从何处落笔,写什么,怎么展开论述? 文献综述有...

网友评论

      本文标题:大数据领域建模综述

      本文链接:https://www.haomeiwen.com/subject/wpmejltx.html