美文网首页
建大宽表产生的问题

建大宽表产生的问题

作者: 无敌的肉包 | 来源:发表于2020-06-10 17:06 被阅读0次

在建大宽表时,需要考虑下面几个问题:

  • 使用频次:如果使用比较高频,每天次查询都要多表关联,同样的逻辑重复写很多遍,这样的话,建大宽表好一些
  • 沟通成本:多张表关联的情况下,如果要使用这个数据的人数比较多(比如要开放给多个产品,运营,分析师),每个人都需要先了解多张表的关联关系,影响使用体验,沟通成本高。这种情况下建议宽表
  • 合理性:多表关联后,会不会改变事实表的主键?数据的对应关系,是一对一,还是一对多?会不会有坑?
  • 产出时间sla: 宽表的sla的保证 需要注意,因为依赖比较多的维度表,依赖越多风险也就越大,看各个维度表的产出时间是不是合适?
  • 数据安全:每张数据表的安全范围不同,合并成同一张表是面临的是更大的权限开放。
  • 要了解大宽表的缺点:代码过长,不易维护;数据冗余
  • 也看数据层次,基础层会用维度表,主题层多用大宽表。

相关文章

  • 建大宽表产生的问题

    在建大宽表时,需要考虑下面几个问题: 使用频次:如果使用比较高频,每天次查询都要多表关联,同样的逻辑重复写很多遍,...

  • hive建表语句相关

    建表——明细宽表 ods_weblog_detail 通过查询插入数据到明细宽表 ods_weblog_deta...

  • 【HBase】HBase 宽表和高表

    本篇结构: 宽表和高表定义 宽表和高表的优劣 宽表和高表的应用场景 一、宽表和高表定义 HBase 中的表可以设计...

  • 数仓实战06:数仓搭建-DWT层

    1.设备主题宽表 1)建表语句 2)数据装载 3)查询加载结果hive (gmall)> select * fro...

  • pl/sql使用心得,学习总结

    输入中文跳出建表框的问题 检查发现时快捷键配置中建表的快捷键为空导致的,给建表设置一个快捷键就好了 怎么将界面中文...

  • Hive 基本语法

    建表 通用建表 利用查询结果建表 建表并复制表结构 Tips TABLE 和 EXTERNAL TABLE 主要区...

  • MySql 建表出现的问题 : [ERR] 1064 - You

    使用 MySql 建表出现的问题 在使用 Navicat Premium 运行 sql 语句进行建表时,MySQL...

  • ClickHouse使用外部字典来进行维度补齐

    背景 ClickHouse中对Join实现的不是很好,不适合大表关联,推崇大宽表的概念。因为默认情况下,Click...

  • To Be 宽表 or 窄表 ?

    一、宽表和窄表的区别 宽表:从字面意义上来说,就是比较"宽"的表,也就是说字段比较多,通常是指业务主题相关的指标、...

  • 数仓建模—宽表的设计

    宽表的设计 其实宽表是数仓里面非常重要的一块,前面我们介绍过了维度表事实表,今天我们介绍一下宽表,前面我们说过了数...

网友评论

      本文标题:建大宽表产生的问题

      本文链接:https://www.haomeiwen.com/subject/zipptktx.html