美文网首页大数据
选型宝访谈:数万张表、上百万字段,如何快速厘清数据血缘关系?

选型宝访谈:数万张表、上百万字段,如何快速厘清数据血缘关系?

作者: f81f49b26d88 | 来源:发表于2019-08-28 16:22 被阅读0次

一、直播主题

想像一下,您是一家数万人的企业。

经历过去30年的信息化建设

有数十个数据库,几万张表,百万级的字段......

过去30年,可能会经历:

系统搬迁、系统升级、企业并购、多系统融合、数据搬迁......

今天,面对纷繁复杂的数据结构

如何快速了解数据的来龙去脉,追根溯源?

如何厘清数据之间的血缘关系?

这正是数据治理的痛点、难点......

 

二、 数据血缘分析工具,能带来什么?

使用类似 ASG 这样的数据血缘分析工具,能带来什么?

对于一个有30年历史,数十个数据库、几万张表,近200万字段的复杂数据环境。

如果采用人工手段进行数据治理、数据血缘分析,甲方需要20人的专业团队,为期1年的项目周期。

而借助ASG这样专业的工具和服务,甲方只需要2-3人,3-6个月项目周期,即可完成数据治理。

 

 

 

三、 技术原理概述 

ASG 是如何进行分析的?

首先,对数据结构的现状进行分析:

快速抽取表格结构、字段描述、结合现有的数据词典,进行可视化的分析,展示关联关系。

 

第二,对数据流转的过程进行理解:

通过对JAVA 代码、SP存储进程、ETL工具的分析,理解数据搬迁、数据转化的历程,对于数据逻辑关系进行分析。

 

第三,将两者结合在一起,形成完整的数据流动的视图,描绘数据血缘的关系

 

四、 ASG有哪些客户案例? 

在全球,ASG的客户包括:

☉  美国银行

☉  汇丰银行

☉  EBAY

☉  思科......

在中国,ASG的客户包括:

☉  中国银行

☉  交通银行

☉  北京银行......

 

视频连接:

https://tv.sohu.com/v/dXMvMzQyOTUwMTc1LzE0Njg0Mjg4Mi5zaHRtbA==.html

相关文章

  • 选型宝访谈:数万张表、上百万字段,如何快速厘清数据血缘关系?

    一、直播主题 想像一下,您是一家数万人的企业。 经历过去30年的信息化建设 有数十个数据库,几万张表,百万级的字段...

  • MySQL优化 - 慢查询

    业务场景: 把A表中的uuid字段,更新为B表中的uuid字段,条件为两张表的name字段相同(数据量16万条) ...

  • 12. 视图

    视图在数据库中是一张虚拟表,表中的字段由自己定义或者来自其他数据库。表中的数据可以来自单张表、单表中若干个字段,还...

  • oracle数据操作(四)

    基本查询语句 from 子句 指定从哪张表范围内查找数据select 字段名from 表名查询对应字段的数据 wh...

  • 触发器

    数据同步增加:如有两张表——A表和B表,创建触发器使当A表插入数据后B表也同步插入数据。其中B表插入数据的字段需要...

  • 字符串函数

    SELECT 字段名1,字段名2,...FROM 表名 作用:查看整张表中每一条数据给定字段的值 CONCAT(c...

  • kettle 数据库查询

    数据查询:根据一些条件在一张表中查询一些数据 查询所需的关键字 表字段为被查询的表的字段 字段1:数据流中的查询条...

  • SQL基础语句

    SQL 基本语句记录 新建表 删除表: 插入数据: 删除数据: 更新数据: 新增字段: 删除字段: 修改字段: 重...

  • Oracle操作----表查重、去重,全表复制、备份

    一、表查重、去重 1、需求:数据库中某张表的某个字段或者某几个字段有相同的数据,但要求不能有重复字段,所以需要查出...

  • Mysql把一个表的数据插入到另一个表中

    如果2张表的字段一致,并且希望插入全部数据INSERT INTO 目标表 SELECT * FROM 来源表;in...

网友评论

    本文标题:选型宝访谈:数万张表、上百万字段,如何快速厘清数据血缘关系?

    本文链接:https://www.haomeiwen.com/subject/zglmectx.html