美文网首页
Hive metastore三种存储方式

Hive metastore三种存储方式

作者: 尼小摩 | 来源:发表于2018-08-14 11:46 被阅读89次

Hive Metastore有三种配置方式,分别是:

  1. Embedded Metastore Database (Derby) 内嵌模式
  2. Local Metastore Server 本地元存储
  3. Remote Metastore Server 远程元存储

Metadata、Metastore作用

  • metadata即元数据。元数据包含用Hive创建的database、tabel等的元信息。
    元数据存储在关系型数据库中。如Derby、MySQL等。

  • Metastore的作用是:客户端连接metastore服务,metastore再去连接MySQL数据库来存取元数据。有了metastore服务,就可以有多个客户端同时连接,而且这些客户端不需要知道MySQL数据库的用户名和密码,只需要连接metastore 服务即可。

三种配置方式区别

  • 内嵌模式使用的是内嵌的Derby数据库来存储元数据,也不需要额外起Metastore服务。这个是默认的,配置简单,但是一次只能一个客户端连接,适用于用来实验,不适用于生产环境。

  • 本地元存储和远程元存储都采用外部数据库来存储元数据,目前支持的数据库有:MySQL、Postgres、Oracle、MS SQL Server.在这里我们使用MySQL。

  • 本地元存储和远程元存储的区别是:本地元存储不需要单独起metastore服务,用的是跟hive在同一个进程里的metastore服务。远程元存储需要单独起metastore服务,然后每个客户端都在配置文件里配置连接到该metastore服务。远程元存储的metastore服务和hive运行在不同的进程里。

在生产环境中,建议用远程元存储来配置Hive Metastore。

相关文章

  • hive搭建方式概览

    hive三种方式区别和搭建 Hive中metastore(元数据存储)的三种方式: a)内嵌Derby方式 b)L...

  • hive学习

    1 Hive Metastore 1.1相关概念 Hive Metastore有三种配置方式,分别是: Embed...

  • Hive metastore三种存储方式

    Hive Metastore有三种配置方式,分别是: Embedded Metastore Database (D...

  • Hive Metastore部署方式

    Metastore 有三种部署方式 embedded mode (Metastore 和 db 都运行在 Hive...

  • hive-metastore

    Hive metastore三种配置方式 | IT瘾http://itindex.net/detail/52784...

  • Hive 高可用搭建

    hive的搭建方式有三种,分别是 1、Local/Embedded Metastore Database (Der...

  • 伪分布式环境配置Hive

    1. 相关概念 Hive Metastore有三种配置方式(根据元数据划分,元数据一般存储在关系型数据库里面),分...

  • hive基础架构

    Hive Structure Metastore 服务和存储的方式 1.内嵌模式 2.本地模式 3.远程模式 建议...

  • 002 Impala | 安装要求

    操作系统 linux only Hive Metastore Impala能够交互操作hive中存储的数据,使用相...

  • Hive的metastore安装配置方式

    Hive 的 metastore 安装方式共有三种 1)内嵌模式 使用内嵌的derby数据库储存元数据, 默认即为...

网友评论

      本文标题:Hive metastore三种存储方式

      本文链接:https://www.haomeiwen.com/subject/qpwmbftx.html