Hbase读写流程

作者: 大数据修行 | 来源:发表于2019-03-27 12:34 被阅读4次

1.写入流程

image

1.从zookeeper上获取meta地址
2.在meta里面获取数据的regionserver和region
3.获取地址后,在那个region里面获取想要的结果
4.先从memstore里面读,没有的话到blockcache里面读,再没有到hfile里面读,读到之后写入blockcache以便下次读取

2.读取流程

image

1.zookeeper中获取meta位置
2.从meta中获取写入到的regionserver位置
3.写入HLog,写入memstore ,最后通过flush操作刷入HFile
4.storefile里面的文件不断增多,要发生合并操作,生成一个大的storefile
5.storefile不断增大
6.region中最大的storefile增大到一定程度,发生split操作,region分成两个region然后由master分配到新的regionserver上

2.1memstore发生flush操作的情况

1.memstore的总内存量超过40%,发生flush操作,降低到35%为止
2.memstore单个的内存超过128M时候,发生flush操作
3.HLog的数量到达上限,默认是24个的时候
4.api手动操作
5.正常关闭regionserver的时候
6.regionserver发生故障,region迁移到其他regionserver,region数据恢复的时候

相关文章

  • HBase读写数据流程

    目录一.读写流程1.1 HBase读数据流程1.2 HBase写数据流程二. 退役(decommissioning...

  • HBase读写数据分几步?具体是怎样操作的?

    数据库最常见的操作就是读写数据,接下来,针对HBase读写数据的流程进行详细介绍。 读数据流程 从HBase中读数...

  • HBase读写流程

    版权声明:本文为博主原创文章,未经博主允许不得转载。https://www.jianshu.com/p/4a7ba...

  • Hbase读写流程

    一、hbase的读操作: ZooKeeper---meta--regionserver--region--mems...

  • Hbase读写流程

    写流程hbase write process.jpg流程描述 1.Client获取数据写入的Region所在的R...

  • hbase读写流程

    1.1 写操作流程(1) Client通过Zookeeper的调度,向RegionServer发出写数据请求,在R...

  • Hbase读写流程

    1.写入流程 1.从zookeeper上获取meta地址2.在meta里面获取数据的regionserver和re...

  • Hbase读流程解析

    Hbase读写流程解析(总括) 上节课我们详细说明了Hbase的架构,包括HMaster,HRegionServe...

  • Hbase_读写流程

    Hbase架构图 Hbase写操作 执行put命令,put 'namspace:table','rowkey',...

  • HBase读写数据流程

    hbase的系统表 hbase:namespace 存储了hbase中的所有namespace的信息 hbase...

网友评论

    本文标题:Hbase读写流程

    本文链接:https://www.haomeiwen.com/subject/afiavqtx.html