MyException - 我的异常网
当前位置:我的异常网» 编程 » HBase储存概念的一些理解

HBase储存概念的一些理解

www.MyException.Cn  网友分享于:2013-02-20  浏览:3次
HBase存储概念的一些理解

首先,HBase是分布式NoSQL数据库。

构建在Hadoop平台上的一个应用。

 

与Hadoop类似,属于Master-slave架构。

其中,存在一个运行的HMaster,和若干个HMaster备用,通过Zookeeper协调进行HA。

HMaster主要是处理Table的增删改查,HRegion的负载均衡,Region Split 和 新Region的重新分配。

存在一个或多个HRegion 的slave架构,用于实际数据的存储。

           [HMaster]

            /          \

[HRegion]....[HRegion]

 

HRegion Server是一个存储数据的服务。

对于一张表而言,一张表被拆开成多块,每一块就是一个Region。

每个Region会保存一个表里面某段连续的数据。

 

通过RDBMS的基本存储架构来思考。

      数据库的Block  --> 就是Region

      操作系统的Block-->就是HDFS BLOCK

 

HRegion Server中的Region由多个HStore组成。

每个HStore对应Table中的一个Column Family 。

所以经常一起使用的数据就要放到Column Family里面去。

 

数据写入到Region的时候,先会写入到内存中的MemStore对象里。

然后当MemStore到大一定大小的时候,就会Flush到HStore里面。

 

为了保证一致性,HBase有一个HLog对象,会在写入MemStore之前,先记录操作。

HLog其物理上是一个Hadoop Sequence File。

 

当HStore 文件不断变大到一定阀值的时候,就会进行Split Region的请求,由HMaster进行重新分配。

 

 

 

文章评论

软件开发程序错误异常ExceptionCopyright © 2009-2015 MyException 版权所有