当前位置:首页 > 生活百科

hbase删除数据的几种方式(hbase真正删除数据)

栏目:生活百科日期:2025-05-23浏览:0

写流程

1)Client向HregionServer发送写请求;

2)HregionServer将数据写到HLog(write ahead log)。为了数据的持久化和恢复;

3)HregionServer将数据写到内存(MemStore);

4)反馈Client写成功。

数据flush过程

1)当MemStore数据达到阈值(默认是128M,老版本是64M),将数据刷到硬盘,将内存中的数据删除,同时删除HLog中的历史数据;

2)并将数据存储到HDFS中;

3)在HLog中做标记点。

数据合并过程

1)当数据块达到4块,Hmaster将数据块加载到本地,进行合并;

2)当合并的数据超过256M,进行拆分,将拆分后的Region分配给不同的HregionServer管理;

3)当HregionServer宕机后,将HregionServer上的hlog拆分,然后分配给不同的HregionServer加载,修改.META;

4)注意:HLog会同步到HDFS。

读流程

1)Client先访问zookeeper,从meta表读取region的位置,然后读取meta表中的数据。meta中又存储了用户表的region信息;

2)根据namespace、表名和rowkey在meta表中找到对应的region信息;

3)找到这个region对应的regionserver;

4)查找对应的region;

5)先从MemStore找数据,如果没有,再到StoreFile上读(为了读取的效率)。

Hmaster的职责

1)管理用户对Table的增、删、改、查操作;

2)记录region在哪台Hregion server上;

3)在Region Split后,负责新Region的分配;

4)新机器加入时,管理HRegion Server的负载均衡,调整Region分布;

5)在HRegion Server宕机后,负责失效HRegion Server 上的Regions迁移。

Hregionserver的职责

1)HRegion Server主要负责响应用户I/O请求,向HDFS文件系统中读写数据,是HBASE中最核心的模块。

2)HRegion Server管理了很多table的分区,也就是region。

Client职责

1)HBASE Client使用HBASE的RPC机制与HMaster和RegionServer进行通信

2)管理类操作:Client与HMaster进行RPC;

3)数据读写类操作:Client与HRegionServer进行RPC。

“hbase删除数据的几种方式(hbase真正删除数据)” 的相关文章

lingo程序怎么运行(lingo程序运行方法)

软件综述LINGO全称是LinearINteractiveandGeneralOptimizer的缩写&—交互式的线性和通用优化求解器。它是一套设计...

spss统计分析大全(spss数据分析方法汇总)

大家好、今天我们一起学习频数分析,分析数据的特征、分布形态等,为之后复杂的数据分析打下基础。SPSS统计量大致可以分为三类:集中趋势的统计量、离散型的统计量和总...

一个摄像头一天录多少g流量(解密摄像头一天的存储量)

现在插卡的4G无线摄像头常用在临时监控比如施工现场、安保工作等用于短期使用,或者是有线网络无法部署的区域比如水利、电力、森林、水库等区域或者是移动监控比如公交、...

产品定位五步法是什么,成功的品牌定位案例

产品定位是依托于产品生命周期在市场环境中的变化而变化的。产品经理在思考产品版本(尤其在产品从0到1)时,应该先去了解产品定位。一般而言,产品定位采用五步法:满足...

dnf全屏代码大全(dnf全屏999999秒杀代码)

PS:本人真的不出售外挂,一切真的均来源于网络,真的均为道听途说!相信我!中国外挂制作者厉害么?答案是确实很厉害。但是这并不代表国外顶尖的外挂制作者并不厉害。这...

2020新款手机排行榜,究竟哪个牌子的手机位居榜首呢

经过3月份手机厂商的一波新机轮番轰炸之后,市场上呈现了一片浓浓的&”新老交替&”的格局。4月1日,国内知名测试软件安兔兔发布了最新的智能...

免费cad看图软件哪个更好(最好用的手机cad看图软件)

很多刚开始学习CAD绘图的小伙伴,不知道CAD绘图对电脑配置有什么要求,接下来的CAD教程中,小编来给大家分享一下浩辰CAD绘图电脑配置推荐。CAD绘图电脑配置...

什么平台最赚钱最稳定,11种网上赚钱平台推荐

1、【BOSS直聘】,店长直聘,兼职猫,八戒网等招聘网站。寻找附近适合自己的兼职项目。2、【今日头条】等自媒体平台,举个例今日头条赚钱方式:广告分成:头条文章、...

华硕ac86使用体验(总结出来这款路由器网速确实飞同一般

虽然目前WiFi6设备已经开始进入普及阶段,不过对于绝大多数普通家庭用户来说,并没有必要专门入手WiFi6路由器。一方面是因为目前只有一些新推出的手机、平板电脑...

免费好用的抠图软件(万能抠图神器免费版)

很多时候,抠图对于不会PS的人来说,成了一个令人头秃的问题!PS抠图的门槛又高,其他一些抠图软件,可能又要收费,这个时候,一些免费的在线抠图网站的出现则很好的解...