博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hbase表数据备份策略
阅读量:5742 次
发布时间:2019-06-18

本文共 1549 字,大约阅读时间需要 5 分钟。

hot3.png

Hbase的数据备份策略有:

(1)Distcp

(2)CopyTable

(3)Export/Import

(4)Replication

(5)Snapshot

下面介绍这几种方式:

(一)Distcp(离线备份)

直接备份HDFS数据,备份前需要disable表,在备份完成之前 服务不可用对在线服务类业务不友好

(二)CopyTable(热备)

执行命令前,需要创建表,支持时间区间、row区间,改变表名称,改变列簇名称,指定是否copy删除数据等功能,例如:

hbase org.apache.hadoop.hbase.mapreduce.CopyTable --starttime=1265875194289 --endtime=1265878794289 --peer.adr= dstClusterZK:2181:/hbase --families=myOldCf:myNewCf,cf2,cf3 TestTable     1、同一个集群不同表名称       hbase org.apache.hadoop.hbase.mapreduce.CopyTable --new.name=tableCopy  srcTable     2、跨集群copy表       hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr=dstClusterZK:2181:/hbase srcTable

三、Export/Import(热备+离线)

通过Export导出数据到目标集群的hdfs,再在目标集群执行import导入数据,Export支持指定开始时间和结束时间,因此可以做增量备份。

四,Replication(实时)

通过Hbase的replication机制实现Hbase集群的主从模式实时同步

五,Snapshot(备份实时,恢复需要disable)

个人觉得这里备份里面最经济划算的一个,可以每天在固定时间点对hbase表数据进行快照备份,然后如果出现问题了,可以直接恢复到某个时间点上的数据,适合修复指标计算错误的场景,然后从某个时间点上重新修复。

下面详细说下使用方式:

(1)先建立一个测试表

create 'test','cf'

(2)添加数据

> put 'test','a','cf:c1',1> put 'test','a','cf:c2',2> put 'test','b','cf:c1',3> put 'test','b','cf:c2',4> put 'test','c','cf:c1',5> put 'test','c','cf:c2',6

(3)创建快照

hbase snapshot  create -n test_snapshot -t test

(4)查看快照

list_snapshots

(5)导出到HDFS

hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot test_snapshot -copy-to  hdfs://user/back/xxx

(6)从快照恢复数据到原表中

restore _snapshot 'test_snapshot'

(7)从快照中恢复到一个新表中

clone_snapshot 'test_snapshot','test_2'

有什么问题可以扫码关注微信公众号:我是攻城师(woshigcs),在后台留言咨询。 技术债不能欠,健康债更不能欠, 求道之路,与君同行。

输入图片说明

转载于:https://my.oschina.net/u/1027043/blog/870310

你可能感兴趣的文章
python读excel写入mysql小工具
查看>>
如何学习区块链
查看>>
搜索问题的办法
查看>>
微信分销系统商城营销5大重点
查看>>
求职准备 - 收藏集 - 掘金
查看>>
htm5新特性(转)
查看>>
Linux-Centos启动流程
查看>>
php 设计模式
查看>>
后端技术精选 - 收藏集 - 掘金
查看>>
Laravel 服务容器
查看>>
mac安装kubernetes并运行echoserver
查看>>
多页架构的前后端分离方案(webpack+express)
查看>>
算法(第4版) Chapter 1
查看>>
前端技术选型的遗憾和经验教训
查看>>
“亲切照料”下的领域驱动设计
查看>>
SRE工程师到底是做什么的?
查看>>
解读:Red Hat为什么收购Ansible
查看>>
Ossim下的安全合规管理
查看>>
DelphiWebMVC框架下BPL热部署实现
查看>>
C++与MySQL的冲突
查看>>