2.0.x ??2.1.0??
----
??:
"user-zh"
??(??)??wal??jirahttps://issues.apache.org/jira/browse/HBASE-23008
----
??:
对，你看看卡在哪了到底
sudo rm -rf /* 于2020年7月22日周三 上午11:54写道：
> 机器已经重启过了，现在replication是没有延时的，昨天的异常场景
> 现在没办法重现，只是重启过机器后，replication已经没有延时了，WALs 还在持续增长，现在WALs的量从昨晚到现在已经增至670G，
> 还在持续增长，我们RegionServer是5台，RS的堆内存设置的是32G，按理说数据持续flush
> ，replication又没有延时，WALS应该及时被清理才对。我们的MajorCompact是手动触发的，目前禁用了Major
>
>
>
>
>
??replication
??replicationWALs
??WALs670G??
??RegionServer??5RS32Gflush
你把延迟严重的regionserver的jstack发出来看看replication主要耗时在那个阶段
sudo rm -rf /* 于2020年7月22日周三 上午11:32写道：
> 主备集群两边是通的，重启之前某一个RegionServer的replication队列一直积压，是卡在了一个WAls
> log上，这个数据包就一直卡着，不发。
> 重启之后，主备集群两边的replication延时都没有了，但是WALs 依旧持续增加
>
>
>
>
> --原始邮件--
> 发件人:
>
??RegionServer??replication??WAls
log
replication??WALs
----
??:
----
??:
"user-zh"
你看看为啥有一个region server的replication延迟很大？
是写入有热点？还是对面集群不收？
sudo rm -rf /* 于2020年7月22日周三 上午10:59写道：
> hi:
> 我们线上集群的版本是cdh6.3.2-hbase2.1.0,
> 主备双集群，备集群作为容灾集群。两集群开启了replication，且互相replication。最近发现，主集群的WALs目录持续增加，
> 十几天膨胀到十几个T，排查后发现某一个RegionServer节点的replication延迟很大，复制队列中积累了大量的数据，延迟卡在了十几天前的WALs
>
hi:
cdh6.3.2-hbase2.1.0,
replicationreplicationWALs??
??T??RegionServer??replication??WALs
我们现在的Durability 都是走的默认值，改成ASYNC_WAL性能是不是可以提升一些。
另外put的时候，wal在写，复制的时候又再读取wal，这里是不是会有锁的问题？
- 原始邮件 -
发件人：张铎(Duo Zhang)
收件人：user-zh
主题：Re: Re: 开启replication后，hbase读写性能下降问题
日期：2020年07月21日 14点48分
盲猜GC影响比较大
replication.source.size.capacity默认值是64M，对于GC的压力其实不小
有输出GC日志吗？看看停顿情况？
Guanghao Zhang
1??gc??
2ssd
3??hbasecpu
----
??:
"user-zh@hbase.apache.orgww112...@sina.com"
我们现在用的zgc，gc耗时都在3ms左右。
- 原始邮件 -
发件人：张铎(Duo Zhang)
收件人：user-zh
主题：Re: Re: 开启replication后，hbase读写性能下降问题
日期：2020年07月21日 14点48分
盲猜GC影响比较大
replication.source.size.capacity默认值是64M，对于GC的压力其实不小
有输出GC日志吗？看看停顿情况？
Guanghao Zhang 于2020年7月21日周二 下午2:41写道：
> 是A集群replication到B集群, A集群自身被Replication影响?
>是A集群replication到B集群, A集群自身被Replication影响?是的
- 原始邮件 -
发件人：Guanghao Zhang
收件人：user-zh@hbase.apache.org
主题：Re: Re: 开启replication后，hbase读写性能下降问题
日期：2020年07月21日 14点41分
是A集群replication到B集群, A集群自身被Replication影响?
zheng wang <18031...@qq.com> 于2020年7月21日周二 下午1:46写道：
>
是A集群replication到B集群, A集群自身被Replication影响?
zheng wang <18031...@qq.com> 于2020年7月21日周二 下午1:46写道：
> replication确实是异步的，影响主要是在资源上，比如GC暂停、IO等待这些。
>
>
>
>
> --原始邮件--
> 发件人:
>
> "user-zh@hbase.apache.orgww112...@sina.com"
>
14 matches
Mail list logo
