背压只是负责调节数据传输的大小,不会导致数据丢失。计算公式主要是通过计算上下游的允许发送的数据量(backlog)除以申请的buffer大小。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
中间有错误数据或者其他错误原因,背压不会导致数据丢失
--
Sent from: http://apache-flink.147419.n8.nabble.com/
我的数据源每一秒发送一条数据,下游算子每六秒才能处理完成入库,我测试时使用的是一个并行度,数据发送完毕后,在库里只有前三条发送和后两条发送的数据,中间的数据全部丢失了。应该是背压机制的问题,这是什么原因呢
好的 感谢
| |
王志华
|
|
a15733178...@163.com
|
签名由网易邮箱大师定制
在2020年04月29日 10:29,Junzhong Qin 写道:
可以试一下Jsoniter, https://jsoniter.com/index.cn.html
阿华田 于2020年4月29日周三 上午10:07写道:
这个确实排查到了,主要是json解析那块耗时,老版本用的gson,现在改成fastjson了,解析速度提升了不少。看来大数据量的json解析还得是fastjson
| |
王志华
|
|
a15733178...@163.com
|
签名由网
可以试一下Jsoniter, https://jsoniter.com/index.cn.html
阿华田 于2020年4月29日周三 上午10:07写道:
>
> 这个确实排查到了,主要是json解析那块耗时,老版本用的gson,现在改成fastjson了,解析速度提升了不少。看来大数据量的json解析还得是fastjson
>
>
> | |
> 王志华
> |
> |
> a15733178...@163.com
> |
> 签名由网易邮箱大师定制
>
>
> 在2020年04月29日 10:02,LakeShen 写道:
> Hi 阿华,
>
> 数据延迟有可能是逻辑中某个环节
这个确实排查到了,主要是json解析那块耗时,老版本用的gson,现在改成fastjson了,解析速度提升了不少。看来大数据量的json解析还得是fastjson
| |
王志华
|
|
a15733178...@163.com
|
签名由网易邮箱大师定制
在2020年04月29日 10:02,LakeShen 写道:
Hi 阿华,
数据延迟有可能是逻辑中某个环节比较耗时,比如查询 mysql,或者某处逻辑较复杂等等。
可以看看自己代码中,有么有比较耗时的逻辑。同时可以将自己认为比较耗时的地方,加上日志,看下处理时间。
Best,
LakeShen
阿华田 于2020年4
Hi 阿华,
数据延迟有可能是逻辑中某个环节比较耗时,比如查询 mysql,或者某处逻辑较复杂等等。
可以看看自己代码中,有么有比较耗时的逻辑。同时可以将自己认为比较耗时的地方,加上日志,看下处理时间。
Best,
LakeShen
阿华田 于2020年4月29日周三 上午9:21写道:
> 好的 感谢大佬
>
>
>
> | |
> 王志华
> |
> |
> a15733178...@163.com
> |
> 签名由网易邮箱大师定制
>
>
> 在2020年04月29日 09:08,zhisheng 写道:
> hi,
>
> 数据延迟不一定会产生背压,举个例子,Flin
好的 感谢大佬
| |
王志华
|
|
a15733178...@163.com
|
签名由网易邮箱大师定制
在2020年04月29日 09:08,zhisheng 写道:
hi,
数据延迟不一定会产生背压,举个例子,Flink 写 HBase 的作业,Source 并行度为 5,Sink 并行度
10,这种情况下游写入速度很快的,可能写入速度超过 Flink 消费 Kafka 的速度,这种情况就不会出现背压的问题。
1、建议排查一下作业的并行度(可以设置和 Kafka 分区数一样);
2、背压监控是通过 Flink Web UI 监控查看的,还是通过指标来判断的?
3、对
hi,
数据延迟不一定会产生背压,举个例子,Flink 写 HBase 的作业,Source 并行度为 5,Sink 并行度
10,这种情况下游写入速度很快的,可能写入速度超过 Flink 消费 Kafka 的速度,这种情况就不会出现背压的问题。
1、建议排查一下作业的并行度(可以设置和 Kafka 分区数一样);
2、背压监控是通过 Flink Web UI 监控查看的,还是通过指标来判断的?
3、对于数据延迟建议还是得对 Kafka 消费的 Topic 进行消费组的监控,加上 Lag 告警,这样可以及时知道数据延迟情况
Best !
zhisheng
阿华田 于2020年
线上任务对背压进行了监控,背压一直正常,任务却出现了大量的数据延迟,数据延迟不会产生背压吗?
| |
王志华
|
|
a15733178...@163.com
|
签名由网易邮箱大师定制
10 matches
Mail list logo