Re: sink端处理数据很慢

2021-06-09 文章 LakeShen
看下最近是不是流量变大了,以及看下 Sink 的外部存储的集群压力是不是很大。

Best,
LakeShen

田磊  于2021年6月10日周四 上午11:36写道:

> 好的,谢谢,我看看。
>
>
> | |
> totorobabyfans
> |
> |
> 邮箱:totorobabyf...@163.com
> |
>
> 签名由 网易邮箱大师 定制
>
> 在2021年06月10日 10:50,Lin Li 写道:
> 你好,如果之前一直运行正常,建议检查下 sink 节点慢的原因(io 瓶颈、异常/ 节点 gc 之类的),前面的 map
> 节点应该是被反压导致停滞,可以通过 backpressure tab 确认下
>
> 田磊  于2021年6月9日周三 下午10:39写道:
>
> >
> >
> 提交任务后,通过flink的webui界面看,中间的map算子处理速度很快,13万条数据已经处理。但是sink端只处理了几千条数据,这个时候map端的处理也停滞了,不知道什么原因。map并行度8,sink并行度1。之前也是这样的并行度,并没有出现类似的情况。
> >
> >
> > | |
> > totorobabyfans
> > |
> > |
> > 邮箱:totorobabyf...@163.com
> > |
> >
> > 签名由 网易邮箱大师 定制
>


sink端处理数据很慢

2021-06-09 文章 田磊
提交任务后,通过flink的webui界面看,中间的map算子处理速度很快,13万条数据已经处理。但是sink端只处理了几千条数据,这个时候map端的处理也停滞了,不知道什么原因。map并行度8,sink并行度1。之前也是这样的并行度,并没有出现类似的情况。


| |
totorobabyfans
|
|
邮箱:totorobabyf...@163.com
|

签名由 网易邮箱大师 定制