看下 Flink 任务运行,是否是其他机器上的资源先达到瓶颈，而不是 CPU，比如 IO，同时看下你的 flatmap 处理单条记录的时间。
同时也参考上面同学的，是否存在反压，如果 flatmap 逻辑比较复杂，也有这个可能。
Best,
LakeShen
赵一旦 于2021年1月5日周二 下午9:13写道：
>
> 可以看看是否反压。反压说明并行度还是不够，不反压的话看处理速度是否符合预期。符合预期就不用调了，说明你的任务不复杂，那点cpu占用就够了。如果不符合预期，也没有任何反压，那就是source消费速度太慢。
>
>
>
> housezhang
可以看看是否反压。反压说明并行度还是不够，不反压的话看处理速度是否符合预期。符合预期就不用调了，说明你的任务不复杂，那点cpu占用就够了。如果不符合预期，也没有任何反压，那就是source消费速度太慢。
housezhang 于2021年1月5日周二 下午5:44写道：
> 有可能是cpu能够处理得过来，网络io处理不过来了，看看网络使用情况
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
有可能是cpu能够处理得过来，网络io处理不过来了，看看网络使用情况
--
Sent from: http://apache-flink.147419.n8.nabble.com/
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> 在 2021-01-05 16:24:30，"赵一旦" 写道：
>> >加大并行度。
>> >
>> >爱吃鱼 于2021年1月5日周二 下午4:18写道：
>> >
>> >> 怎么提高flink cpu利用率。
>> >> 业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
>> >> flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),min(time),count等处理。
>> >> cpu利用率只有140%左右，机器还有很多资源，请问怎么可以提高flink cpu的利用率。
>>
>>
>>
>>
>>
>>
怎么提高flink cpu利用率。
业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),min(time),count等处理。
cpu利用率只有140%左右，机器还有很多资源，请问怎么可以提高flink cpu的利用率。
不纠结几核。如果任务结点本身不多的话，可以提一提再，只要network buffer数量够就好。
爱吃鱼 于2021年1月5日周二 下午4:39写道：
> 24核的机器，已经加到了24的并行度了，然后会 24个并行度的cpu利用率加起来也是140%左右
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2021-01-05 16:24:30，"赵一旦" 写道：
> >加大并行度。
> >
> &
在2021年01月05日 16:37，爱吃鱼 写道：
24核的机器，已经加到了24的并行度了，然后会 24个并行度的cpu利用率加起来也是140%左右
在 2021-01-05 16:24:30，"赵一旦" 写道：
>加大并行度。
>
>爱吃鱼 于2021年1月5日周二 下午4:18写道：
>
>> 怎么提高flink cpu利用率。
>> 业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
>> flatmap处理出来
24核的机器，已经加到了24的并行度了，然后会 24个并行度的cpu利用率加起来也是140%左右
在 2021-01-05 16:24:30，"赵一旦" 写道：
>加大并行度。
>
>爱吃鱼 于2021年1月5日周二 下午4:18写道：
>
>> 怎么提高flink cpu利用率。
>> 业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
>> flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),mi
24核的机器，已经加到了24的并行度了，然后会 24个并行度的cpu利用率加起来也是140%左右
在 2021-01-05 16:24:30，"赵一旦" 写道：
>加大并行度。
>
>爱吃鱼 于2021年1月5日周二 下午4:18写道：
>
>> 怎么提高flink cpu利用率。
>> 业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
>> flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),mi
怎么提高flink cpu利用率。
业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),min(time),count等处理。
cpu利用率只有140%左右，机器还有很多资源，请问怎么可以提高flink cpu的利用率。
加大并行度。
爱吃鱼 于2021年1月5日周二 下午4:18写道：
> 怎么提高flink cpu利用率。
> 业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
> flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),min(time),count等处理。
> cpu利用率只有140%左右，机器还有很多资源，请问怎么可以提高flink cpu的利用率。
怎么提高flink cpu利用率。
业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),min(time),count等处理。
cpu利用率只有140%左右，机器还有很多资源，请问怎么可以提高flink cpu的利用率。
怎么提高flink cpu利用率。
业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),min(time),count等处理。
cpu利用率只有140%左右，机器还有很多资源，请问怎么可以提高flink cpu的利用率。
Flink CPU利用率的高低主要还是取决于你的任务中的业务逻辑，框架本身的CPU占用是很低的
试想一下，如果你的任务是计算非常简单(或则就是sleep)，那整个TM的CPU利用率就很低了，约等于框架占用的
如果是一个计算很密集的(或者就是死循环)，那TM CPU利用率就是取决于你的slot数量了，2个slot就是200%的CPU利用率
Best,
Yang
guaishushu1...@163.com 于2020年7月24日周五 下午4:16写道：
>
>
> 想问下大佬们 Flink的cpu利用率这
想问下大佬们 Flink的cpu利用率这么低吗 0.012？
guaishushu1...@163.com
15 matches
Mail list logo
