退订
| |
爱吃鱼
|
|
aichiyuyiy...@163.com
|
我在测试的时候12个并行度，16，24都测试了但启任务后的cpu利用率还是 140%左右，不管并行度设置为多少。
在 2021-01-05 16:49:02，"赵一旦" 写道：
>不纠结几核。如果任务结点本身不多的话，可以提一提再，只要network buffer数量够就好。
>
>爱吃鱼 于2021年1月5日周二 下午4:39写道：
>
>> 24核的机器，已经加到了24的并行度了，然后会 24个并行度的cpu利用率加起来也是140%左右
>>
>>
>>
怎么提高flink cpu利用率。
业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),min(time),count等处理。
cpu利用率只有140%左右，机器还有很多资源，请问怎么可以提高flink cpu的利用率。
在2021年01月05日 16:37，爱吃鱼 写道：
24核的机器，已经加到了24的并行度了，然后会 24个并行度的cpu利用率加起来也是140%左右
在 2021-01-05 16:24:30，"赵一旦" 写道：
>加大并行度。
>
>爱吃鱼 于2021年1月5日周二 下午4:18写道：
>
>> 怎么提高flink cpu利用率。
>> 业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
>> flatmap处理出来
24核的机器，已经加到了24的并行度了，然后会 24个并行度的cpu利用率加起来也是140%左右
在 2021-01-05 16:24:30，"赵一旦" 写道：
>加大并行度。
>
>爱吃鱼 于2021年1月5日周二 下午4:18写道：
>
>> 怎么提高flink cpu利用率。
>> 业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
>> flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),mi
24核的机器，已经加到了24的并行度了，然后会 24个并行度的cpu利用率加起来也是140%左右
在 2021-01-05 16:24:30，"赵一旦" 写道：
>加大并行度。
>
>爱吃鱼 于2021年1月5日周二 下午4:18写道：
>
>> 怎么提高flink cpu利用率。
>> 业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
>> flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),mi
怎么提高flink cpu利用率。
业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),min(time),count等处理。
cpu利用率只有140%左右，机器还有很多资源，请问怎么可以提高flink cpu的利用率。
怎么提高flink cpu利用率。
业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),min(time),count等处理。
cpu利用率只有140%左右，机器还有很多资源，请问怎么可以提高flink cpu的利用率。
怎么提高flink cpu利用率。
业务场景，flink batch ，读取大概两个亿数据的文件，然后进行flatmap处理。
flatmap处理出来的数据转换成表，并用sql 对表的数据进行 max(time),min(time),count等处理。
cpu利用率只有140%左右，机器还有很多资源，请问怎么可以提高flink cpu的利用率。
0-07-09 13:09:32，"Yichao Yang" <1048262...@qq.com> 写道：
>Hi,
>
>
>根据你的keyby字段来看，你是根据 warningPojo + String 进行了keyby，可以看下是否相同的key只有一条相同数据。
>并且可以看下使用到的是处理时间还是事件时间？
>如果是事件时间，可以看下 timestamp assigner 是否正确，上游数据和时间戳是否符合预期。
>
>
>Best,
>Yichao Yang
>
>
>
>
&
你好，我最近业务上需要处理一个流式的时间处理窗口，部分业务代码如下
SingleOutputStreamOperator> operator =
flatMap.keyBy(0,1)
.timeWindow(Time.minutes(1))
.process(new ProcessWindowFunction)
当我运行的时候只有第一分钟的时间窗口会有数据进来，之后便没有数据进来了，业务逻辑代码也没有报错，请问这是什么原因。
11 matches
Mail list logo
