发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用
发件人: guanyq<mailto:dlgua...@163.com>
发送时间: 2020年5月25日 13:51
收件人: user-zh@flink.apache.org<mailto:user-zh@flink.apache.org>
主题: Re:Re: RichMapFunction的问题
>> 1、这个RichMapFunction的并发度上不去,只能整到4,并发度上去后各种问
关于第一个问题,最好细化一下【各种问题】是什么问题。
1、这个RichMapFunction的并发度上不去,只能整到4,并发度上去后各种问题,但从主机内存以及分配给taskmanager的内存足够;
现象就是:
某个task动不动就fail,然后整个job尝试重新create-->running,第二个问题的解决影响第一个问题,处理性能受第一个问题的影响,这个task的并发度死活都上不去,导致整体的Job的数据处理速度上不去。
Heartbeat超时,这个已经调大。
#配置超时
akka.ask.timeout: 60 s
因我的sink都是使用checkpoint定期出发
>> 1、这个RichMapFunction的并发度上不去,只能整到4,并发度上去后各种问题,但从主机内存以及分配给taskmanager的内存足够;
-- 能粘贴下代码么
-- 还有提交的命令
>> 2、这个RichMapFunction的所有slot都分配到同一个taskmanager上,即同一个主机。没有找到接口可以分散到不同的taskmanager上;
-- 什么模式提交的job(yarn session,yarn,还是stand alone模式)
在 2020-05-25 11:47:48,"tison" 写道:
>
flink 1.10??slot??tmcluster.evenly-spread-out-slots: true
----
??: "xue...@outlook.com"https://go.microsoft.com/fwlink/?LinkId=550986gt;
关于第一个问题,最好细化一下【各种问题】是什么问题。
关于第二个问题,我印象中目前 Flink 不支持按并发(SubTask)级别指定调度的位置,绕过方案可以是设置每个 TM 仅持有一个
Slot。这方面我抄送 Xintong,或许他的工作能帮到你。
Best,
tison.
xue...@outlook.com 于2020年5月25日周一 上午11:29写道:
> 遇到两个问题:
> 背景:flink v1.10集群,几十台主机,每台CPU 16,内存 50G,整个job的并发是200
> 比如我的一个RichMapFunction在ope
遇到两个问题:
背景:flink v1.10集群,几十台主机,每台CPU 16,内存 50G,整个job的并发是200
比如我的一个RichMapFunction在open中会加载存量数据。
因维度数据和主数据是非常离散的,因此这些维度数据都需要加载到内存
1、这个RichMapFunction的并发度上不去,只能整到4,并发度上去后各种问题,但从主机内存以及分配给taskmanager的内存足够;
2、这个RichMapFunction的所有slot都分配到同一个taskmanager上,即同一个主机。没有找到接口可以分散到不同的taskmanager上;
说简单点