//accumulators
* /jobs//vertices//subtasks/accumulators
* /jobs//vertices//subtasks/
* /jobs//vertices//subtasks//attempts/
*
/jobs//vertices//subtasks//attempts//accumulators
* /jobs//plan
From: Chenyu Zheng
Reply-To: "user-zh@flink.apache.org"
Date: Friday, August 20, 202
您好,
我们目前在k8s上以flink application模式运行作业,现在希望部署一个history server方便debug。但是根据文档,flink
historyserver貌似只支持单个cluster下不同job的使用方法,如果存在多个cluster,相同的jobID将会出现错误。
请问对于多个application cluster,history使用的最佳姿势是什么样的?
谢谢[cid:image001.png@01D795B8.6430A670]
Hi,
我最近对于手头的源码进行了些许修改,请问如何从源码构建docker镜像?这将方便我进行下一步测试
谢谢
akka.dispatch.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107)
[flink-dist_2.11-1.12.5.jar:1.12.5]
Caused by: java.util.concurrent.TimeoutException: The heartbeat of JobManager
with id 1da1bb0693814dd8cc2549e4f5cd368a timed out.
... 27 more
On 2021/8/10, 7:13 PM, "C
Hi 开发者,
我正尝试在k8s上部署flink集群,但是当我将并行度调的比较大(128)时,会经常遇到Jobmanager/Taskmanager的各种超时错误,然后我的任务会被自动取消。
我确定这不是一个网络问题,因为:
* 在32/64并行度从没有出现过这个问题,但是在128并行度,每次运行都会出现这个错误
* 我们的flink是部署在生产环境的k8s集群中,没有其他容器反馈遇到了网络问题
* 将heartbeat.timeout调大(300s)可以解决这个问题
我的flink环境:
·Flink 1.12.5 with java8, s
8s日志,看看整个流程是否有瓶颈点,比如镜像的拉取,TM容器的启动之类。
2、网络层面。如果调度没有问题,各容器启动的过程和速度都很正常,那就要看网络层面是否存在瓶颈,必要的时候可以tcpdump一下。
在 2021-08-03 14:02:53,"Chenyu Zheng" 写道:
开发者您好,
我正在尝试在Kubernetes上部署Flink 1.12.2,使用的是native
application部署模式。但是在测试中发现,当将作业并行度调大之后,各种timeout时有发生。根据监控看,JM和TM容器的
是因为上游事件源速率比较大,需要提高并行度来匹配速率
谢谢!
On 2021/8/3, 2:41 PM, "Ye Chen" wrote:
你好,
请问一下为什么要设置128并行度,这个数值有点太大了,出于什么考虑设置的
在 2021-08-03 14:02:53,"Chenyu Zheng" 写道:
开发者您好,
我正在尝试在Kubernetes上部署Flink 1.12.2,使用的是native
application部署模式。但是在测试中发现,当将作业并行度调大之后,各种
)
~[flink-dist_2.11-1.12.2.jar:1.12.2]
at akka.dispatch.Mailbox.exec(Mailbox.scala:235)
~[flink-dist_2.11-1.12.2.jar:1.12.2]
... 4 more
From: Chenyu Zheng
Reply-To: "user-zh@flink.apache.org"
Date: Tuesday, August 3, 2021 at 2:04 PM
To: "user-zh@f
flink-dist_2.11-1.12.2.jar:1.12.2]
at java.lang.Thread.run(Thread.java:748) ~[?:1.8.0_282]
From: Chenyu Zheng
Reply-To: "user-zh@flink.apache.org"
Date: Tuesday, August 3, 2021 at 2:04 PM
To: "user-zh@flink.apache.org"
Subject: 几个Flink 1.12. 2超时问题
开发者您好,
我正在尝试在Kub
-dist_2.11-1.12.2.jar:1.12.2]
at akka.dispatch.Mailbox.exec(Mailbox.scala:235)
~[flink-dist_2.11-1.12.2.jar:1.12.2]
... 4 more
From: Chenyu Zheng
Reply-To: "user-zh@flink.apache.org"
Date: Tuesday, August 3, 2021 at 2:04 PM
To: "user-zh@flink.apach
开发者您好,
我正在尝试在Kubernetes上部署Flink 1.12.2, 使用的是native
application部署模式。但是在测试中发现,当将作业并行度调大之后,各种timeout时有发生。根据监控看,JM和TM容器的cpu和内存都没有使用到k8s给分配的量。
在尝试调大akka.ask.timeout至1分钟,和heartbeat.timeout至2分钟之后,各种超时现象得以缓解。
我的问题是,当设置较大并行度(比如128)时,akka超时和心跳超时的各种现象都是正常的吗?如果不正常,需要用什么方式去troubleshot问题的根源呢?另外单纯一味调大各个组件的超时时
开发者您好,
我最近正在尝试使用Kubernetes Session
Mode启动Flink,但是发现无法挂载ConfigMap中的log4j.properties。请问这是一个bug吗?有没有方法绕开这个问题,动态挂载log4j.properties?
我的yaml:
apiVersion: v1
data:
flink-conf.yaml: |-
taskmanager.numberOfTaskSlots: 1
blob.server.port: 6124
kubernetes.rest-service.exposed.type: ClusterIP
12 matches
Mail list logo