Re: 请问同一个flink history server能够支持多个flink application cluster吗?

2021-08-19 文章 Chenyu Zheng
//accumulators * /jobs//vertices//subtasks/accumulators * /jobs//vertices//subtasks/ * /jobs//vertices//subtasks//attempts/ * /jobs//vertices//subtasks//attempts//accumulators * /jobs//plan From: Chenyu Zheng Reply-To: "user-zh@flink.apache.org" Date: Friday, August 20, 202

请问同一个flink history server能够支持多个flink application cluster吗?

2021-08-19 文章 Chenyu Zheng
您好, 我们目前在k8s上以flink application模式运行作业,现在希望部署一个history server方便debug。但是根据文档,flink historyserver貌似只支持单个cluster下不同job的使用方法,如果存在多个cluster,相同的jobID将会出现错误。 请问对于多个application cluster,history使用的最佳姿势是什么样的? 谢谢[cid:image001.png@01D795B8.6430A670]

请问如何从源码构建flink docker镜像?

2021-08-19 文章 Chenyu Zheng
Hi, 我最近对于手头的源码进行了些许修改,请问如何从源码构建docker镜像?这将方便我进行下一步测试 谢谢

Re: Flink 1.12.5: The heartbeat of JobManager/TaskManager with id xxx timed out

2021-08-10 文章 Chenyu Zheng
] at akka.dispatch.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107) [flink-dist_2.11-1.12.5.jar:1.12.5] Caused by: java.util.concurrent.TimeoutException: The heartbeat of JobManager with id 1da1bb0693814dd8cc2549e4f5cd368a timed out. ... 27 more On 2021/8/10, 7:13 PM, "C

user-zh@flink.apache.org

2021-08-10 文章 Chenyu Zheng
Hi 开发者, 我正尝试在k8s上部署flink集群,但是当我将并行度调的比较大(128)时,会经常遇到Jobmanager/Taskmanager的各种超时错误,然后我的任务会被自动取消。 我确定这不是一个网络问题,因为: * 在32/64并行度从没有出现过这个问题,但是在128并行度,每次运行都会出现这个错误 * 我们的flink是部署在生产环境的k8s集群中,没有其他容器反馈遇到了网络问题 * 将heartbeat.timeout调大(300s)可以解决这个问题 我的flink环境: ·Flink 1.12.5 with java8,

Re: 几个Flink 1.12. 2超时问题

2021-08-04 文章 Chenyu Zheng
8s日志,看看整个流程是否有瓶颈点,比如镜像的拉取,TM容器的启动之类。 2、网络层面。如果调度没有问题,各容器启动的过程和速度都很正常,那就要看网络层面是否存在瓶颈,必要的时候可以tcpdump一下。 在 2021-08-03 14:02:53,"Chenyu Zheng" 写道: 开发者您好, 我正在尝试在Kubernetes上部署Flink 1.12.2,使用的是native application部署模式。但是在测试中发现,当将作业并行度调大之后,各种timeout时有发生。根据监控看,JM和TM容器的

Re: 几个Flink 1.12. 2超时问题

2021-08-03 文章 Chenyu Zheng
是因为上游事件源速率比较大,需要提高并行度来匹配速率 谢谢! On 2021/8/3, 2:41 PM, "Ye Chen" wrote: 你好, 请问一下为什么要设置128并行度,这个数值有点太大了,出于什么考虑设置的 在 2021-08-03 14:02:53,"Chenyu Zheng" 写道: 开发者您好, 我正在尝试在Kubernetes上部署Flink 1.12.2,使用的是native application部署模式。但是在测试中发现,当将作业并行度调大之后,各种

Re: 几个Flink 1.12. 2超时问题

2021-08-03 文章 Chenyu Zheng
) ~[flink-dist_2.11-1.12.2.jar:1.12.2] at akka.dispatch.Mailbox.exec(Mailbox.scala:235) ~[flink-dist_2.11-1.12.2.jar:1.12.2] ... 4 more From: Chenyu Zheng Reply-To: "user-zh@flink.apache.org" Date: Tuesday, August 3, 2021 at 2:04 PM To: "user-zh@f

Re: 几个Flink 1.12. 2超时问题

2021-08-03 文章 Chenyu Zheng
-dist_2.11-1.12.2.jar:1.12.2] at java.lang.Thread.run(Thread.java:748) ~[?:1.8.0_282] From: Chenyu Zheng Reply-To: "user-zh@flink.apache.org" Date: Tuesday, August 3, 2021 at 2:04 PM To: "user-zh@flink.apache.org" Subject: 几个Flink 1.12. 2超时问题 开发者您好, 我正在尝试在Kubernet

Re: 几个Flink 1.12. 2超时问题

2021-08-03 文章 Chenyu Zheng
-dist_2.11-1.12.2.jar:1.12.2] at akka.dispatch.Mailbox.exec(Mailbox.scala:235) ~[flink-dist_2.11-1.12.2.jar:1.12.2] ... 4 more From: Chenyu Zheng Reply-To: "user-zh@flink.apache.org" Date: Tuesday, August 3, 2021 at 2:04 PM To: "user-zh@flink.apach

几个Flink 1.12. 2超时问题

2021-08-03 文章 Chenyu Zheng
开发者您好, 我正在尝试在Kubernetes上部署Flink 1.12.2, 使用的是native application部署模式。但是在测试中发现,当将作业并行度调大之后,各种timeout时有发生。根据监控看,JM和TM容器的cpu和内存都没有使用到k8s给分配的量。 在尝试调大akka.ask.timeout至1分钟,和heartbeat.timeout至2分钟之后,各种超时现象得以缓解。

Flink v1.12.2 Kubernetes Session Mode无法挂载ConfigMap中的log4j.properties

2021-06-19 文章 Chenyu Zheng
开发者您好, 我最近正在尝试使用Kubernetes Session Mode启动Flink,但是发现无法挂载ConfigMap中的log4j.properties。请问这是一个bug吗?有没有方法绕开这个问题,动态挂载log4j.properties? 我的yaml: apiVersion: v1 data: flink-conf.yaml: |- taskmanager.numberOfTaskSlots: 1 blob.server.port: 6124 kubernetes.rest-service.exposed.type: ClusterIP