请问在启动flink 任务时,要如何确定该分配多少内存给 jobmanager,分配多少给 taskmanager,当我们指定 -ytm 1024 或
-ytm 2048 的依据是什么?
抱歉回复晚了
在实践中,Flink on Native K8s的部署方式需要一个机器同时拥有k8s和flink客户端才能很好的完成部署工作。
Flink client并不依赖K8s客户端的,只要有对应的kube config就可以了
你说的两种方法都是可以的,而且也没有本质上的差异。都是把Flink client运行在集群内来完成提交,第一种是常驻的,第二种是动态起的 。
如果作业使用的pod template都是一样的,那就可以自己保存在ConfigMap中然后挂载给Flink client pod就可以了。
如果每个作业使用的都不同,就只能按照你说的方法了
:
??fromElements??
??
??
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
StreamTableEnvironment tenv =
file:///home/service/var/chubaofs/flink/user/usrlib/
demo/httpclient-4.5.2.jar
你指定的这个文件是在镜像里面吗?如果不是需要打到镜像里面,或者使用pod template注入init-container来下载到容器里面
Best,
Yang
johnjlong 于2022年1月5日周三 18:28写道:
>
> 大佬们
> 我部署作业到k8s集群,有多个作业共享一个外部的jar的情况。外部的jar的通过共享存储,每个JM、TM都能访问。
>
你好,我理解你的意思了。
可以看下 flink-cep 相关内容, 利用模式匹配去实现
> 2022年1月8日 下午7:10,18765295...@163.com 写道:
>
> 您好:
> 请教一个问题,
> 例如:开启一个5秒钟的滚动窗口,当key001的两条数据进来时,没有满足时间触发,但是当key002的数据进来满足窗口触发条件,会将key001的两条数据输出出去。
>
> 我想实现的是一个基于事件时间设置的滚动窗口,当key001的数据到来时,没有满足时间时,不会因为key002的数据到来触发key001的数据进行输出。
>
当source为kafka时,最大并发度由kafka分区决定的, 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?