如何确定分配内存的大小

2022-01-09 文章 许友昌
请问在启动flink 任务时,要如何确定该分配多少内存给 jobmanager,分配多少给 taskmanager,当我们指定 -ytm 1024 或 -ytm 2048 的依据是什么?

Re: Flink on Native K8s 部署模式下Tm和Jm容器配置Hosts问题

2022-01-09 文章 Yang Wang
抱歉回复晚了 在实践中,Flink on Native K8s的部署方式需要一个机器同时拥有k8s和flink客户端才能很好的完成部署工作。 Flink client并不依赖K8s客户端的,只要有对应的kube config就可以了 你说的两种方法都是可以的,而且也没有本质上的差异。都是把Flink client运行在集群内来完成提交,第一种是常驻的,第二种是动态起的 。 如果作业使用的pod template都是一样的,那就可以自己保存在ConfigMap中然后挂载给Flink client pod就可以了。 如果每个作业使用的都不同,就只能按照你说的方法了

??????????

2022-01-09 文章 ??????
: ??fromElements?? ?? ?? StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); StreamTableEnvironment tenv =

Re: K8s模式指定-C参数不生效

2022-01-09 文章 Yang Wang
file:///home/service/var/chubaofs/flink/user/usrlib/ demo/httpclient-4.5.2.jar 你指定的这个文件是在镜像里面吗?如果不是需要打到镜像里面,或者使用pod template注入init-container来下载到容器里面 Best, Yang johnjlong 于2022年1月5日周三 18:28写道: > > 大佬们 > 我部署作业到k8s集群,有多个作业共享一个外部的jar的情况。外部的jar的通过共享存储,每个JM、TM都能访问。 >

Re: 关于时间窗口的问题

2022-01-09 文章 18703416...@163.com
你好,我理解你的意思了。 可以看下 flink-cep 相关内容, 利用模式匹配去实现 > 2022年1月8日 下午7:10,18765295...@163.com 写道: > > 您好: > 请教一个问题, > 例如:开启一个5秒钟的滚动窗口,当key001的两条数据进来时,没有满足时间触发,但是当key002的数据进来满足窗口触发条件,会将key001的两条数据输出出去。 > > 我想实现的是一个基于事件时间设置的滚动窗口,当key001的数据到来时,没有满足时间时,不会因为key002的数据到来触发key001的数据进行输出。 >

flink sql 如何提高下游并发度?

2022-01-09 文章 Jeff
当source为kafka时,最大并发度由kafka分区决定的, 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?