flink1.11.2 sql????datahub sls

2020-11-21 文章 ????
@all??
  Flink1.11.2
??
  ??flink sql??datahub??sls?? join 
??connector

Re:关于 Flink on K8S Deploy Job Cluster 部署问题

2020-11-21 文章 RS
taskmanager-job-deployment.yaml 和 jobmanager-job.yaml 部署的时候只用启动一次服务,

后续启动实际job的时候,就占用slot,available slot就少了 
当job执行完之后,slot资源就释放了,available的slot又恢复了,可以给下一次的job提供资源 
如果你的slot用完了的话,那就是资源不够了,需要重新配置taskmanager-job-deployment.yaml












在 2020-11-20 15:20:58,"WeiXubin" <18925434...@163.com> 写道:
>我们打算采用 Flink on K8S Job
>Cluster(perjob)的部署方式。我们使用taskmanager-job-deployment.yaml
>在K8S启动taskmananger,副本数为2,每个taskMananger的solt为8。我们把TaskMananger理解为资源池,当有一个Job启动时,会根据任务情况自动分配一定数量的TaskMananger给它,当它用完时把TaskMananger归还。
>
>当我们使用 jobmanager-job.yaml
>启动Job(Job只需要一个solt)时候,发现该Job会占用这两个TaskMananger,即使其并不需要那么多solt。这导致第二个Job启动时没有可用的TaskMananger,导致资源浪费。
>
>问题:
>是否pre-job模式每次启动都是需要创建 taskmanager-job-deployment.yaml 和
>jobmanager-job.yaml,然后这部分taskmananger归属于这个job,当运行完需要销毁掉
>taskmanager?但这样就会导致每次都要创建和销毁taskmanager
>
>Thanks,
>Bin
>
>
>
>
>
>
>--
>Sent from: http://apache-flink.147419.n8.nabble.com/