Re: flink作业支持资源自动扩缩容吗?

2021-12-11 文章 Zhilong Hong
流作业的话可以看一下自1.13版本开始引入的Reactive模式 [1] 和Adaptive调度,会根据资源的变化对作业并发度进行调整。用户可以根据作业指标对资源进行调整,flink即会根据资源变化对作业进行调整。批作业的话可以了解一下1.15版本中即将推出的Adaptive批调度模式 [2],在这种模式下节点并发度会随着数据量自动进行调整。 [1] https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/deployment/elastic_scaling/ [2]

flink作业支持资源自动扩缩容吗?

2021-12-08 文章 casel.chen
实时作业根据上游业务流量大小消耗资源有峰谷,请问最新版本的flink支持在流量大的时候自动扩容(增加cpu/mem或提高并行度等),在流量小的时候自动缩容吗? 如果支持,一般需要多久?扩缩容期间会影响作业正常运行吗?