回复:flink1.10.0-RestClusterClient cancel job, 报错

2021-12-08 文章 nicygan
时间设长没有用,不限时都会报错。 回复的原邮件 | 发件人 | 何凯飞<18703416...@163.com> | | 日期 | 2021年12月09日 15:07 | | 收件人 | user-zh@flink.apache.org | | 抄送至 | | | 主题 | Re: flink1.10.0-RestClusterClient cancel job, 报错 | 有尝试过将 timeout 时间设置长一点嘛? 比如3 min

Re: flink1.10.0-RestClusterClient cancel job, 报错

2021-12-08 文章 何凯飞
有尝试过将 timeout 时间设置长一点嘛? 比如3 min

flink1.10.0-RestClusterClient cancel job, 报错

2021-12-08 文章 nicygan
dear all: 如题,我在调用RestClusterClient#cancel(JobID jobId)方法取消作业时,get不到结果,但作业能正常停止。 用future.get()会报错如下: Number of retries has been exhausted. 用future.get(10, TimeUnit.SECONDS)会报错timeout. 调用#cancelWithSavepoint(...)和#stopWithSavepoint(...)就没问题,可以正常获取到结果,不报错。 作业运行于cdh yarn集群,版本2.6.0

Re: flink sql支持细粒度的状态配置

2021-12-08 文章 Yun Tang
Hi 你好, 我认为这是一个很好的需求,对于data stream以及python API来说,state TTL都是通过API逐个配置的,你的需求就可以直接满足。但是对于SQL来说,由于相同的SQL语句,不同优化器其生成的执行plan可能会差异很大,很难对某个operator内的state进行TTL进行配置,可能一种方式是增加一些SQL的优化hint,对于你示例中的join语句和groupBy 的count语句配以不同的TTL,但是目前Flink SQL尚未支持该功能。 祝好 唐云 From:

退订

2021-12-08 文章 lpf
退订

退订

2021-12-08 文章 lpf
退订

flink作业支持资源自动扩缩容吗?

2021-12-08 文章 casel.chen
实时作业根据上游业务流量大小消耗资源有峰谷,请问最新版本的flink支持在流量大的时候自动扩容(增加cpu/mem或提高并行度等),在流量小的时候自动缩容吗? 如果支持,一般需要多久?扩缩容期间会影响作业正常运行吗?

Re:回复: Re:回复: flink cdc支持mysql整库同步进hudi湖吗?

2021-12-08 文章 casel.chen
整库入湖的需求分为两部分:存量和增量 存量数据可以通过离线spark作业写hudi表,我提问的重点是增量数据怎样通过flink cdc方式写hudi表。如果一个库有成百上千张表的话,我不希望每一张表写一个flink作业,有没有方法可以只写一个作业就能同步一个库下所有表的增量数据呢? At 2021-12-08 10:00:37, "su wenwen" wrote: >hi, I think Chengyanan is talking about hudig website