Re: [ANNOUNCE] Apache Flink 1.16.0 released

2022-10-28 文章 Jing Ge
Congrats! On Fri, Oct 28, 2022 at 1:22 PM 任庆盛 wrote: > Congratulations and a big thanks to Chesnay, Martijn, Godfrey and Xingbo > for the awesome work for 1.16! > > Best regards, > Qingsheng Ren > > > On Oct 28, 2022, at 14:46, Xingbo Huang wrote: > > > > The Apache Flink community is very hap

Re: [ANNOUNCE] Apache Flink 1.16.0 released

2022-10-28 文章 任庆盛
Congratulations and a big thanks to Chesnay, Martijn, Godfrey and Xingbo for the awesome work for 1.16! Best regards, Qingsheng Ren > On Oct 28, 2022, at 14:46, Xingbo Huang wrote: > > The Apache Flink community is very happy to announce the release of Apache > Flink 1.16.0, which is the fi

Re: [ANNOUNCE] Apache Flink 1.16.0 released

2022-10-28 文章 任庆盛
Congratulations and a big thanks to Chesnay, Martijn, Godfrey and Xingbo for the awesome work for 1.16! Best regards, Qingsheng Ren > On Oct 28, 2022, at 14:46, Xingbo Huang wrote: > > The Apache Flink community is very happy to announce the release of Apache > Flink 1.16.0, which is the fir

upsert kafka作为source时,消费不到kafka中的数据

2022-10-28 文章 左岩
upsert kafka作为source时,消费不到kafka中的数据 通过flink sql 写了一个upsert kafka connector 的连接器,去读一个topic,读不到数据,但是普通kafka 连接器消费这个topic 就能读到,都是读的同一个topic,代码如下

Re: Re: 关于如何得到管道中哪些源是有界和无界的问题

2022-10-28 文章 weijie guo
那应该没有办法在Table API中拿到了,我有一些不理解,为什么你需要自动判断执行模式,而不是根据你的任务的实际情况来设置。 如果你期望以批的模式跑作业,然后有些Source是无界的,我理解这本身就是采用的source不合理,应该修改代码。 另外流和批执行模式有很多不同之处,例如sum算子对于每个key是输出多条还是一条,这都是你选择执行模式的时候需要考量的。假设可以支持自动推断,让系统自动推断也可能出现很多预期之外的行为。 Best regards, Weijie junjie.m...@goupwith.com 于2022年10月28日周五 17:51写道: > > 我是f

Re: 关于如何得到管道中哪些源是有界和无界的问题

2022-10-28 文章 TonyChen
升个小版本,1.14.3就有AUTOMATIC Best, TonyChen > 2022年10月28日 17:09,junjie.m...@goupwith.com 写道: > > hi,weijie: > 我使用的是flink1.14里是不支持设置execution.runtime-mode=AUTOMATIC的,会报如下错误: > org.apache.flink.table.api.TableException: Unsupported mode 'AUTOMATIC' for > 'execution.runtime-mode'. Only an explicit BAT

Re: Re: 关于如何得到管道中哪些源是有界和无界的问题

2022-10-28 文章 weijie guo
这种需求可以吧execution.runtime-mode设置成AUTOMATIC, 这种模式就是你的需求,如果所有的Source都是有界的,则使用Batch执行模式,否则使用Streaming Best regards, Weijie junjie.m...@goupwith.com 于2022年10月28日周五 15:56写道: > hi, Weijie: > > 由于我没有发现如何判断管道是有界还是无界的方法,特别是对于Table&SQL需要手动指定execution.runtime-mode=BATCH或STREAMING。 > > 我想通过得到所有的source的有界/

Re: Re: 关于如何得到管道中哪些源是有界和无界的问题

2022-10-28 文章 weijie guo
Hi, junjie: 我想先了解一下你的目的是什么,为什么需要在Table API中判断Source的Boundness,这些信息对你的场景的帮助是什么? Best regards, Weijie junjie.m...@goupwith.com 于2022年10月28日周五 15:36写道: > public static DynamicTableSource FactoryUtil.createTableSource(@Nullable > Catalog catalog,ObjectIdentifier objectIdentifier, ResolvedCatalog

Re: 关于如何得到管道中哪些源是有界和无界的问题

2022-10-28 文章 TonyChen
是不是可以看下这个 https://github.com/apache/flink/blob/master/flink-table/flink-table-common/src/main/java/org/apache/flink/table/connector/source/ScanTableSource.java#L94 Best, TonyChen > 2022年10月28日 15:12,junjie.m...@goupwith.com 写道: > > 大家好: >有个问题判断Table是有界还是无界,或者通过TableEnv如何能得到source table信息和其