Congrats!
On Fri, Oct 28, 2022 at 1:22 PM 任庆盛 wrote:
> Congratulations and a big thanks to Chesnay, Martijn, Godfrey and Xingbo
> for the awesome work for 1.16!
>
> Best regards,
> Qingsheng Ren
>
> > On Oct 28, 2022, at 14:46, Xingbo Huang wrote:
> >
> > The Apache Flink community is very hap
Congratulations and a big thanks to Chesnay, Martijn, Godfrey and Xingbo for
the awesome work for 1.16!
Best regards,
Qingsheng Ren
> On Oct 28, 2022, at 14:46, Xingbo Huang wrote:
>
> The Apache Flink community is very happy to announce the release of Apache
> Flink 1.16.0, which is the fi
Congratulations and a big thanks to Chesnay, Martijn, Godfrey and Xingbo for
the awesome work for 1.16!
Best regards,
Qingsheng Ren
> On Oct 28, 2022, at 14:46, Xingbo Huang wrote:
>
> The Apache Flink community is very happy to announce the release of Apache
> Flink 1.16.0, which is the fir
upsert kafka作为source时,消费不到kafka中的数据
通过flink sql 写了一个upsert kafka connector 的连接器,去读一个topic,读不到数据,但是普通kafka
连接器消费这个topic 就能读到,都是读的同一个topic,代码如下
那应该没有办法在Table API中拿到了,我有一些不理解,为什么你需要自动判断执行模式,而不是根据你的任务的实际情况来设置。
如果你期望以批的模式跑作业,然后有些Source是无界的,我理解这本身就是采用的source不合理,应该修改代码。
另外流和批执行模式有很多不同之处,例如sum算子对于每个key是输出多条还是一条,这都是你选择执行模式的时候需要考量的。假设可以支持自动推断,让系统自动推断也可能出现很多预期之外的行为。
Best regards,
Weijie
junjie.m...@goupwith.com 于2022年10月28日周五 17:51写道:
>
> 我是f
升个小版本,1.14.3就有AUTOMATIC
Best,
TonyChen
> 2022年10月28日 17:09,junjie.m...@goupwith.com 写道:
>
> hi,weijie:
> 我使用的是flink1.14里是不支持设置execution.runtime-mode=AUTOMATIC的,会报如下错误:
> org.apache.flink.table.api.TableException: Unsupported mode 'AUTOMATIC' for
> 'execution.runtime-mode'. Only an explicit BAT
这种需求可以吧execution.runtime-mode设置成AUTOMATIC,
这种模式就是你的需求,如果所有的Source都是有界的,则使用Batch执行模式,否则使用Streaming
Best regards,
Weijie
junjie.m...@goupwith.com 于2022年10月28日周五 15:56写道:
> hi, Weijie:
>
> 由于我没有发现如何判断管道是有界还是无界的方法,特别是对于Table&SQL需要手动指定execution.runtime-mode=BATCH或STREAMING。
>
> 我想通过得到所有的source的有界/
Hi, junjie:
我想先了解一下你的目的是什么,为什么需要在Table API中判断Source的Boundness,这些信息对你的场景的帮助是什么?
Best regards,
Weijie
junjie.m...@goupwith.com 于2022年10月28日周五 15:36写道:
> public static DynamicTableSource FactoryUtil.createTableSource(@Nullable
> Catalog catalog,ObjectIdentifier objectIdentifier, ResolvedCatalog
是不是可以看下这个
https://github.com/apache/flink/blob/master/flink-table/flink-table-common/src/main/java/org/apache/flink/table/connector/source/ScanTableSource.java#L94
Best,
TonyChen
> 2022年10月28日 15:12,junjie.m...@goupwith.com 写道:
>
> 大家好:
>有个问题判断Table是有界还是无界,或者通过TableEnv如何能得到source table信息和其