Re:Re: pyflink使用的一些疑问

2021-03-16 文章 xiaoyue
Hi, Xingbo 想跟您了解一下关于sql_query执行上的细节，flink1.12版本底层执行sql语句的过程中，是否有谓词下退的优化？ 从相关的代码测试结果看： 1. pyflink1.11版本的connector定义支持参数read.query来获取数据，执行效率很高，猜测这部分执行交由数据库完成； 2. pyflink1.12版本取消了read.query参数，当定义多个数据源执行join等操作时，耗时很明显(pyflink)

FlinkSql 的一些疑问

2021-03-16 文章 songzhongs...@kedacom.com
请教如下问题： 1. TableEnvironment 的 Checkpoint 以及 RestartStrategy 如何设置？ 是仅有通过设置 StreamTableEnvironment ，再 create TableEnv 的方式吗？ 2. 使用catalog 时, 对于已经存在的物理表，如何指定 表字段为EventTime 以及Watermark 如何设置。还需要CreateTable 吗？ songzhongs...@kedacom.com

Re: Pyflink 提交到本地集群报错

2021-03-16 文章 Huilin_WU
你好,谢谢你的回复，现在更新到V1.12就可以直接运行了 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink sql 的 count(distinct )问题

2021-03-16 文章 Benchao Li
Hi， 你可以理解为用的是MapState来保存的状态。 op <520075...@qq.com> 于2021年3月16日周二 下午3:00写道： > 各位大佬好，想问下flinksql里的count (distinct）默认是用哪种state保存的状态 -- Best, Benchao Li

使用codehaus.janino动态生成类，在map函数中自动映射json对象，找不到我自动生成的类

2021-03-16 文章 hdxg1101300...@163.com
你好: 我这边根据数据字典 动态生产类然后通过map函数对我的json字符串映射到我动态生成的类中； public static Class getClazz(String className,String cls) throws Exception { SimpleCompiler compiler = new SimpleCompiler(); compiler.cook(cls);

Re: Temproal Tables

2021-03-16 文章 superainbower
这个问题我解决了，这样定义应该是可以 On 03/16/2021 15:11, superainbower wrote: 请教下大家，官网中对于时态表的定义的案例是基于debezium的，我现在具基于canal这样定义有问题吗？定义如下 create table produce( id string, name string, price decimal(10,4) update_time timestamp(3) metadata from ‘timestamp’ virtual, primary key(id) not enforced, watermark for

Re: Flink sql 实现全局row_number()分组排序

2021-03-16 文章 Tian Hengyu
咋么有人啊~~~ -- Sent from: http://apache-flink.147419.n8.nabble.com/

（无主题）

2021-03-16 文章 黄志高
各位大佬，在做远程提交任务到flink的standalone模式，抛以下异常 Caused by: java.lang.RuntimeException: java.lang.InterruptedException at org.apache.flink.util.ExceptionUtils.rethrow(ExceptionUtils.java:277) at org.apache.flink.api.java.ExecutionEnvironment.executeAsync(ExecutionEnvironment.java:981) at

Temproal Tables

2021-03-16 文章 superainbower
请教下大家，官网中对于时态表的定义的案例是基于debezium的，我现在具基于canal这样定义有问题吗？定义如下 create table produce( id string, name string, price decimal(10,4) update_time timestamp(3) metadata from ‘timestamp’ virtual, primary key(id) not enforced, watermark for update_time as update_time )with( ‘connector’=‘Kafka’,

flink sql ?? count(distinct )????

2021-03-16 文章 op
??flinksqlcount (distinct??state??

Re: pyflink使用的一些疑问

2021-03-16 文章 Xingbo Huang
Hi， 补充回答两点 1. 现在Table上是支持sliding window和Tumpling Window的Pandas UDAF[1]的, 在1.13会支持session window的UDAF的支持。对于datastream上window的支持，对于上述几种window，你可以转到table上去操作，对于自定义window，datastream会在1.13支持。 2. 关于性能问题，如果你不使用Python UDFs的话，本质就是跑的Java的代码，python起的作用只是在客户端编译JobGraph的作用，所以不存在说Python