Re: flink sql 执行limit 很少的语句依然会暴增

2021-01-25 文章 Shengkai Fang
hi, 报错信息: java.lang.UnsupportedOperationException: Currently, a DynamicTableSource with SupportsLimitPushDown ability is not supported. 如果你当前的版本不是1.12的话,那么你还需要pick下rule[1]。可以关注下这个jira[2],这里包含了所有对于SupportXXX的优化。 如果只是本地测试的话还是建议用发布的1.12 + 之前提到的commit,自己pick可能有点问题。 [1]

Re: flink sql 执行limit 很少的语句依然会暴增

2021-01-24 文章 zhang hao
flink run -py new_jdbc_source.py Traceback (most recent call last): File "new_jdbc_source.py", line 66, in st_env.execute_sql("select * from feature_bar_sink").print() File "/Users/derek.bao/dev-utils/flink-1.11.2/opt/python/pyflink.zip/pyflink/table/table_environment.py", line 543, in

Re: flink sql 执行limit 很少的语句依然会暴增

2021-01-22 文章 zhang hao
嗯嗯 好的 谢谢大家 ,应该就是这个问题了,merge到分支验证下 On Fri, Jan 22, 2021 at 11:35 AM Shengkai Fang wrote: > hi, LIMIT PUSH DOWN 近期已经merge进了master分支了。 > > [1] https://github.com/apache/flink/pull/13800 > > Land 于2021年1月22日周五 上午11:28写道: > > > 可能是没有下推到MySQL执行。 > > 问题和我遇到的类似: > >

Re: flink sql 执行limit 很少的语句依然会暴增

2021-01-21 文章 Shengkai Fang
hi, LIMIT PUSH DOWN 近期已经merge进了master分支了。 [1] https://github.com/apache/flink/pull/13800 Land 于2021年1月22日周五 上午11:28写道: > 可能是没有下推到MySQL执行。 > 问题和我遇到的类似: > http://apache-flink.147419.n8.nabble.com/Flink-MySQL-td10374.html > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ >

Re: flink sql 执行limit 很少的语句依然会暴增

2021-01-21 文章 Land
可能是没有下推到MySQL执行。 问题和我遇到的类似:http://apache-flink.147419.n8.nabble.com/Flink-MySQL-td10374.html -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink sql 执行limit 很少的语句依然会暴增

2021-01-20 文章 zhang hao
请教个问题,使用flink sql 去拉取mysql数据,mysql源表有千万级别数据量,使用了 select * from sourcTable limit 10; 即使是limit几条数据也会导致内存暴增。这里的limit是从mysql原表执行后 直接在flink taskmanager进行limit取数据吗?