hi,
报错信息: java.lang.UnsupportedOperationException: Currently, a
DynamicTableSource with SupportsLimitPushDown ability is not supported.
如果你当前的版本不是1.12的话,那么你还需要pick下rule[1]。可以关注下这个jira[2],这里包含了所有对于SupportXXX的优化。
如果只是本地测试的话还是建议用发布的1.12 + 之前提到的commit,自己pick可能有点问题。
[1]
flink run -py new_jdbc_source.py
Traceback (most recent call last):
File "new_jdbc_source.py", line 66, in
st_env.execute_sql("select * from feature_bar_sink").print()
File
"/Users/derek.bao/dev-utils/flink-1.11.2/opt/python/pyflink.zip/pyflink/table/table_environment.py",
line 543, in
嗯嗯 好的 谢谢大家 ,应该就是这个问题了,merge到分支验证下
On Fri, Jan 22, 2021 at 11:35 AM Shengkai Fang wrote:
> hi, LIMIT PUSH DOWN 近期已经merge进了master分支了。
>
> [1] https://github.com/apache/flink/pull/13800
>
> Land 于2021年1月22日周五 上午11:28写道:
>
> > 可能是没有下推到MySQL执行。
> > 问题和我遇到的类似:
> >
hi, LIMIT PUSH DOWN 近期已经merge进了master分支了。
[1] https://github.com/apache/flink/pull/13800
Land 于2021年1月22日周五 上午11:28写道:
> 可能是没有下推到MySQL执行。
> 问题和我遇到的类似:
> http://apache-flink.147419.n8.nabble.com/Flink-MySQL-td10374.html
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
可能是没有下推到MySQL执行。
问题和我遇到的类似:http://apache-flink.147419.n8.nabble.com/Flink-MySQL-td10374.html
--
Sent from: http://apache-flink.147419.n8.nabble.com/
请教个问题,使用flink sql 去拉取mysql数据,mysql源表有千万级别数据量,使用了 select * from sourcTable
limit 10;
即使是limit几条数据也会导致内存暴增。这里的limit是从mysql原表执行后 直接在flink taskmanager进行limit取数据吗?