Re: pyflink的py4j里是不是可以调用我自己写的java程序 ?

2021-02-05 Thread Wei Zhong
Hi, 首先你需要将你的java程序打成jar包,之后热加载你的jar包, 目前pyflink里有一个util方法可以直接调用: from pyflink.util.utils import add_jars_to_context_class_loader add_jars_to_context_class_loader("file:///xxx ") # 注意需要是url格式的路径 然后就能通过java gateway进行调用了: from pyflink.java_gateway import get_gateway get_gateway().jvm.your.class.name

Re: flinksql引入flink-parquet_2.11任务提交失败

2021-02-05 Thread zhuxiaoshang
Caused by: org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'kafka' that implements 'org.apache.flink.table.factories.DynamicTableSourceFactory' in the classpath. 看着像是缺少kafka-connector的依赖 > 2020年10月14日 下午4:55,奔跑的小飞袁 写道: > > hello, > 我现在使用flinksql的方式读取ka

flink cdc同步数据

2021-02-05 Thread 奔跑的小飞袁
hello 我现在碰到一个问题 在使用flink cdc同步数据时我设置了snapshot.mode的值为schema_only,但是当我重启任务时发现都是从最新开始消费,我该怎么做才能从上次停止任务的断点继续消费;同时我使用MySQLSource.builder().serverId(123456)的方式设置了server_id,但是从打印出来的数据来看并没有生效 -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink cdc 同步数据问题

2021-02-05 Thread 奔跑的小飞袁
hello 我想问一下使用flink cdc同步数据是设置了snapshot.mode这个参数为schema_only,但是我发现每次重启任务都会从最新开始读取数据,我怎么做才可以从上次断点继续消费呢;同时我通过MySQLSource.builder().serverId(123456)的方式设置了server_id但是从我同步出来的数据来看server_id并不是我设置的值 -- Sent from: http://apache-flink.147419.n8.nabble.com/

?????? pyflink??py4j??????????????????????????java???? ??

2021-02-05 Thread ??????
??flink1.12.0url??pyfink??hdfskerberos?? --  -- ??:

Re: pyflink的py4j里是不是可以调用我自己写的java程序 ?

2021-02-05 Thread Wei Zhong
图片似乎无法加载,不过我猜应该是参数类型问题?这个函数需要参数类型为List: add_jars_to_context_class_loader(["file:///xxx "]) > 在 2021年2月5日,17:48,瞿叶奇 <389243...@qq.com> 写道: > > 老师,您好, > 我升级到了flink1.12.0了,用这个函数加载类报错了,是我url写的有问题吗?pyfink有没有连接hdfs认证kerberos的方法呢? > > > > > -- 原始邮件 -- > 发件人: "user-zh"

?????? pyflink??py4j??????????????????????????java???? ??

2021-02-05 Thread ??????
?? >>> from pyflink.util.utils import add_jars_to_context_class_loader >>> add_jars_to_context_class_loader(['file:///root/Test2.jar'])  >>> from pyflink.java_gateway import get_gateway >>> get_gateway().jvm.Test2.main() Traceback (most recent cal

Re: pyflink的py4j里是不是可以调用我自己写的java程序 ?

2021-02-05 Thread Wei Zhong
尝试调用: get_gateway().jvm.Test2.Test2.main(None) > 在 2021年2月5日,18:27,瞿叶奇 <389243...@qq.com> 写道: > > 老师,您好,列表参数就不在报错,但是还是没有加载进去。 > >>> from pyflink.util.utils import add_jars_to_context_class_loader > >>> add_jars_to_context_class_loader(['file:///root/Test2.jar > >>> ']) > >>> from pyflink.java_g

flink on yarn 多TaskManager 拒绝连接问题

2021-02-05 Thread Junpb
nohup bin/flink run -m yarn-cluster \ -c main \ -ynm ${FLINK_NAME} \ -ys 3 \ -p 4 \ -yjm 2048m \ -ytm 2048m \ 在flink on yarn 的情况下,使用以上flink run 参数,确保TaskManager 为 2 奇怪的是 JobManager 里面报如下错误,但TaskManager的确启动2个,只是报错的那个TaskManager无法正常工作 谢谢解答 错误: Caused by: org.apache.flink.shaded.netty4.io.netty.ch