Hi,
首先你需要将你的java程序打成jar包,之后热加载你的jar包, 目前pyflink里有一个util方法可以直接调用:
from pyflink.util.utils import add_jars_to_context_class_loader
add_jars_to_context_class_loader("file:///xxx ") # 注意需要是url格式的路径
然后就能通过java gateway进行调用了:
from pyflink.java_gateway import get_gateway
get_gateway().jvm.your.class.name
Caused by: org.apache.flink.table.api.ValidationException: Could not find
any factory for identifier 'kafka' that implements
'org.apache.flink.table.factories.DynamicTableSourceFactory' in the
classpath.
看着像是缺少kafka-connector的依赖
> 2020年10月14日 下午4:55,奔跑的小飞袁 写道:
>
> hello,
> 我现在使用flinksql的方式读取ka
hello 我现在碰到一个问题 在使用flink
cdc同步数据时我设置了snapshot.mode的值为schema_only,但是当我重启任务时发现都是从最新开始消费,我该怎么做才能从上次停止任务的断点继续消费;同时我使用MySQLSource.builder().serverId(123456)的方式设置了server_id,但是从打印出来的数据来看并没有生效
--
Sent from: http://apache-flink.147419.n8.nabble.com/
hello 我想问一下使用flink
cdc同步数据是设置了snapshot.mode这个参数为schema_only,但是我发现每次重启任务都会从最新开始读取数据,我怎么做才可以从上次断点继续消费呢;同时我通过MySQLSource.builder().serverId(123456)的方式设置了server_id但是从我同步出来的数据来看server_id并不是我设置的值
--
Sent from: http://apache-flink.147419.n8.nabble.com/
??flink1.12.0url??pyfink??hdfskerberos??
-- --
??:
图片似乎无法加载,不过我猜应该是参数类型问题?这个函数需要参数类型为List:
add_jars_to_context_class_loader(["file:///xxx "])
> 在 2021年2月5日,17:48,瞿叶奇 <389243...@qq.com> 写道:
>
> 老师,您好,
> 我升级到了flink1.12.0了,用这个函数加载类报错了,是我url写的有问题吗?pyfink有没有连接hdfs认证kerberos的方法呢?
>
>
>
>
> -- 原始邮件 --
> 发件人: "user-zh"
??
>>> from pyflink.util.utils import add_jars_to_context_class_loader
>>> add_jars_to_context_class_loader(['file:///root/Test2.jar'])
>>> from pyflink.java_gateway import get_gateway
>>> get_gateway().jvm.Test2.main()
Traceback (most recent cal
尝试调用:
get_gateway().jvm.Test2.Test2.main(None)
> 在 2021年2月5日,18:27,瞿叶奇 <389243...@qq.com> 写道:
>
> 老师,您好,列表参数就不在报错,但是还是没有加载进去。
> >>> from pyflink.util.utils import add_jars_to_context_class_loader
> >>> add_jars_to_context_class_loader(['file:///root/Test2.jar
> >>> '])
> >>> from pyflink.java_g
nohup bin/flink run -m yarn-cluster \
-c main \
-ynm ${FLINK_NAME} \
-ys 3 \
-p 4 \
-yjm 2048m \
-ytm 2048m \
在flink on yarn 的情况下,使用以上flink run 参数,确保TaskManager 为 2
奇怪的是 JobManager 里面报如下错误,但TaskManager的确启动2个,只是报错的那个TaskManager无法正常工作
谢谢解答
错误:
Caused by:
org.apache.flink.shaded.netty4.io.netty.ch