Re: flink 任务对接k8s的第三方jar包管理问题

[yu'an huang]

你可以试试将第三方包放进你的user jar里，制作一个fat jar. 
或者你保证每一个container都存在这个第三方包，不一定是在lib下。然后提交作业的时候使用pipeline.classpath去指定这个路径。

参考https://nightlies.apache.org/flink/flink-docs-master/zh/docs/dev/python/dependency_management/

> On 25 Apr 2022, at 6:21 PM, 天道酬勤 <1262420...@qq.com.INVALID> wrote:
> 
> 我的flink是通过kubernetes session 
> 模式部署，自己编写的任务中需要引用第三方的jar包，我最初的方式是将第三方的jar挂载至flink/lib包下，但是由于一些特殊的需求我希望在提交任务的时候可以动态指定第三方jar包路径，保证任务运行的时候是以此路径来加载，而不是导入第三方jar到flink/lib下,目前在官网中未找到可用的配置项。
>  希望大家能给我一些建议!

Re: flink 任务对接k8s的第三方jar包管理问题

[Yang Wang]

* 使用flink run命令来提交任务到running的Session集群的话，只能是本地的jar

* 也可以使用rest接口来提交，先上传到JobManager端[1]，然后运行上传的jar[2]

* 最后可以尝试一下flink-kubernetes-operator项目，目前Session job是支持远程jar的[3]，项目还在不断完善

[1].
https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/ops/rest_api/#jars-upload
[2].
https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/ops/rest_api/#jars-jarid-run
[3].
https://github.com/apache/flink-kubernetes-operator/blob/main/e2e-tests/data/sessionjob-cr.yaml

Best,
Yang

天道酬勤 <1262420...@qq.com.invalid> 于2022年4月25日周一 16:51写道：

> 我的flink是通过kubernetes session 模式部署
> ，在提交任务的时候希望可以动态指定第三方jar包来运行自己的任务，目前在官网中未找到可用的配置项。
> 希望大家能给我一些建议!

Re: flink 任务对接k8s的第三方jar包管理问题

[zns]

https://blog.csdn.net/ifenggege/article/details/113731793 

这个yarn的供参考

> 2022年4月25日 16:50，天道酬勤 <1262420...@qq.com.INVALID> 写道：
> 
> 我的flink是通过kubernetes session 模式部署 
> ，在提交任务的时候希望可以动态指定第三方jar包来运行自己的任务，目前在官网中未找到可用的配置项。
> 希望大家能给我一些建议!