建议上传的时候单独放,提交任务的时候  拉下来单独引用
在 2021-07-23 11:01:59,"silence" <slle...@aliyun.com.INVALID> 写道:
>
>这边目前主要还是yarn,目前痛点是同一个sql任务会用到多个udf,udf通过-C http://xxx.jar进行加载
>udf和sql jar之间、udf和udf之间都可能会有依赖冲突,
>目前初步想法是每个udf绑定一个jarpath,使用独立的classloader进行加载,避免和主jar以及其他udf之间的依赖冲突
>------------------------------------------------------------------
>发件人:Michael Ran <greemqq...@163.com>
>发送时间:2021年7月22日(星期四) 20:07
>收件人:user-zh <user-zh@flink.apache.org>; silence <slle...@aliyun.com>
>主 题:Re:flink sql 依赖隔离
>
>通过任务进行隔离引用呗。你们美团已经是k8s了吧?
>在 2021-07-05 14:06:53,"silence" <slle...@aliyun.com.INVALID> 写道:
>>请教大家目前flink sql有没有办法做到依赖隔离
>>比如connector,format,udf(这个最重要)等,
>>很多情况下不同用户定义的组件会经常混用,会有很多的依赖冲突问题难以解决。
>>目前有没有办法做到udf的依赖隔离(比如不同的udf使用独立的jar和classloader),或者社区对此有没有什么规划
>

Reply via email to