额,混用多个UDF没法,本身就依赖冲突了,一般公共的UDF我们都统一的。 私人的和 公共的冲突了- -再单独和他们讨论
在 2021-07-26 11:43:49,"silence" <slle...@aliyun.com.INVALID> 写道:
>就是单独引用的啊,但任务逻辑比较复杂时会同时混用多个udf这个是没法避免的啊
>
>
>------------------------------------------------------------------
>发件人:Michael Ran <greemqq...@163.com>
>发送时间:2021年7月23日(星期五) 17:42
>收件人:user-zh <user-zh@flink.apache.org>; silence <slle...@aliyun.com>
>主 题:Re:回复:flink sql 依赖隔离
>
>建议上传的时候单独放,提交任务的时候  拉下来单独引用
>在 2021-07-23 11:01:59,"silence" <slle...@aliyun.com.INVALID> 写道:
>>
>>这边目前主要还是yarn,目前痛点是同一个sql任务会用到多个udf,udf通过-C http://xxx.jar进行加载
>>udf和sql jar之间、udf和udf之间都可能会有依赖冲突,
>>目前初步想法是每个udf绑定一个jarpath,使用独立的classloader进行加载,避免和主jar以及其他udf之间的依赖冲突
>>------------------------------------------------------------------
>>发件人:Michael Ran <greemqq...@163.com>
>>发送时间:2021年7月22日(星期四) 20:07
>>收件人:user-zh <user-zh@flink.apache.org>; silence <slle...@aliyun.com>
>>主 题:Re:flink sql 依赖隔离
>>
>>通过任务进行隔离引用呗。你们美团已经是k8s了吧?
>>在 2021-07-05 14:06:53,"silence" <slle...@aliyun.com.INVALID> 写道:
>>>请教大家目前flink sql有没有办法做到依赖隔离
>>>比如connector,format,udf(这个最重要)等,
>>>很多情况下不同用户定义的组件会经常混用,会有很多的依赖冲突问题难以解决。
>>>目前有没有办法做到udf的依赖隔离(比如不同的udf使用独立的jar和classloader),或者社区对此有没有什么规划
>>
>

回复