Re: flink 1.13.2 在 Java/Scala 程序中调用 Python UDF函数，通过yarn-application执行，yarn集群的每台机器都需要安装pyflink?
FYI On Wed, Nov 10, 2021 at 9:31 AM Dian Fu wrote: > 也可以通过以下方式： > - Python libraries [1]: 把PyFlink以及其他相关依赖打包，作为依赖指定 > - Python archieves [2]: 构建Python虚拟环境，并在里面安装PyFlink以及其他依赖，作为依赖指定 > > > 但是上述方式相对于直接在集群上安装来说，提交作业的时候，Flink内部需要把相关文件分发到集群节点上，如果文件比较大，有一点的overhead，会降低启动速度。 > > [1] > https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/python/dependency_management/#python-libraries > [2] > https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/python/dependency_management/#archives > > On Tue, Nov 9, 2021 at 2:01 PM Asahi Lee <978466...@qq.com.invalid> wrote: > >> HI! >> 我现在使用flink 1.13.2，通过java table api开发应用，其中要使用python >> udf函数，最终通过yarn-application方式提交；那我需要在yarn集群的机器上都安装pyflink?还是有其他方案？ > >
Re: flink 1.13.2 在 Java/Scala 程序中调用 Python UDF函数，通过yarn-application执行，yarn集群的每台机器都需要安装pyflink?
也可以通过以下方式： - Python libraries [1]: 把PyFlink以及其他相关依赖打包，作为依赖指定 - Python archieves [2]: 构建Python虚拟环境，并在里面安装PyFlink以及其他依赖，作为依赖指定 但是上述方式相对于直接在集群上安装来说，提交作业的时候，Flink内部需要把相关文件分发到集群节点上，如果文件比较大，有一点的overhead，会降低启动速度。 [1] https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/python/dependency_management/#python-libraries [2] https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/python/dependency_management/#archives On Tue, Nov 9, 2021 at 2:01 PM Asahi Lee <978466...@qq.com.invalid> wrote: > HI! > 我现在使用flink 1.13.2，通过java table api开发应用，其中要使用python > udf函数，最终通过yarn-application方式提交；那我需要在yarn集群的机器上都安装pyflink?还是有其他方案？
