Hi,
根据报错的提示,执行命令./python3.6.8.zip/bin/python3时没法导入pyflink,你可以在本地检查一下你的这个虚拟环境是不是没有成功安上pyflink
Best,
Xingbo
程龙 <13162790...@163.com> 于2022年11月25日周五 16:02写道:
> 在使用pyflink提交任务时,部署模式onyarn
> 1 在不使用Map等算子下如下参数 能够提交成功 并且运行
> .flink run -ynm pytest -m yarn-cluster -pycliente
集群端的 Python 环境中没有安装 PyFlink: ***/python3 这个环境
On Fri, Nov 25, 2022 at 4:02 PM 程龙 <13162790...@163.com> wrote:
> 在使用pyflink提交任务时,部署模式onyarn
> 1 在不使用Map等算子下如下参数 能够提交成功 并且运行
> .flink run -ynm pytest -m yarn-cluster -pyclientexec ***/python3
> -pyexec ***/python3 -pyarch **
在使用pyflink提交任务时,部署模式onyarn
1 在不使用Map等算子下如下参数 能够提交成功 并且运行
.flink run -ynm pytest -m yarn-cluster -pyclientexec ***/python3 -pyexec
***/python3 -pyarch *** /python3.6.8.zip -py demo.py
2 在使用到map算子时 提交没有问题,但是运行报错,报错日志如下:
.flink run -ynm pytest -m yarn-cluster -pyclientexec
你好,谢谢你的回复,现在更新到V1.12就可以直接运行了
--
Sent from: http://apache-flink.147419.n8.nabble.com/
从报错看,似乎是作业运行的时候,找不到pyflink,如果确实是这样的话,有几个解决方案:
- 通过API指定集群端的Python路径: set_python_executable,参考 [1]
- 通过配置python.executable,参考[2]
[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/python/table-api-users-guide/dependency_management.html
[2]
https://ci.apache.org/projects/flink/flin
Huilin 你好,
你用的是哪个版本的Flink呢?
Huilin_WU <592900...@qq.com> 于2021年3月10日周三 上午9:39写道:
> 我在terminal中用python xx.py文件就可以执行,然而用flink run -m localhost:8081 -py
> xx.py就会报上面的错误说没有pyflink的组件。
> (base) huilin@huilin-Lenovo:~/Documents/Learning/experiment$ flink run -m
> localhost:8081 -py demo_predict.py
> T
我在terminal中用python xx.py文件就可以执行,然而用flink run -m localhost:8081 -py
xx.py就会报上面的错误说没有pyflink的组件。
(base) huilin@huilin-Lenovo:~/Documents/Learning/experiment$ flink run -m
localhost:8081 -py demo_predict.py
Traceback (most recent call last):
File "demo_predict.py", line 51, in
from pyflink.comm
结束这个问题,目前没有再出现,可能是以下两个原因的一个:
1. 更新了 Flink 版本,从 1.12.0 更新至 1.12.1
2. 扩大了Task Off-Heap 空间
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Hi, 请教一个问题: 我近期在使用Pyflink,有个问题经常会出现,就是在提交Batch任务的时候,经常会报 “Failed to execute
sql” 的错误,终端输出的具体错误信息如下: Traceback (most recent call last): File
"/opt/flink/ha_store/test/device_status_statistics.py", line