Re: Re: Flink启动python任务异常:undefined symbol: _Py_LegacyLocaleDetected

2022-11-22 文章 Xingbo Huang
conda构建的venv会把机器底层一些c的库包括进来,会比较全。通过python venv包构建的虚拟环境可能会因为跨机器出现问题。 Best, Xingbo RS 于2022年11月23日周三 09:25写道: > Hi, > 我这边使用的python命令构建的,没有用conda,这个应该没有影响吧 > python3 -m venv jxy_venv > > > 我启动了一个单点的flink测试,本机启动,有python环境,测试是可以运行成功的 > > > > Thanks > > > > > > 在 2022-11-22 15:39:48,"Xingbo Huang"

Re:Re:Re: Flink启动python任务异常:undefined symbol: _Py_LegacyLocaleDetected

2022-11-22 文章 RS
Hi, 我单独测试了下python的虚拟环境使用,发现目标机器必须存在python的环境,不然复制了虚拟环境过去也是无法执行的, 还以为虚拟环境复制过去就可以跑起来了,和我想的不太一样,哈哈~ 3.6版本报错 # ./python ./python: error while loading shared libraries: libpython3.6m.so.1.0: cannot open shared object file: No such file or directory 3.9版本报错 # ./venv/bin/python Could not find

Re: 如何扩展flink sql以支持CTAS/CDAS语句?

2022-11-22 文章 Shengkai Fang
想问一下你想实现的功能是咋样的呢?是阿里云上的那种吗? Best, Shengkai casel.chen 于2022年11月23日周三 08:29写道: > flink sql社区版貌似还不支持CTAS/CDAS语句,请问要如何扩展flink > sql以支持CTAS/CDAS语句?可以给个思路或代码示例吗?谢谢!

Re:flink作业提交运行后如何监听作业状态发生变化?

2022-11-22 文章 RS
Hi, Flink的Metric了解下,里面应该有作业的状态 https://nightlies.apache.org/flink/flink-docs-master/docs/ops/metrics/#reporter 配置不同的Metric方式,有的是拉取,有的是推送的机制, https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/metric_reporters/ Thanks 在 2022-11-23 08:32:11,"casel.chen" 写道:

Re:Re: Flink启动python任务异常:undefined symbol: _Py_LegacyLocaleDetected

2022-11-22 文章 RS
Hi, 我这边使用的python命令构建的,没有用conda,这个应该没有影响吧 python3 -m venv jxy_venv 我启动了一个单点的flink测试,本机启动,有python环境,测试是可以运行成功的 Thanks 在 2022-11-22 15:39:48,"Xingbo Huang" 写道: >Hi RS, > >你是使用conda构建的venv吗,可以参考PyFlink 准备环境的文档[1] > >Best, >Xingbo > >[1]

flink作业提交运行后如何监听作业状态发生变化?

2022-11-22 文章 casel.chen
请问flink作业提交运行后如何监听作业状态发生变化以便在控台上实时显示作业状态变更?目前我们的做法是轮询,但效率低,有没有listener可以进行注册的方法呢?

如何扩展flink sql以支持CTAS/CDAS语句?

2022-11-22 文章 casel.chen
flink sql社区版貌似还不支持CTAS/CDAS语句,请问要如何扩展flink sql以支持CTAS/CDAS语句?可以给个思路或代码示例吗?谢谢!

如何扩展flink sql以支持CTAS/CDAS语句?

2022-11-22 文章 casel.chen
flink sql社区版貌似还不支持CTAS/CDAS语句,请问要如何扩展flink sql以支持CTAS/CDAS语句?可以给个思路或代码示例吗?谢谢!

如何正确扩展jdbc connector以支持更多的数据库方言?

2022-11-22 文章 casel.chen
如何正确扩展jdbc connector以支持更多的数据库方言?我们目前的做法是拉下flink源码直接进行修改添加方言支持,有没有更优雅的方式来实现呢?

debezium-json数据timestamp类型时区问题

2022-11-22 文章 Kyle Zhang
Hi all, 我们有一个场景,是把oracle数据通过debezium-oracle-cdc插件抽到kafka中,后面接flink sql分析,现在遇到一个时区的问题,比如数据库中有一个timestamp类型的字段,值是‘2022-11-17 16:16:44’,但是debezium处理的时候用了int64保存,还不带时区信息,变成1668701804000,导致flink sql中用FROM_UNIXTIME处理后变成‘2022-11-18 00:16:44 ’,差了8小时,需要手工再减8h。请问有没有一种统一的方式处理这种情况? Best