Hi 祖安,
state抽象的数据结构,无论是value state,list state还是map state,其都是对应流计算处理中的当前key对应的数据结构。以map
state具体来说对于每个正在处理的current key (由key selector选择出来 [1]),都有一个对应
的map存储相关的数据,如果你每次都发现对应的map为空,很有可能是因为你的key
selector选择出来的key每次都不相同,很大概率是当前处理的record不同导致。
另外,map.isEmpty() 的调用是需要额外开销的(尤其对于RocksDB state backend),如果只
图就是哪个报错
建表语句如下,表示公共表,我也没有改的权限.
CREATE EXTERNAL TABLE `exchange_rate`(`grass_region` string COMMENT
'country', `currency` string COMMENT 'currency', `exchange_rate`
decimal(25,10) COMMENT 'exchange rate')
PARTITIONED BY (`grass_date` date COMMENT 'partition key, -MM-dd')
ROW FORMAT SERDE 'org.
你好,图挂了,可以贴一下hive建表的DDL和join的语句是怎么写的么?
On Mon, Feb 8, 2021 at 10:33 AM macia kk wrote:
> Currently the join key in Temporal Table Join can not be empty.
>
> 我的 Hive 表 join DDL 没有设置 is not null ,但是都是有值的,还是会报这个错
>
> [image: image.png]
>
--
Best regards!
Rui Li
那你可能需要把你的JobManager和TaskManager的日志发一下,才能进一步分析
主要需要确认的是连的端口是正确的,如果网络层面没有问题,那就有可能是哪个配置项使用了某个特定端口导致的
Best,
Yang
Junpb 于2021年2月8日周一 上午9:30写道:
> 你好,
> 我的测试环境yarn有三个节点,当TM启动只有一个时,JM和Tm随机启动在任何节点上都很正常,只有TM变为两个时,会出现报错。
> 每次启动JM和TM端口都是随机的,以上配置是确保2个TM启动,我现在怀疑是我其他配置导致的错误,谢谢
>
> Best,
> Bi
>
>
>
> --
> Sen
Currently the join key in Temporal Table Join can not be empty.
我的 Hive 表 join DDL 没有设置 is not null ,但是都是有值的,还是会报这个错
[image: image.png]
请教大佬们: 一个最简单pyflink UDF跑起来,报 Failed to create stage bundle factory!
INFO:root:Initializing python harness: 在IdeaIJ上可以运行、大家有遇到过吗?谢谢~
/opt/module/flink-1.11.1/bin/flink run -m localhost:8081 -pyexec
/opt/python36/bin/python3 -py udf.py
[hadoop@hadoop01 pyflink]$ /opt/python36/bin/python3 -V
Pytho
你这代码贴的乱七八糟。。。
你需要再richjoinfunction里面设置valuestate的生命周期,他不随着窗口而销毁,窗口只会销毁自己设定的state,有空你可以看看window的源码,里面有清理state的逻辑
--
Sent from: http://apache-flink.147419.n8.nabble.com/
keyedStream? key不同可能是。
谌祖安 于2021年2月7日周日 下午6:00写道:
> 您好!
>
>
> 重载procesElement方法,每条stream数据处理时,put数据进入map,后面每条数据处理时先判断是否在map中有相同的key值,无则新增后put进map,有则加工后put进map。
> 在实际代码中发现,每次写入put后,map有数据,但处理下一条数据时,先从map读取数据,发现map已经为空。
> 请问是哪里写错了吗? 和 flink官网中 state.update(current);有什么不同吗?
>
> 以下为代码:
> p
你好,
我的测试环境yarn有三个节点,当TM启动只有一个时,JM和Tm随机启动在任何节点上都很正常,只有TM变为两个时,会出现报错。
每次启动JM和TM端口都是随机的,以上配置是确保2个TM启动,我现在怀疑是我其他配置导致的错误,谢谢
Best,
Bi
--
Sent from: http://apache-flink.147419.n8.nabble.com/
感谢回复、jar添加到lib下没重启服务、 自己S 13了;
不过又在PyFlink 应用UDF(在SQL应用udf函数)过程中遇到如下问题;把udf函数去掉,pyflink 又可以执行..
请问有遇到过嘛?谢谢~
---
Caused by: java.lang.RuntimeException: Failed to create stage bundle
factory! INFO:root:Initializing python harness:
/opt/python36/lib/python3.6/site-packages/pyflink/fn_exec
您好!
重载procesElement方法,每条stream数据处理时,put数据进入map,后面每条数据处理时先判断是否在map中有相同的key值,无则新增后put进map,有则加工后put进map。
在实际代码中发现,每次写入put后,map有数据,但处理下一条数据时,先从map读取数据,发现map已经为空。
请问是哪里写错了吗? 和 flink官网中 state.update(current);有什么不同吗?
以下为代码:
private MapState map; //定义map
@Override
public void processElement(
执行pyflink提交任务的报错、又遇到过的大佬嘛?谢谢!
/opt/module/flink-1.11.1/bin/flink run -m localhost:8081 -pyexec
/opt/python36/bin/python3 -py NtPyFlink.py
Caused by: java.lang.RuntimeException: Failed to create stage bundle
factory! INFO:root:Initializing python harness:
/opt/python36/lib/python3.6/site-packages/
Hi,
flink-connector-jdbc_2.11-1.11.1.jar
有添加在flink/lib下,只能保证在作业执行的时候,可以找到对应的class,在客户端提交的时候,会编译作业,从报错看,是客户端编译作业的时候找不到对应的class。
可以试试这里的方法:https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/python/table-api-users-guide/dependency_management.html#java-dependency
> 在 2021年2月7日,上午10:50
Hi,
Flink自1.11 版本之后就已经支持了hadoop3 [1][2],具体来讲就是将 HADOOP_CLASSPATH 配置成运行机器上的hadoop3
相关jar包即可。
你也可以参照 [3] 的测试步骤
[1] https://issues.apache.org/jira/browse/FLINK-11086
[2]
https://ci.apache.org/projects/flink/flink-docs-stable/deployment/resource-providers/yarn.html#supported-hadoop-versions
[3] ht
在k8s上部署sesson模式的flink集群遇到jobmanager报如下错误,请问这是什么原因造成的?要如何fix?
2021-02-07 08:21:41,873 INFO org.apache.flink.runtime.rpc.akka.AkkaRpcService
[] - Starting RPC endpoint for
org.apache.flink.runtime.dispatcher.StandaloneDispatcher at
akka://flink/user/rpc/dispatcher_1 .
2021-02-07 08:
It also maybe have something to do with my job's first tasks. The second
task have two input, one is the kafka source stream(A), another is
self-defined mysql source as broadcast stream.(B)
In A: I have a 'WatermarkReAssigner', a self-defined operator which add an
offset to its input watermark and
截图也没办法反应动态变化的过程。
目前是10机器的Standalone集群,状态在5G左右。通过flink-client端提交任务,然后web-ui刷新就一直转圈,过一会(几十秒大概)就OK啦,然后刚刚OK一瞬间会有很多个处于Initialize状态的任务,然后慢慢(10s内吧)没掉。
flink-client端的话,有时候正常提交完成,有时候出现报错(类似说是重复任务的)。
zilong xiao 于2021年2月7日周日 下午3:25写道:
> 有截图吗?
>
> 赵一旦 于2021年2月7日周日 下午3:13写道:
>
> > 这个问题现在还有个现象,我提交任务,web
>
17 matches
Mail list logo