我是用的是flink-1.9版本,现在想消费带数组字段的json数据,类似{“field1:” “aaa”, “field2”: [“bbb, “ccc”]}
这种数据格式。
注册schema的时候我使用了field("field2",
Types.OBJECT_ARRAY(Types.STRING))这种方式。EnvironmentSetting指定为flink-planner和blink-planner都有问题。
在flink-planner下,会报下面的错误,我跟了下代码,发现是StringArraySerializer.copy方法接收的是String[],传过去的却是O
理论上来说每个ResultPartition会创建一个OutputFlush线程,这个作业一个TM上面有多少个Task?
每个Task有多少个ResultPartition?
--
From:李杰
Send Time:2019 Sep. 19 (Thu.) 10:02
To:user-zh
Subject:OutputFlusher线程创建太多
flink 1.7.0
on yarn模式
=
程序运行了大概
hi,
我们在使用flink-stream时遇到了如下问题,有谁可以帮助一下吗?怎么避免该问题呢?
flink版本:flink-1.8.1 standalone cluster
node4是我们集群中的一个slave节点,我们的任务运行了差不多1个月才出现的这个问题。这个异常导致任务全部处于失败然后恢复失败的循环中,目前不知道什么原因造成的,查看了
/tmp/blobStore-ca0f7afe-bd98-40cc-ae36-4ad96b1ef97e/incoming/文件夹是空的。
谢谢。
2019-09-19 16:54:34,328 ERROR
org.apache.flin
??
Types.LIST(Types.STRING)
-- --
??: ?? ?? https://go.microsoft.com/fwlink/?LinkId=550986>;
我猜测原因是blob
server目录里存的blob文件被删了,所以/tmp/blobStore-ca0f7afe-bd98-40cc-ae36-4ad96b1ef97e/incoming/temp-03506073目录为空,具体可以参考如下代码:
https://github.com/apache/flink/blob/1a81982ba864d72fda3d161fc82ca1572333ba11/flink-runtime/src/main/java/org/apache/flink/runtime/blob/FileSystemBlobStore.java#L129
AFAIK, grouping sets has already been supported for streaming in blink planner.
You could check FLINK-12192 for details.
Regards,
Dian
> 在 2019年9月10日,下午6:51,刘建刚 写道:
>
> I want to implement grouping set in stream. I am new to flink sql. I
> want to find a example to teach me how to self
??Types.LIST(Types.STRING)??flink-planner??blink-plannerTypes.OBJECT_ARRAY(Types.STRING)??
Type LEGACY(List) of table field 'ARRAY_FIELD' does not match with type
List of the field 'ARRAY_FIELD' of the TableSource return type.
??blink-planner