在json schema中如何定义数组字段

2019-09-19 Thread 苏 欣
我是用的是flink-1.9版本,现在想消费带数组字段的json数据,类似{“field1:” “aaa”, “field2”: [“bbb, “ccc”]} 这种数据格式。 注册schema的时候我使用了field("field2", Types.OBJECT_ARRAY(Types.STRING))这种方式。EnvironmentSetting指定为flink-planner和blink-planner都有问题。 在flink-planner下,会报下面的错误,我跟了下代码,发现是StringArraySerializer.copy方法接收的是String[],传过去的却是O

Re: OutputFlusher线程创建太多

2019-09-19 Thread Yun Gao
理论上来说每个ResultPartition会创建一个OutputFlush线程,这个作业一个TM上面有多少个Task? 每个Task有多少个ResultPartition? -- From:李杰 Send Time:2019 Sep. 19 (Thu.) 10:02 To:user-zh Subject:OutputFlusher线程创建太多 flink 1.7.0 on yarn模式 = 程序运行了大概

Flink BlobServerConnection NoSuchFileException

2019-09-19 Thread guo liu
hi, 我们在使用flink-stream时遇到了如下问题,有谁可以帮助一下吗?怎么避免该问题呢? flink版本:flink-1.8.1 standalone cluster node4是我们集群中的一个slave节点,我们的任务运行了差不多1个月才出现的这个问题。这个异常导致任务全部处于失败然后恢复失败的循环中,目前不知道什么原因造成的,查看了 /tmp/blobStore-ca0f7afe-bd98-40cc-ae36-4ad96b1ef97e/incoming/文件夹是空的。 谢谢。 2019-09-19 16:54:34,328 ERROR org.apache.flin

????????json schema??????????????????

2019-09-19 Thread Jun Zhang
?? Types.LIST(Types.STRING) -- -- ??: ?? ?? https://go.microsoft.com/fwlink/?LinkId=550986>;

Re: Flink BlobServerConnection NoSuchFileException

2019-09-19 Thread Dian Fu
我猜测原因是blob server目录里存的blob文件被删了,所以/tmp/blobStore-ca0f7afe-bd98-40cc-ae36-4ad96b1ef97e/incoming/temp-03506073目录为空,具体可以参考如下代码: https://github.com/apache/flink/blob/1a81982ba864d72fda3d161fc82ca1572333ba11/flink-runtime/src/main/java/org/apache/flink/runtime/blob/FileSystemBlobStore.java#L129

Re: How to implement grouping set in stream

2019-09-19 Thread Dian Fu
AFAIK, grouping sets has already been supported for streaming in blink planner. You could check FLINK-12192 for details. Regards, Dian > 在 2019年9月10日,下午6:51,刘建刚 写道: > > I want to implement grouping set in stream. I am new to flink sql. I > want to find a example to teach me how to self

????: ????????json schema??????????????????

2019-09-19 Thread ?? ??
??Types.LIST(Types.STRING)??flink-planner??blink-plannerTypes.OBJECT_ARRAY(Types.STRING)?? Type LEGACY(List) of table field 'ARRAY_FIELD' does not match with type List of the field 'ARRAY_FIELD' of the TableSource return type. ??blink-planner