Re:如何处理Flink KafkaSource的异常的数据

2022-10-05 文章 RS
Hi,


当前的SQL是不支持的,需要的话,可以自己实现一个connector或者UDF,把错误数据输出到其他地方


Thanks




在 2022-09-29 10:02:34,"Summer"  写道:
>
>你好,我想问一下,如果来源于Kakfka的一条数据出现错误,会导致任务执行失败,日志抛出该条错误数据。
>
>
>为保证任务执行,需要在*** WITH内加'value.json.ignore-parse-errors' = 'true',  
>'value.json.fail-on-missing-field' = 'false'
>
>
>
>
>那么之后如果出现异常的数据,我应该怎么感知到呢??
>
>
>
>
>
>
>
>


如何处理Flink KafkaSource的异常的数据

2022-09-28 文章 Summer

你好,我想问一下,如果来源于Kakfka的一条数据出现错误,会导致任务执行失败,日志抛出该条错误数据。


为保证任务执行,需要在*** WITH内加'value.json.ignore-parse-errors' = 'true',  
'value.json.fail-on-missing-field' = 'false'




那么之后如果出现异常的数据,我应该怎么感知到呢??