tTime混用的情况了,而source端的IngestionTime,拿的就是source端的系统时间,可以在source端后面记一个filter
> > operator,将ingestion的time与message中的event time进行比较,超过一定阈值的可以丢弃掉不传到下游去。
> >
> > 祝好
> > 唐云
> >
> > From: 邢瑞斌
> &g
vent time进行比较,超过一定阈值的可以丢弃掉不传到下游去。
>
> 祝好
> 唐云
>
> From: 邢瑞斌
> Sent: Wednesday, October 30, 2019 17:57
> To: user-zh@flink.apache.org
> Subject: 如何过滤异常的timestamp?
>
> Hi:
>
>
>
从
记一个filter
> operator,将ingestion的time与message中的event time进行比较,超过一定阈值的可以丢弃掉不传到下游去。
>
> 祝好
> 唐云
>
> From: 邢瑞斌
> Sent: Wednesday, October 30, 2019 17:57
> To: user-zh@flink.apache.org
> Subject: 如何过滤异常的timestamp?
>
> Hi:
>
>
> 从客户端收集日志信
-zh@flink.apache.org
Subject: 如何过滤异常的timestamp?
Hi:
从客户端收集日志信息,总会遇到一些异常的本地Timestamp,有些会超出正确日期很多天。这样的Timestamp会影响Watermark,请问大家是如何处理这样的日志呢?
我现在的想法是:
将日志的时间与Flink的时间相比较,如果超出一个阈值就过滤。但是这样似乎会造成处理的结果是不确定的。我想的改进方法是
,使用IngestionTime和日志的Timestamp比较。但是我不太确定,是否能混合使用IngestionTime和eventTime呢?
求教,谢谢大家!
Hi:
从客户端收集日志信息,总会遇到一些异常的本地Timestamp,有些会超出正确日期很多天。这样的Timestamp会影响Watermark,请问大家是如何处理这样的日志呢?
我现在的想法是:
将日志的时间与Flink的时间相比较,如果超出一个阈值就过滤。但是这样似乎会造成处理的结果是不确定的。我想的改进方法是
,使用IngestionTime和日志的Timestamp比较。但是我不太确定,是否能混合使用IngestionTime和eventTime呢?
求教,谢谢大家!