Re: 如何过滤异常的timestamp?

2019-10-31 文章 邢瑞斌
tTime混用的情况了,而source端的IngestionTime,拿的就是source端的系统时间,可以在source端后面记一个filter > > operator,将ingestion的time与message中的event time进行比较,超过一定阈值的可以丢弃掉不传到下游去。 > > > > 祝好 > > 唐云 > > > > From: 邢瑞斌 > &g

Re: 如何过滤异常的timestamp?

2019-10-31 文章 Yun Tang
vent time进行比较,超过一定阈值的可以丢弃掉不传到下游去。 > > 祝好 > 唐云 > > From: 邢瑞斌 > Sent: Wednesday, October 30, 2019 17:57 > To: user-zh@flink.apache.org > Subject: 如何过滤异常的timestamp? > > Hi: > > > 从

Re: 如何过滤异常的timestamp?

2019-10-30 文章 邢瑞斌
记一个filter > operator,将ingestion的time与message中的event time进行比较,超过一定阈值的可以丢弃掉不传到下游去。 > > 祝好 > 唐云 > > From: 邢瑞斌 > Sent: Wednesday, October 30, 2019 17:57 > To: user-zh@flink.apache.org > Subject: 如何过滤异常的timestamp? > > Hi: > > > 从客户端收集日志信

Re: 如何过滤异常的timestamp?

2019-10-30 文章 Yun Tang
-zh@flink.apache.org Subject: 如何过滤异常的timestamp? Hi: 从客户端收集日志信息,总会遇到一些异常的本地Timestamp,有些会超出正确日期很多天。这样的Timestamp会影响Watermark,请问大家是如何处理这样的日志呢? 我现在的想法是: 将日志的时间与Flink的时间相比较,如果超出一个阈值就过滤。但是这样似乎会造成处理的结果是不确定的。我想的改进方法是 ,使用IngestionTime和日志的Timestamp比较。但是我不太确定,是否能混合使用IngestionTime和eventTime呢? 求教,谢谢大家!

如何过滤异常的timestamp?

2019-10-30 文章 邢瑞斌
Hi: 从客户端收集日志信息,总会遇到一些异常的本地Timestamp,有些会超出正确日期很多天。这样的Timestamp会影响Watermark,请问大家是如何处理这样的日志呢? 我现在的想法是: 将日志的时间与Flink的时间相比较,如果超出一个阈值就过滤。但是这样似乎会造成处理的结果是不确定的。我想的改进方法是 ,使用IngestionTime和日志的Timestamp比较。但是我不太确定,是否能混合使用IngestionTime和eventTime呢? 求教,谢谢大家!