Re: The assigned slot bae00218c818157649eb9e3c533b86af_11 was removed

2019-12-25 文章 jingjing bai
tm挂掉了,可以看下是否存在checkpoint连续失败导致OOM, 或者是大数据集大窗口运算,如果数据量大也会导致这个问题。 Xintong Song 于2019年12月25日周三 上午10:28写道: > 这个应该不是root cause,slot was removed通常是tm挂掉了导致的,需要找下对应的tm日志看下挂掉的原因。 > > Thank you~ > > Xintong Song > > > > On Tue, Dec 24, 2019 at 10:06 PM hiliuxg <736742...@qq.com> wrote: > > > 偶尔发现,分配好的slot

Re: 关于flink窗口是否正确关闭的问题

2019-12-24 文章 jingjing bai
窗口不会提前关闭,请查看下metircs是否有数据丢弃, 1530130567 <1530130...@qq.com> 于2019年12月24日周二 下午8:46写道: > 各位大佬好: >   最近在使用flink stream api处理数据,逻辑是非常简单的ETL操作 >   我自己定义的一个1分钟的tumble窗口,watermark是10s,当处在流量高峰时段时,发现下游出现了数据丢失的问题。 >   举个例子:我上游topic 5000/s,下游接受数据的topic只有4000/s >   > 在流量低谷时就没有这个问题,而且我把窗口去掉后也没有这个问题,是否是窗口被提前关

Re: CEP匹配乱序数据的问题

2019-12-24 文章 jingjing bai
CEP的 sql中order by , 不会因为乱序导致不匹配。 在api中没用过,可以看看是否有对应的api qishang zhong 于2019年12月23日周一 下午9:37写道: > HI,大家好。 > > 咨询一个问题,flink-training-exercises练习的工程里面 > com.ververica.flinktraining.solutions.datastream_java.cep.LongRidesSolution > > Pattern completedRides = > Pattern.begin("start") > .where(new Si

Re: flink如何动态修改窗口大小和类型?

2019-12-18 文章 jingjing bai
目前一个任务中,仅支持一种窗口。 动态修改本身应该是一个伪需求 如果你仅仅是为了方便快速开发,建议你用sql方式去开发,比如自己扩展sql client。 LakeShen 于2019年12月18日周三 下午2:12写道: > 使用自定义 Trigger 试试,在 Trigger 中自定义业务触发逻辑。 > > 陈帅 于2019年12月14日周六 下午6:44写道: > > > flink目前支不支持动态修改窗口大小和类型呢?例如先是统计5分钟窗口,而后修改成统计10分钟窗口. > > >

Re: FlinkSQL中关于TIMESTAMPDIFF函数官网E.g的疑问

2019-12-16 文章 jingjing bai
不知道你的版本是什么, 在1.9中, 申明为TIMESTAMP类型的属性,需要是 格式化为-MM-DD'T'HH:mm:ss.SSS'Z' 不过你可以从外部传入13位时间戳,也可以转换成TIMESTAMP,比如DDL中定义 CREATE TABLE `t` ( ctm TIMESTAMP, ) WITH ( 'format.schema' = 'ROW' )" 。如果数据源也要定义为TIMESTAMP类型,则通过下面方式去定义外部数据源格式: DateTimeFormatter t = new DateTimeFormatterBuilder()