tm挂掉了,可以看下是否存在checkpoint连续失败导致OOM, 或者是大数据集大窗口运算,如果数据量大也会导致这个问题。
Xintong Song 于2019年12月25日周三 上午10:28写道:
> 这个应该不是root cause,slot was removed通常是tm挂掉了导致的,需要找下对应的tm日志看下挂掉的原因。
>
> Thank you~
>
> Xintong Song
>
>
>
> On Tue, Dec 24, 2019 at 10:06 PM hiliuxg <736742...@qq.com> wrote:
>
> > 偶尔发现,分配好的slot
窗口不会提前关闭,请查看下metircs是否有数据丢弃,
1530130567 <1530130...@qq.com> 于2019年12月24日周二 下午8:46写道:
> 各位大佬好:
> 最近在使用flink stream api处理数据,逻辑是非常简单的ETL操作
> 我自己定义的一个1分钟的tumble窗口,watermark是10s,当处在流量高峰时段时,发现下游出现了数据丢失的问题。
> 举个例子:我上游topic 5000/s,下游接受数据的topic只有4000/s
>
> 在流量低谷时就没有这个问题,而且我把窗口去掉后也没有这个问题,是否是窗口被提前关
CEP的 sql中order by , 不会因为乱序导致不匹配。
在api中没用过,可以看看是否有对应的api
qishang zhong 于2019年12月23日周一 下午9:37写道:
> HI,大家好。
>
> 咨询一个问题,flink-training-exercises练习的工程里面
> com.ververica.flinktraining.solutions.datastream_java.cep.LongRidesSolution
>
> Pattern completedRides =
> Pattern.begin("start")
> .where(new Si
目前一个任务中,仅支持一种窗口。
动态修改本身应该是一个伪需求
如果你仅仅是为了方便快速开发,建议你用sql方式去开发,比如自己扩展sql client。
LakeShen 于2019年12月18日周三 下午2:12写道:
> 使用自定义 Trigger 试试,在 Trigger 中自定义业务触发逻辑。
>
> 陈帅 于2019年12月14日周六 下午6:44写道:
>
> > flink目前支不支持动态修改窗口大小和类型呢?例如先是统计5分钟窗口,而后修改成统计10分钟窗口.
> >
>
不知道你的版本是什么,
在1.9中, 申明为TIMESTAMP类型的属性,需要是 格式化为-MM-DD'T'HH:mm:ss.SSS'Z'
不过你可以从外部传入13位时间戳,也可以转换成TIMESTAMP,比如DDL中定义
CREATE TABLE `t` (
ctm TIMESTAMP,
) WITH (
'format.schema' = 'ROW'
)"
。如果数据源也要定义为TIMESTAMP类型,则通过下面方式去定义外部数据源格式:
DateTimeFormatter t = new DateTimeFormatterBuilder()