Re:Re: 关于streamFileSink在checkpoint下生成文件问题

2021-12-01 Thread
-219742.gz 2021-11-30 01:00:011163964 athena_other-2-220137.gz 之前的截图无法发送,我把文件贴出来,打扰了 在 2021-12-02 13:52:43,"黄志高" 写道: Hi,我把文件放到下面的,文件在checkpoint可见我是理解的,但是文件的生成时间应该是在checkpoint以后是正常的,但是我却在每个整点时段看见数据文件,如下图所示,按理说文件的生成都是在checkpoint之后的,也就是2分,12,22,32,42,52分后,而每个00分都会生成一个数据文件,不理

关于streamFileSink在checkpoint下生成文件问题

2021-12-01 Thread
hi,各位大佬,咨询个问题

Re:Re: Re: 关于flink sql自定义udf,eval方法被调用两次问题

2021-08-15 Thread
感谢提供帮助 在 2021-08-16 11:31:11,"Qishang" 写道: >Hi >之前社区发过一个 JD 的解决方案,可以参考下[1]。 > >[1]: https://mp.weixin.qq.com/s/YluIj3vmebFmZjRbymKBZw > > > >黄志高 于2021年8月16日周一 上午11:04写道: > >> == Physical Execution Plan == >> >> Stage 1 : Da

Re:Re: 关于flink sql自定义udf,eval方法被调用两次问题

2021-08-15 Thread
where中这个tt1(tz)的udf确实调用了两次,看issuse,目前还没有被分配,是否有什么办法可以规避 在 2021-08-16 09:47:28,"Qishang" 写道: >Hi. > >应该是这个问题,https://issues.apache.org/jira/browse/FLINK-21573 > >打印一下执行计划和code gen > > >黄志高 于2021年8月15日周日 下午10:06写道: > >> hi all, >>

关于flink sql自定义udf,eval方法被调用两次问题

2021-08-15 Thread
hi all, 各位大佬,有没有遇到过eval方法被调用两次问题,在我使用select * from (select tt1(tz) from test_kafka) as t where tz is not null 时,在eval方法进行入参打印时,发现eval方法被调用了两次,当我使用select * from (select tt1(tz) from test_kafka) as t这个sql时,不进行where tz is not null 操作,eval方法此时只会调用一次,如果将where tz is not null 改成 where tz

Re:Re:关于任务运行一定时间后,physical内存超出,container被kill,导致任务重启

2021-07-07 Thread
目前虚拟内存和物理内存比例为5,而且我这是物理内存超出,并非虚拟内存 在 2021-07-08 10:49:08,"Roc Marshal" 写道: >Hi, >可以先校对一下yarn的container的虚拟内存和物理内存比例的阈值参数(yarn-site.xml)。 > > > > >祝好,Roc. > > > > > > > > > > > > > > >在 20

关于任务运行一定时间后,physical内存超出,container被kill,导致任务重启

2021-07-07 Thread
flink环境1.11.0 任务部署方式yarn per-job 状态后台设置的是:env.setStateBackend(new FsStateBackend("ckPath")) 每个taskManager分配8g内存,2个slot 每10分钟做一次checkpoint,每次ck大小平均400k 任务逻辑是:source(kafka)->keyBy->timeWindow->reduce的count计数->redis source(kafka)->sink(s3 文件) 问题是任务每天都会应该container被杀,导致任务重启

(无主题)

2021-03-16 Thread
各位大佬,在做远程提交任务到flink的standalone模式,抛以下异常 Caused by: java.lang.RuntimeException: java.lang.InterruptedException at org.apache.flink.util.ExceptionUtils.rethrow(ExceptionUtils.java:277) at org.apache.flink.api.java.ExecutionEnvironment.executeAsync(ExecutionEnvironment.java:981) at