-219742.gz
2021-11-30 01:00:011163964 athena_other-2-220137.gz
之前的截图无法发送,我把文件贴出来,打扰了
在 2021-12-02 13:52:43,"黄志高" 写道:
Hi,我把文件放到下面的,文件在checkpoint可见我是理解的,但是文件的生成时间应该是在checkpoint以后是正常的,但是我却在每个整点时段看见数据文件,如下图所示,按理说文件的生成都是在checkpoint之后的,也就是2分,12,22,32,42,52分后,而每个00分都会生成一个数据文件,不理
hi,各位大佬,咨询个问题
感谢提供帮助
在 2021-08-16 11:31:11,"Qishang" 写道:
>Hi
>之前社区发过一个 JD 的解决方案,可以参考下[1]。
>
>[1]: https://mp.weixin.qq.com/s/YluIj3vmebFmZjRbymKBZw
>
>
>
>黄志高 于2021年8月16日周一 上午11:04写道:
>
>> == Physical Execution Plan ==
>>
>> Stage 1 : Da
where中这个tt1(tz)的udf确实调用了两次,看issuse,目前还没有被分配,是否有什么办法可以规避
在 2021-08-16 09:47:28,"Qishang" 写道:
>Hi.
>
>应该是这个问题,https://issues.apache.org/jira/browse/FLINK-21573
>
>打印一下执行计划和code gen
>
>
>黄志高 于2021年8月15日周日 下午10:06写道:
>
>> hi all,
>>
hi all,
各位大佬,有没有遇到过eval方法被调用两次问题,在我使用select * from (select tt1(tz) from
test_kafka) as t where tz is not null
时,在eval方法进行入参打印时,发现eval方法被调用了两次,当我使用select * from (select tt1(tz) from
test_kafka) as t这个sql时,不进行where tz is not null 操作,eval方法此时只会调用一次,如果将where tz is
not null 改成 where tz
目前虚拟内存和物理内存比例为5,而且我这是物理内存超出,并非虚拟内存
在 2021-07-08 10:49:08,"Roc Marshal" 写道:
>Hi,
>可以先校对一下yarn的container的虚拟内存和物理内存比例的阈值参数(yarn-site.xml)。
>
>
>
>
>祝好,Roc.
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>在 20
flink环境1.11.0
任务部署方式yarn per-job
状态后台设置的是:env.setStateBackend(new FsStateBackend("ckPath"))
每个taskManager分配8g内存,2个slot
每10分钟做一次checkpoint,每次ck大小平均400k
任务逻辑是:source(kafka)->keyBy->timeWindow->reduce的count计数->redis
source(kafka)->sink(s3 文件)
问题是任务每天都会应该container被杀,导致任务重启
各位大佬,在做远程提交任务到flink的standalone模式,抛以下异常
Caused by: java.lang.RuntimeException: java.lang.InterruptedException
at org.apache.flink.util.ExceptionUtils.rethrow(ExceptionUtils.java:277)
at
org.apache.flink.api.java.ExecutionEnvironment.executeAsync(ExecutionEnvironment.java:981)
at