FlinkSQL??????????????????????????????ExecNodeGraph????????SameRelObjectShuttle??SubplanReuseShuttle????????????????

Hi?? ??FlinkSQL??ExecNodeGraphoptimizedRelNodes ??SameRelObjectShuttle Rewrite same rel object to different rel objects. e.g.       Join                       Join      /    \                     /    \  Filter1 Filter2     =>     Filter1 Filter2      

Re: 退订

你好，取消订阅是发送到 user-zh-unsubscr...@flink.apache.org , 参考 https://flink.apache.org/zh/community.html#section 祝好 > 在 2021年11月24日，14:33，Gauler Tan 写道： > > 你好，已经发了很多次退订了，发啥还在源源不断的给我发邮件？ > > 谢谢

????

退订

你好，已经发了很多次退订了，发啥还在源源不断的给我发邮件？ 谢谢

Re: Re: 关于TableAPI的filesystem中compact功能

不是，这个和rocksdb没关系，我没用rocksdb。 我这说的是hdfs上文件的清理，而且不是检查点数据的清理，是实际业务数据。 带success文件的分区种的未compact的数据。 熊云昆 于2021年11月23日周二 下午11:52写道： > 应该不行，rocksdb本身自己会删除废弃的文件的，不需要你自己再去删除，而且你自己删除很容易误删文件导致异常 > > > > > > > > > > > > > > > > > > 在 2021-11-23 19:07:28，"yidan zhao" 写道： > >这个有懂的吗，本质需求是我需要做一个后台脚本，去安全的删除废弃的文件

Re: 如何实现event triggered window？

如果就是要 Event Trigger 那就是传统意义上的 Sliding Windows （Flink 的滑动窗口其实是 Hopping Window），这个确实是 OVER AGG 能搞定的 =。= Best, tison. Tony Wei 于2021年11月23日周二 下午2:06写道： > Hi Pinjie, > > 如果是需要 event triggered 的累計統計更新的話，可以考慮使用 SQL over aggregation > [1]。例如文件中提供的如下範例，計算當前 row 往前一小時內的加總結果。 > > > SELECT order_id, ord

Re:Re: 关于TableAPI的filesystem中compact功能

应该不行，rocksdb本身自己会删除废弃的文件的，不需要你自己再去删除，而且你自己删除很容易误删文件导致异常 在 2021-11-23 19:07:28，"yidan zhao" 写道： >这个有懂的吗，本质需求是我需要做一个后台脚本，去安全的删除废弃的文件。 > >此外，目前还衍生一个需求是，我停止任务，拿到保存点，但任务还没停止。 >我马上重启任务基于保存点，这部分我认为没问题，但之前那个没停止的任务我在想，是不是不能强制停，否则会导致部分文件无compact？ > >yidan zhao 于2021年11月20日周六 下午8:15写道： > >>

Re:PartitionNotFoundException

忘记说flink版本是 1.12.5 在 2021-11-23 23:12:32，"casel.chen" 写道： 我有一个flink作业跑在native k8s上面，以application mode运行，之前运行是OK的，最近人为重启了该作业，作业虽能启动，但运行了五分钟后就抛如下异常。完整的日志文件见附件。请问这个异常跟什么有关？我查了一下有说增大 `taskmanager.network.request-backoff.max` 参数，可我设置成 3000 还是会抛此异常。 2021-11-23 20:36:32 org.apache.flink.runt

??????????

===?? flink??HashMap

??????????

flink??HashMap

??????????

flink??HashMap

Re: 关于TableAPI的filesystem中compact功能

这个有懂的吗，本质需求是我需要做一个后台脚本，去安全的删除废弃的文件。 此外，目前还衍生一个需求是，我停止任务，拿到保存点，但任务还没停止。 我马上重启任务基于保存点，这部分我认为没问题，但之前那个没停止的任务我在想，是不是不能强制停，否则会导致部分文件无compact？ yidan zhao 于2021年11月20日周六 下午8:15写道： > 1 文件是ckpt时才输出，那ckpt没开始时候数据缓存到哪去了。 > 2 ckptN时候输出的是哪个时间段范围的数据，比如是上次检查点到本次检查点期间吗？ > 3 ckptN完成输出后，本次检查点生成的数据，对应的compact是马上开始

stop命令保存点成功，任务停止不了，这种情况强制停任务是安全的吗？

如题，补充背景，从kafka读取数据写入hive的情况，开启compact机制。 目前来看compact的operator一直停不下来，我不清楚是否强制停止后，再基于保存点恢复，是否有影响数据完整性呢？