紧急bugfix的那些flink jar包在maven中心仓库上找不到

2021-12-16 文章 casel.chen
例如 flink 1.13.5,这些jar包有上传到maven中心仓库吗?我没有看到,编译的时候出错了。

【Log4j.properties使用AsyncAppender】

2021-12-16 文章 lpengdr...@163.com
Hi: flink使用log4j.properties配置,.properties配置似乎没有办法配置AsyncAppender,所以在flink的日志没有办法使用AsyncAppender了吗?是否有其他的办法可以绕行 lpengdr...@163.com

Re: 双流窗口内join用flink sql实现的语法是什么?

2021-12-16 文章 Caizhi Weng
Hi! 从 Flink 1.14 开始,Flink SQL 支持 window join [1]。 [1] https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/table/sql/queries/window-join/ casel.chen 于2021年12月17日周五 08:47写道: > 每隔5分钟join来自两条流的数据,用flink sql实现的写法是什么? > 需要先join再窗口计算还是可以直接窗口内join? flink版本是1.13

双流窗口内join用flink sql实现的语法是什么?

2021-12-16 文章 casel.chen
每隔5分钟join来自两条流的数据,用flink sql实现的写法是什么? 需要先join再窗口计算还是可以直接窗口内join? flink版本是1.13

????

2021-12-16 文章 lorthevan

Re: 回撤流优化

2021-12-16 文章 Jingsong Li
理论上mini-batch就可以优化回撤流。 目前是join没有支持mini-batch。 On Thu, Dec 16, 2021 at 5:12 PM casel.chen wrote: > > 看了《Oceanus的实时流式计算实践与优化》https://jishuin.proginn.com/p/763bfbd5acbf > 想问一下社区是否有意实现这里说的回撤流优化功能呢? > 实际业务很多数据是从mysql binlog cdc接入的,在回撤流上做计算是常见的场景,能否在flink sql中支持这些优化呢? -- Best, Jingsong Lee

回撤流优化

2021-12-16 文章 casel.chen
看了《Oceanus的实时流式计算实践与优化》https://jishuin.proginn.com/p/763bfbd5acbf 想问一下社区是否有意实现这里说的回撤流优化功能呢? 实际业务很多数据是从mysql binlog cdc接入的,在回撤流上做计算是常见的场景,能否在flink sql中支持这些优化呢?

关于任务失败原因日志问题

2021-12-16 文章 yidan zhao
如题,我目前生产中经常遇到,任务失败,cancel过程导致TM失败,进而其他任务都失败的这种。 我现在比较麻烦的是,我无法判定具体是外界因素比如网络等导致TM失败,进而导致任务失败。还是先任务由于某种原因失败,然后restart过程导致TM失败。 目前是看每台机器的TM日志,不太一样。 有的TM第一个异常日志是:Attempting to cancel task, , Triggering cancellation of task code... 有的TM第一个异常日志是: (40/60)#0 (5e91a8139f7858005f4c06bb1b6e9ca6)