例如 flink 1.13.5,这些jar包有上传到maven中心仓库吗?我没有看到,编译的时候出错了。
Hi:
flink使用log4j.properties配置,.properties配置似乎没有办法配置AsyncAppender,所以在flink的日志没有办法使用AsyncAppender了吗?是否有其他的办法可以绕行
lpengdr...@163.com
Hi!
从 Flink 1.14 开始,Flink SQL 支持 window join [1]。
[1]
https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/table/sql/queries/window-join/
casel.chen 于2021年12月17日周五 08:47写道:
> 每隔5分钟join来自两条流的数据,用flink sql实现的写法是什么?
> 需要先join再窗口计算还是可以直接窗口内join? flink版本是1.13
每隔5分钟join来自两条流的数据,用flink sql实现的写法是什么?
需要先join再窗口计算还是可以直接窗口内join? flink版本是1.13
理论上mini-batch就可以优化回撤流。
目前是join没有支持mini-batch。
On Thu, Dec 16, 2021 at 5:12 PM casel.chen wrote:
>
> 看了《Oceanus的实时流式计算实践与优化》https://jishuin.proginn.com/p/763bfbd5acbf
> 想问一下社区是否有意实现这里说的回撤流优化功能呢?
> 实际业务很多数据是从mysql binlog cdc接入的,在回撤流上做计算是常见的场景,能否在flink sql中支持这些优化呢?
--
Best, Jingsong Lee
看了《Oceanus的实时流式计算实践与优化》https://jishuin.proginn.com/p/763bfbd5acbf
想问一下社区是否有意实现这里说的回撤流优化功能呢?
实际业务很多数据是从mysql binlog cdc接入的,在回撤流上做计算是常见的场景,能否在flink sql中支持这些优化呢?
如题,我目前生产中经常遇到,任务失败,cancel过程导致TM失败,进而其他任务都失败的这种。
我现在比较麻烦的是,我无法判定具体是外界因素比如网络等导致TM失败,进而导致任务失败。还是先任务由于某种原因失败,然后restart过程导致TM失败。
目前是看每台机器的TM日志,不太一样。
有的TM第一个异常日志是:Attempting to cancel task, , Triggering cancellation of
task code...
有的TM第一个异常日志是: (40/60)#0 (5e91a8139f7858005f4c06bb1b6e9ca6)