Re:回复:fink新增计算逻辑时kafka从头开始追平消费记录

2020-04-06 文章
| >apache22 >| >| >apach...@163.com >| >签名由网易邮箱大师定制 >在2020年4月7日 12:23,苟刚 写道: > >附件是两份主要代码 > > > > > > > > > > > > > >-- > >Best Wishes > Galen.K > > > > > >在 2020-04-07 12:11:07,"酷酷的浑蛋" 写道: &g

Re:回复:fink新增计算逻辑时kafka从头开始追平消费记录

2020-04-06 文章
附件是两份主要代码 -- Best Wishes Galen.K 在 2020-04-07 12:11:07,"酷酷的浑蛋" 写道: >是不是代码中设置了从头消费,还有可能提交offset到kafka的代码中设置了false?因为你的代码应该不是全的,所以没法具体看 > > >| | >apache22 >| >| >apach...@163.com >| >签名由网易邮箱大师定制 >在2020年4月7日 12:03,苟刚 写道: > &g

Re:Re:fink新增计算逻辑时kafka从头开始追平消费记录

2020-04-06 文章
latest 不是最后消费的位置吗? 另外我一直不明白的是,如果我不新增新的算子,从savepoint启动是没有问题的。不会从头开始消费,之后新增算子后才会出现这个情况。 -- Best Wishes Galen.K 在 2020-04-07 11:39:03,"sunfulin" 写道: > > > >Hi, >props.put("auto.offset.reset", "latest"); >是加了这个设置导致的吧 > > &

fink新增计算逻辑时kafka从头开始追平消费记录

2020-04-06 文章
Hello, 我遇到一个问题,我用flink做实时统计的时候,每次新增一种计算类型,算子就会从kafka的最早的消息开始消费,导致我每次重启后都需要花费好长的时间去追平记录,请问有什么办法解决吗? 我的wartermark是设置在kafka的consumer上的,下面的每新增一个process的时候都会从头开始消费。 flink版本:1.6.3 部分代码如下: public static void main(String[] args) throws Exception { final ParameterTool parameterTool =

flink源码编译可以不编译scala代码吗

2019-08-10 文章
Hi,All: 我再尝试编译flink 1.7的源码时,遇到如下错误,本人对scala不是很了解,不知道是不是版本问题引起,另外可以去掉sacla模块编译吗: 本机scala版本:2.13.0 JDK 版本: 1.8.0_91 [ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile (default-compile) on project flink-scala_2.11: Compilation failure: Compilation