作业不 fo
Best Regards,
Ran Tao
Ran Tao 于2023年4月20日周四 16:12写道:
> offset 重放,mistake
>
> Best Regards,
> Ran Tao
>
>
> Ran Tao 于2023年4月20日周四 16:11写道:
>
>> 1.一种比较干净但是暴力的做法是Flink一旦检测到分区变化,就执行作业fo.
>> fo后读取最新的分区列表,旧的分区从状态中进行offer重放,新分区执行特定的点位启动策略。它的做法比较干净暴力。
>&
offset 重放,mistake
Best Regards,
Ran Tao
Ran Tao 于2023年4月20日周四 16:11写道:
> 1.一种比较干净但是暴力的做法是Flink一旦检测到分区变化,就执行作业fo.
> fo后读取最新的分区列表,旧的分区从状态中进行offer重放,新分区执行特定的点位启动策略。它的做法比较干净暴力。
>
> 2.第二种就是动态的分区发现(指作业fo,异步线程一直check分区变化,针对removed或者insert的分区单独处理),
> 这个在 newKafkaSource 中已经实现了。旧的kafka s
://cwiki.apache.org/confluence/display/FLINK/FLIP-288%3A+Enable+Dynamic+Partition+Discovery+by+Default+in+Kafka+Source
[2] https://issues.apache.org/jira/browse/FLINK-31006
其实这两种做法不仅仅适用于kafka,对于任意的source或者mq都可以使用。希望对你有所帮助。
Best Regards,
Ran Tao
casel.chen 于2023年4月20日周四 15:43写道:
>
> 实际工作中会遇到kafka
退订是发送邮件到 user-zh-unsubscr...@flink.apache.org 这个地址就可以了。
Best Regards,
Ran Tao
李朋 <1134415...@qq.com.invalid> 于2023年3月22日周三 20:10写道:
> 退订!
+1 有遇到过类似 fd 泄露的问题。注意 close 的时候buffer 数据刷盘, 然后资源关闭,future cancel。
Best Regards,
Ran Tao
Weihua Hu 于2023年3月8日周三 16:52写道:
> Hi,
>
> 通过代码看作业在Failover 时的确会有 HBaseClient 的资源泄露。
>
> 在 HbaseDimensionAsyncFunc 中重写一下 close 方法,释放掉 HBaseClient。
>
> Best,
> Weihua
>
>
&g
t
>
> org.jetbrains.jps.incremental.scala.remote.Main$.handleCommand(Main.scala:181)
> at
>
> org.jetbrains.jps.incremental.scala.remote.Main$.serverLogic(Main.scala:157)
> at
> org.jetbrains.jps.incremental.scala.remote.Main$.nailMain(Main.scala:97)
> at
> org.jetbrains.jps.incremental.scala.remote.Main.nailMain(Main.scala)
> at jdk.internal.reflect.GeneratedMethodAccessor1.invoke(Unknown
> Source)
> at
>
> java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
> at java.base/java.lang.reflect.Method.invoke(Method.java:568)
> at com.facebook.nailgun.NGSession.runImpl(NGSession.java:312)
> at com.facebook.nailgun.NGSession.run(NGSession.java:198)
>
>
>
>
>
>
>
>
--
Best Regards,
Ran Tao
https://github.com/chucheng92
;ll open up a voting thread to make the
> upgrade.
>
> Best regards,
>
> Martijn
>
> Op vr 20 mei 2022 om 14:10 schreef Ran Tao :
>
> > Got it. But I think the runtime java environment e.g. jdk11 env may
> cannot
> > optimize these scala lower bytecode very