hi
那你只需要设置从 latest-offset 开始消费,并且禁用 checkpoint 就行了,至于重启的次数,可以通过 metrics 中的
numRestarts 去获取.
-
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/
大家好，
请问下如下问题：
flink on yarn模式，日志清理机制有没有的？
是不是也是按照log4j/logback/log4j2等的清理机制来的？还是yarn上配置的。
是实时流作业，非离线一次性作业，一直跑着的
zjfpla...@hotmail.com
hi,
本质上来说，你的做法有点hack其实不推荐，如果非要这么做的话，你还可以通过 numRestarts [1] 的指标来看重启了多少次。
[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/ops/metrics/#availability
祝好
唐云
From: yidan zhao
Sent: Friday, June 4, 2021 11:52
To: user-zh
Subject: Re: 关于flink sq
你好，正常情况下flink on yarn 的container 日志中应该有.err .out .log 这三个日志，你贴的这个-slog.file 应该就是jobmanager .log 的位置，但是我这个程序是没有.log日志这个文件的，只有err 和out ，我试着在程序containner 里查看日志，发现能正常显示日志的container 中有以上三种日志，不能正常显示日志的程序中，只有两个日志，没有.log日志文件。所以也看不到运行时的一些info信息。我觉得这个是yarn创建的日志文件，目前还没找到原因。我尝试过运行两个一模一样的程序，打成两个jar 包，但是其中一个正常，另
flink sql cdc作数据同步，因为是基于库+表级别的，表数量太多导致作业数太多。请问能否用flink sql
cdc基于库级别同步？这样作业数量会少很多。
可以的，本身异步操作的本质就是线程池。 至于是你自己提供线程池，去执行某个同步操作。还是直接使用client/sdk等封装的异步方法内部默认的线程池这个无所谓。
Jacob <17691150...@163.com> 于2021年6月5日周六 下午1:15写道：
>
> thanks,
>
> 我查看了相关文档[1] 由于redis以及hbase的交互地方比较多，比较零散，不光是查询，还有回写redis
>
> 我打算把之前map算子的整段逻辑以线程池的形式丢在asyncInvoke()方法内部，不知道合适与否，这样数据的顺序性就无法得到保障了吧?
>
>
>
> [1]
> https:
