Re: JobManager使用zk做高可用的时候，如何得到当前活跃的JobManager地址
代码里不需要remoteEnv创建，你这种removeEnv是通过本地ide提交任务的情况。这种情况很少见，一般线上网络环境和办公网络是隔离的吧。 yidan zhao 于2021年6月15日周二 下午2:49写道： > > 你这个方式不是用于测试嘛。线上情况不应该使用flink run命令嘛。使用flink run的情况下本身就是基于zk自动获取jm地址提交的。 > > cuicle 于2021年6月15日周二 下午2:04写道： > > > > 别估计啊。。。理论上只有一个active > > jobManager，其它的都是standby。就算你说的可以，那客户端再维护所有的JobManager的地址也是很丑的呀。 > > > > > > 我是想是否能从zk里面直接获取当前的active jobManager > > > > > > > > -- > > Sent from: http://apache-flink.147419.n8.nabble.com/
Re: JobManager使用zk做高可用的时候，如何得到当前活跃的JobManager地址
你这个方式不是用于测试嘛。线上情况不应该使用flink run命令嘛。使用flink run的情况下本身就是基于zk自动获取jm地址提交的。 cuicle 于2021年6月15日周二 下午2:04写道： > > 别估计啊。。。理论上只有一个active > jobManager，其它的都是standby。就算你说的可以，那客户端再维护所有的JobManager的地址也是很丑的呀。 > > > 我是想是否能从zk里面直接获取当前的active jobManager > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/
Re: JobManager使用zk做高可用的时候，如何得到当前活跃的JobManager地址
别估计啊。。。理论上只有一个active jobManager，其它的都是standby。就算你说的可以，那客户端再维护所有的JobManager的地址也是很丑的呀。 我是想是否能从zk里面直接获取当前的active jobManager -- Sent from: http://apache-flink.147419.n8.nabble.com/
Re: 退订
发送到 user-zh-unsubscr...@flink.apache.org 而不是 user-zh@flink.apache.org Best, Jingsong On Tue, Jun 15, 2021 at 12:28 AM 张保淇 wrote: > 退订 -- Best, Jingsong Lee
Re: (无主题)
发送到 user-zh-unsubscr...@flink.apache.org 而不是 user-zh@flink.apache.org Best, Jingsong On Tue, Jun 15, 2021 at 12:32 PM 1049961436 <1049961...@qq.com> wrote: > 退订 -- Best, Jingsong Lee
Re: 退订
发送到 user-zh-unsubscr...@flink.apache.org 而不是 user-zh@flink.apache.org Best, Jingsong On Mon, Jun 14, 2021 at 7:51 PM 周超 <769699...@qq.com> wrote: > 退订 -- Best, Jingsong Lee
Re: JobManager使用zk做高可用的时候，如何得到当前活跃的JobManager地址
指定随意一个都可以估计。
cuicle 于2021年6月15日周二 上午11:34写道：
>
> 当我创建一个StreamExecutionEnvironment的时候，需要指定JobManager的地址
> StreamExecutionEnvironment.createRemoteEnvironment("localhost", 8080);
> 当使用zk做高可用的时候，如何获得当前活跃的JobManager地址？
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
(无主题)
退订
flink 1.13.1 org.apache.flink.table.catalog.Column ????????????????Serializable????
hi?? org.apache.flink.table.catalog.Column Serializable??Serializable??
JobManager使用zk做高可用的时候，如何得到当前活跃的JobManager地址
当我创建一个StreamExecutionEnvironment的时候，需要指定JobManager的地址
StreamExecutionEnvironment.createRemoteEnvironment("localhost", 8080);
当使用zk做高可用的时候，如何获得当前活跃的JobManager地址？
--
Sent from: http://apache-flink.147419.n8.nabble.com/
??????Flink SQL ????????????DynamoDB
https://flink-packages.org/packages/streaming-flink-dynamodb-connector -- -- ??: "user-zh"
flink-cdc????????
HI: flink-cdc,,??eventTime,??watermark ??mysql??
Re: Flink1.12 用官方默认的log4j2打日志到kafka，如何区分jobmanager和TaskManager的日志？怎么加参数？
如果你找到正确的JobManager 和TaskManager 的启动命令，如： Java -Dlog.file =...
找到log4j中 类似：${sys:log.file} , ${env:MAX_LOG_FILE_NUMBER:-10} ，一个是系统参数
-Dlog.file ，一个环境变量。
方法有：
1.直接在 运行命令中 加入新参数，再从 log4j 读取相应参数即可，相对直接一些，有可能需要改动源码
2.从日志名入手，你看无论TM 还是 JM ，看日志就区别好了，只要获取
日志名，再正则（在log4j配置中如何正则呢？）获取你想要的日志关键字，取为Kafka的topic name，基本上就可解了
王刚 于2021年6月14日周一 下午3:48写道：
> 用这两个配置 定制不同的启动参数传到log4j配置文件是不是就可以
> env.java.opts.jobmanager
> env.java.opts.taskmanager
>
> 原始邮件
> 发件人: DanielGu<610493...@qq.com>
> 收件人: user-zh
> 发送时间: 2021年6月11日(周五) 18:07
> 主题: Re: Flink1.12
> 用官方默认的log4j2打日志到kafka，如何区分jobmanager和TaskManager的日志？怎么加参数？
>
>
> 同求一波配置
> 谢谢大佬们
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
>
--
Best，
pp
Re: 回复： flinksql ttl不生效
保留一段时间，就不是temporal join的语义了，你可以试试用interval join再做个去重，但是去重也有state的开销。 On Fri, 11 Jun 2021 at 10:44, chenchencc <1353637...@qq.com> wrote: > 嗯嗯，我这边排查看到是我是用temporary left join > > 维度表，使用事件时间，但是我期望维度表只保留3小时。目前使用on加上时间范围，貌似不生效，导致join的状态不断增加。有什么方式能处理吗，保留维度表一段时间数据。 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/
flink sql cdc到kafka，如何提高sink并行度？
flink sql cdc发到kafka，显示下游写kafka并行度只有1，有没有办法提高并行度呢？ 显示job-parallelism, table.exec.resource.default-parallelism, parallelism.default 都是 24，但execution graph显示parallelism还是1，我设置了pipeline.operator-chaining=false
Re: 流与流 left join
https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/dev/table/sql/queries/joins/#interval-joins chenchencc <1353637...@qq.com> 于2021年6月15日周二 上午9:46写道： > 你好，谢谢哈，想问下有相关的资料或者案例能发下吗？ > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/
Re: 流与流 left join
你好，想问下有什么案例或者资料吗 -- Sent from: http://apache-flink.147419.n8.nabble.com/
时间窗口
大佬们好，想问下怎么获取一个时间窗口内的数据进行排序的，获取序列号字段，需要是产生append流的 -- Sent from: http://apache-flink.147419.n8.nabble.com/
Re: 流与流 left join
你好，谢谢哈，想问下有相关的资料或者案例能发下吗？ -- Sent from: http://apache-flink.147419.n8.nabble.com/
退订
退订
????
Re: Re:FlinkSQL join 维表后一定会变成 upsert流吗？
维保 Join 理论上不会改变流的模式，我理解原来你的流是什么，就是什么。 Best, LakeShen WeiXubin <18925434...@163.com> 于2021年6月10日周四 下午5:46写道： > 感谢你的回答，我这边看了官网目前 join 一共可以分为 Regular Joins 、 Interval Joins 以及 Temporal > Joins > 三大类。 我上面问题所述的确是采用了 Regular Joins 的方式。 之后我也尝试使用了 Lookup Join 但发现其最后也是转为 > INSERT INTO ON DUPLICATE KEY UPDATE 的执行语句， 并不是我所期望的纯 append 模式 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/
Re: Task Container 被Kill, Managed memory使用情况查看
Hi Jason, 可以把 rocksdb statebackend 相关监控指标开启，然后结合指标看看。 具体参考： https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/config.html#rocksdb-native-metrics . Best, LakeShen Jason Lee 于2021年6月11日周五 上午11:19写道： > > > 各位社区的伙伴大家好 > > > 目前我们在使用Flink SQL 开发任务过程中遇到一个问题，有比较大状态的任务在运行一段时间后Task > Container会由于使用申请内存过多被Yarn集群Kill掉。 > > > 针对这个问题我们任务可能是在Checkpoint时候状态过大引起的，因此我们调整了State > ttl，也是增量Checkpoint，之后还是会出现类似情况，我们只能通过增加并发和内存来保证任务运行，但是这回造成了很大的资源浪费，因为平时查看任务的堆内存使用并不多，所以我们在考虑是不是Managed > memory不足导致的，因为Managed memory 负责RocksDB， 我们想确定一下是不是Managed memory不足导致的任务异常。 > > > 但是现在通过Flink Web UI界面查看不到Managed memory的使用情况，所以请教一下社区小伙伴有没有好的方式查看Managed > memory的使用情况，或者有没有遇到类Tm container 被kill的情况有没有好的解决方法，感谢大家，希望一起交流 > > > Best， > Jason > | | > Jason Lee1781 > | > | > jasonlee1...@163.com > | > 签名由网易邮箱大师定制 > >
Re: Flink1.12 用官方默认的log4j2打日志到kafka，如何区分jobmanager和TaskManager的日志？怎么加参数？
用这两个配置 定制不同的启动参数传到log4j配置文件是不是就可以 env.java.opts.jobmanager env.java.opts.taskmanager 原始邮件 发件人: DanielGu<610493...@qq.com> 收件人: user-zh 发送时间: 2021年6月11日(周五) 18:07 主题: Re: Flink1.12 用官方默认的log4j2打日志到kafka，如何区分jobmanager和TaskManager的日志？怎么加参数？ 同求一波配置 谢谢大佬们 -- Sent from: http://apache-flink.147419.n8.nabble.com/
