Re: 回复:Re: CheckpointedFunction#snapshotState访问键控状态报错

2021-04-12 文章 Yun Tang
Hi, 如果想要可以被外部查询,更合适的方式是 queryable state,如果想要把数据同时存储在外部,更合适的方式其实是直接使用外部store,例如HBase,这样子数据的查询是实时的。 checkpoint时候再向外存储的话,一来更新不是及时的,而且数据有冗余存储(分别在Flink的state和外部存储中)。 如果非要想获取实际的kv数据,可以参照我前面说的 KeyedStateBackend#getKeys 或者 KeyedStateBackend#applyToAllKeys 这两个接口,你可以自己实现一个stream operator而不是function,这样就能看

请教 Yarn Per-Job 模式下,多个 executeAsync() 与 execute() 的区别

2021-04-12 文章 键盘击打者
Yarn Per-Job 模式下,如果一个 flink 的应用中有两个 execute(),第二个Job启动不了。但是如果换成 executeAsync()就可以,我还没有想清楚为什么... -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink on yarn 多TaskManager 拒绝连接问题

2021-04-12 文章 haihua
hi请问楼主这个问题解决了 ,有什么思路可以分享一下吗? -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 退订

2021-04-12 文章 Leonard Xu
On Mon, Apr 12, 2021 at 3:06 PM yangxiaofei wrote: > 退订 > > Hi 是指取消订阅邮件吗?取消和订阅邮件组 不是直接发给邮件组, Apache的邮件组管理都类似。 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 就可以取消订阅 user-zh@flink.apache.org 邮件列表 邮件列表的订阅管理,可以参考[1] 祝好, Leonard Xu [1] https://flink.apache.org/community.html#how-to-subscribe

Re: flink -conf.yaml修改

2021-04-12 文章 JasonLee
hi 如果是 session 模式需要重启集群,如果是 per-job 模式直接提交任务即可. - Best Wishes JasonLee -- Sent from: http://apache-flink.147419.n8.nabble.com/

??????flink -conf.yaml????

2021-04-12 文章 Long

回复: 回复:flink -conf.yaml修改

2021-04-12 文章 明启 孙
多谢 smq 发件人: 熊云昆 发送时间: 2021年4月12日 18:48 收件人: smq 抄送: user-zh 主题: 回复:flink -conf.yaml修改 重启job就可以了,不需要重启集群 | | 熊云昆 | | 邮箱:xiongyun...@163.com | 签名由 网易邮箱大师 定制 在2021年04月12日 14:34,smq 写道: 大家好,这个配置文件修改之后需要什么操作才生效吗,比如重启集群,还是说直接启动作业自动就应用了呢

回复:flink -conf.yaml修改

2021-04-12 文章 熊云昆
重启job就可以了,不需要重启集群 | | 熊云昆 | | 邮箱:xiongyun...@163.com | 签名由 网易邮箱大师 定制 在2021年04月12日 14:34,smq 写道: 大家好,这个配置文件修改之后需要什么操作才生效吗,比如重启集群,还是说直接启动作业自动就应用了呢

Re: 分组滚动窗口 无法触发计算,由于 watermark 没有被生成,或者被计算。

2021-04-12 文章 HunterXHunter
1.12默认是 eventtime不需要设置 -- Sent from: http://apache-flink.147419.n8.nabble.com/

回复: 退订

2021-04-12 文章 541122...@qq.com
退订 541122...@qq.com 发件人: 程鑫 发送时间: 2021-04-08 22:21 收件人: user-zh 主题: 退订 退订

退订

2021-04-12 文章 541122...@qq.com
退订 541122...@qq.com

Re:回复:flink sql join 内存占用以及数据延迟问题咨询

2021-04-12 文章 董建
感谢sllence大佬的耐心解答,还想继续请教一下: 1、假如是设置了持久化的状态后端,不知道是以什么样的格式来存储state的?是每个流单独一个state(原始数据),还是join后的结果进行state? 2、cdc 默认采用了regular join,全量数据都在内存中,所以数据量大的业务会对集群造成较大负担。在实际生产环境中,假如这种类型的任务非常多,集群资源是不是很快就会被耗尽了?不知道 是否可以认为是cdc的一个问题? 3、我的实际生产中有etl的join需求,这些etl涉及多张表的写入,但是无法确认在join的流中的延迟和乱序时间,所以是不是除了regular join就没

退订

2021-04-12 文章 yangxiaofei
退订