Hi,
如果想要可以被外部查询,更合适的方式是 queryable
state,如果想要把数据同时存储在外部,更合适的方式其实是直接使用外部store,例如HBase,这样子数据的查询是实时的。
checkpoint时候再向外存储的话,一来更新不是及时的,而且数据有冗余存储(分别在Flink的state和外部存储中)。
如果非要想获取实际的kv数据,可以参照我前面说的 KeyedStateBackend#getKeys 或者
KeyedStateBackend#applyToAllKeys 这两个接口,你可以自己实现一个stream
operator而不是function,这样就能看
Yarn Per-Job 模式下,如果一个 flink 的应用中有两个 execute(),第二个Job启动不了。但是如果换成
executeAsync()就可以,我还没有想清楚为什么...
--
Sent from: http://apache-flink.147419.n8.nabble.com/
hi请问楼主这个问题解决了 ,有什么思路可以分享一下吗?
--
Sent from: http://apache-flink.147419.n8.nabble.com/
On Mon, Apr 12, 2021 at 3:06 PM yangxiaofei wrote:
> 退订
>
>
Hi
是指取消订阅邮件吗?取消和订阅邮件组 不是直接发给邮件组, Apache的邮件组管理都类似。
请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 就可以取消订阅
user-zh@flink.apache.org 邮件列表
邮件列表的订阅管理,可以参考[1]
祝好,
Leonard Xu
[1]
https://flink.apache.org/community.html#how-to-subscribe
hi
如果是 session 模式需要重启集群,如果是 per-job 模式直接提交任务即可.
-
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/
多谢
smq
发件人: 熊云昆
发送时间: 2021年4月12日 18:48
收件人: smq
抄送: user-zh
主题: 回复:flink -conf.yaml修改
重启job就可以了,不需要重启集群
| |
熊云昆
|
|
邮箱:xiongyun...@163.com
|
签名由 网易邮箱大师 定制
在2021年04月12日 14:34,smq 写道:
大家好,这个配置文件修改之后需要什么操作才生效吗,比如重启集群,还是说直接启动作业自动就应用了呢
重启job就可以了,不需要重启集群
| |
熊云昆
|
|
邮箱:xiongyun...@163.com
|
签名由 网易邮箱大师 定制
在2021年04月12日 14:34,smq 写道:
大家好,这个配置文件修改之后需要什么操作才生效吗,比如重启集群,还是说直接启动作业自动就应用了呢
1.12默认是 eventtime不需要设置
--
Sent from: http://apache-flink.147419.n8.nabble.com/
退订
541122...@qq.com
发件人: 程鑫
发送时间: 2021-04-08 22:21
收件人: user-zh
主题: 退订
退订
退订
541122...@qq.com
感谢sllence大佬的耐心解答,还想继续请教一下:
1、假如是设置了持久化的状态后端,不知道是以什么样的格式来存储state的?是每个流单独一个state(原始数据),还是join后的结果进行state?
2、cdc 默认采用了regular
join,全量数据都在内存中,所以数据量大的业务会对集群造成较大负担。在实际生产环境中,假如这种类型的任务非常多,集群资源是不是很快就会被耗尽了?不知道
是否可以认为是cdc的一个问题?
3、我的实际生产中有etl的join需求,这些etl涉及多张表的写入,但是无法确认在join的流中的延迟和乱序时间,所以是不是除了regular
join就没
退订
13 matches
Mail list logo