应该不行，rocksdb本身自己会删除废弃的文件的，不需要你自己再去删除，而且你自己删除很容易误删文件导致异常
在 2021-11-23 19:07:28，"yidan zhao" 写道：
>这个有懂的吗，本质需求是我需要做一个后台脚本，去安全的删除废弃的文件。
>
>此外，目前还衍生一个需求是，我停止任务，拿到保存点，但任务还没停止。
>我马上重启任务基于保存点，这部分我认为没问题，但之前那个没停止的任务我在想，是不是不能强制停，否则会导致部分文件无compact？
>
>yidan zhao 于2021年11月20日周六 下午8:15写道：
>
我觉得问题是不是出在反压上面，你的job是不是有反压？
在 2021-06-21 10:38:36，"yidan zhao" 写道：
>如题，我任务的检查点（对齐检查点）大多数时间成功，偶现失败。目前针对超时类失败做了分析，存在部分特点，希望大佬们分析下原因。
>
>（1）KafkaSouce的e2e时间达到1min+，正常xxx
>ms就结束了。同时对应e2e达到1min+的情况下，sync、async、alignment、start delay等都为0，偶尔几个x
>ms的。 这个不是很明白什么情况会是这样呢？
>
有个这个参数max.poll.records，表示一次最多获取多少条record数据，默认是500条
| |
熊云昆
|
|
邮箱：xiongyun...@163.com
|
签名由 网易邮箱大师 定制
在2021年04月20日 18:19，李一飞 写道：
flink流、批场景下kafka拉取速率问题：每批次拉取多少条？是动态吗还是可以设置
最好分流、批场景回答一下，谢谢！
重启job就可以了，不需要重启集群
| |
熊云昆
|
|
邮箱：xiongyun...@163.com
|
签名由 网易邮箱大师 定制
在2021年04月12日 14:34，smq 写道：
大家好，这个配置文件修改之后需要什么操作才生效吗，比如重启集群，还是说直接启动作业自动就应用了呢
你的checkpoint是用rocksdb还是filesystem？磁盘不同确实会影响checkpoint速度的
| |
熊云昆
|
|
邮箱：xiongyun...@163.com
|
签名由 网易邮箱大师 定制
在2021年02月27日 14:14，Jacob 写道：
Hi All,
生产环境有一个Job,在hadoopA集群运行稳定正常，checkpoint速度也很快（checkpoint间隔时间是30s,每一个checkpoint大小几十kb，做一次checkpoint耗时为毫秒级别）
相同
最简单的方式就是自定义Source，里面定时检测配置文件是否有更新，如果有更新的话就发送配置文件的内容，下游算子把这个source发送的内容当做广播变量
| |
熊云昆
|
|
邮箱：xiongyun...@163.com
|
签名由 网易邮箱大师 定制
在2020年12月08日 17:36，Lei Wang 写道：
flink 程序读配置文件，配置文件的内容作为广播变量广播出去。
如果配置文件更新了，怎样能把广播变量的内容也更新呢？
谢谢，
王磊
是线程安全的，mapstate也是keyed state，同一个key的state肯定是同一个线程处理的
| |
熊云昆
|
|
邮箱：xiongyun...@163.com
|
签名由 网易邮箱大师 定制
在2020年12月07日 18:18，bradyMk 写道：
这面还想多请教一下：
我程序中每来一条数据都会去读MapState然后覆盖写入新的时间戳，刚刚发现某一条数据读出了两条一样的时间戳，我推断是第一个线程读出来后还没等覆盖掉，第二个线程又读了一遍，导致出现两条一样的时间戳；
所以想请问flink中MapState是线程安全的吗？
-
Best
可以手动控制的，如果不设置默认是从最新位置开始消费，否则按照你的startup-mode来
在 2020-12-01 20:59:48，"Shuai Xia" 写道：
>
>Hi，大佬们
>突然有一个疑问点，Flink消费kafka的Job保存了SP之后停止，修改代码中的topic名称之后重启。
>会从新topic的哪里开始消费？与startup-mode一致，还是从最新呢？
>可以手动控制么？
job没有失败重启过吗？感觉是重启过吧
在 2020-11-30 22:23:54，"赵一旦" 写道：
>如题。
>
>Checkpoint Detail:
>Path: - Discarded: - Failure Message: The job has failed.
>
>
>如上，请问一般啥情况呢这是。
session window可以满足你的需求的，你可以查一下 session window的例子
| |
熊云昆
|
|
邮箱：xiongyun...@163.com
|
签名由 网易邮箱大师 定制
在2020年10月30日 13:07，sunfulin 写道：
hi，
session window能处理这种超时事件么？不知道有没有例子可以参考参考哈。
在 2020-10-30 11:12:55，"naisili Yuan" 写道：
> 不知道理解错没有， 感觉你这个场景使用session windows能解决
&
你的数据有没有时间属性？可以用时间来判断吧
| |
熊云昆
|
|
邮箱：xiongyun...@163.com
|
签名由 网易邮箱大师 定制
在2020年10月23日 14:21，air23 写道：
你好，
这边发现使用cdc读取mysql ，然后写入mysql会有乱序问题
在上游mysql update一条数据，connert=print是有一条delete 和一条insert的数据，
但是jdbc写入mysql时候 发现mysql有时候是正常的，但是有时候会没有，当把并行度改成1的时候是正常的。
这边怀疑是乱序了，先insert 再delete了。所以导致结果表 没有这条数
目前还不支持吧
| |
熊云昆
|
|
邮箱：xiongyun...@163.com
|
签名由 网易邮箱大师 定制
在2020年10月19日 18:22，林影 写道：
请问现在Flink支持动态扩缩容吗，或者说社区在这方面有什么计划吗？
你的state是用rocksdb存储的吗？
| |
熊云昆
|
|
邮箱：xiongyun...@163.com
|
签名由 网易邮箱大师 定制
On 10/13/2020 18:20, 宁吉浩 wrote:
hi，all
最近在使用flink遇到了问题，问题描述如下:
checkpoint失败，jm报tm心跳丢失，然后重新开启tm，不一会yarn上就先后开启了多个tm。
数据量并不大，给的内存也足够，tm的内存都被沾满了，不管给多少运行到一定时间就会满，就会出现上述情况。
正好跑了很多程序，有带windows
也有不带的，在这里发现了端倪，带windows的程序
每个job启动时候单独读取配置就可以了吧
| |
熊云昆
|
|
邮箱：xiongyun...@163.com
|
签名由 网易邮箱大师 定制
在2020年10月12日 18:17，xiao cai 写道：
Hi：
已知的设置metrics reporter的方式是在conf/flink-conf.yaml中，如果想要为每个任务分别设置不同的metrics
reporter或者设置不同的参数，比如设置prometheus pushgateway的多个自定义的k=v，该如何设置呢？
Best xiao.
谢谢，大概明白了
| |
熊云昆
|
|
邮箱：xiongyun...@163.com
|
签名由 网易邮箱大师 定制
在2020年10月10日 16:42，Yun Tang 写道：
Hi，云昆
首先，如果Congxian回答的，sst文件是不变的，所以就有了“增量”的前提，如果多个checkpoint均包含某个sst文件，那么该文件可以在多个checkpoint间共享，这些文件表示是属于shared的文件，存储在shared目录下，可以参考文档[1]。
这并不与保留一个checkpoint不一致，增量checkpoint的含义是上传的数据是增量的，但是每一个
原来的sst文件存在原来的chk-***下面，意味着原来的chk-***不会被删除，这与stat.checkpoints.num-retained保留1个checkpoint不一致吧？
| |
熊云昆
|
|
邮箱：xiongyun...@163.com
|
签名由 网易邮箱大师 定制
在2020年10月09日 10:47，Congxian Qiu 写道：
Hi
增量 checkpoint 是指，每次只上传的 *必须的* sst 文件。因为 RocksDB 生成的 sst 文件是不可变的，所以之前上传过的
sst 文件直接引用即可，这样减少了很多 sst 文件的上传（也减少
Hi,
有个rocksdb增量checkpoint的问题不明白，如果state.checkpoints.num-retained默认设置为1，意味着checkpoint默认只保留1个，那么在增量checkpoint的时候，它是无法引用上一个checkpoint的备份的sst文件的，其实还是相当于全量备份了，对不对？
| |
熊云昆
|
|
邮箱：xiongyun...@163.com
|
签名由 网易邮箱大师 定制
17 matches
Mail list logo
