好呀好呀~
原始邮件
发件人: Congxian Qiu
收件人: user-zh; taowang
发送时间: 2020年7月30日(周四) 20:53
主题: Re: flink 1.11 rest api saveppoint接口 异常
Hi taowang FLINK-18748 在 Jiar 侧有一些讨论，这个问题修复起来应该会比较简单，你是否有意愿修复这个问题呢？ Best,
Congxian taowang 于2020年7月29日周三 下午3:23写道： >
好哒，我的自动更新逻辑依赖了这个 api，不过现在我用其他方式先处理了。 > 感
Hi taowang > 感谢你的更新，这个地方应该是 savepoint trigger 的逻辑有问题，现在确实 >
setMinPauseBetweenCheckpoints 会影响 savepoint，我创建一个 issue 来跟进一下这个问题 > > Best, >
Congxian > > > taowang 于2020年7月29日周三 下午12:29写道： > >>
我再次确认了一下，可能是因为我设置了checkpoint的setMinPauseBetweenCheckpoints，所以在上一次 >&
我再次确认了一下，可能是因为我设置了checkpoint的setMinPauseBetweenCheckpoints，所以在上一次 checkpoint
和这个间隔之间触发 savepoint 不会生效，但是接口返回了IN_PROGRESS 的状态，我觉得这里应该是有点问题的。
原始邮件
发件人: taowang
收件人: user-zh
发送时间: 2020年7月28日(周二) 18:53
主题: Re: flink 1.11 rest api saveppoint接口 异常
是的，其实无论是否开启了unaligned checkpoint，我在调用这个接口的时候都没有
: flink 1.11 rest api saveppoint接口 异常
Hi 开启 unalign checkpoint 的情况下，如果有 checkpoint 正在做的话，那么 savepoint 会等待的[1]，但是把
unaligned checkpoint 关闭之后，还有这个现象看上去不太符合预期。关闭之后这种现象出现的时候，也有 checkpoint 正在做吗？ [1]
https://issues.apache.org/jira/browse/FLINK-17342 Best, Congxian taowang
于2020年7月28日周二 下午5:05写道： > 在
在升级了 flink 1.11之后，我在使用的时候发现 rest api 的 /jobs/:jobid/savepoints 接口表现有点异常：
在 flink 1.10 时：当请求该接口后，在 flink ui 可以看到 savepoint
被触发，/jobs/:jobid/savepoints/:triggerid 返回IN_PROGRESS，等 savepoint
成功之后jobs/:jobid/savepoints/:triggerid返回COMPLETED。
但是在flink 1.11中：经常出现（不是必现，但是概率也不低） /jobs/:jobid/savepoints
我的测试结果时，把原先的丢弃掉，完全采用最新的逻辑。
原始邮件
发件人: lec ssmi
收件人: flink-user-cn
发送时间: 2020年4月17日(周五) 14:43
主题: Re: 为消息分配时间戳但不想重新分配水印
watermark的重新生成，是将新的watermark也加入到watermark队列，然后选出一个最值，还是将原先的watermark直接丢弃掉，改用新的？
taowang 于2020年4月17日周五 上午10:46写道： >
是的，是生效了的。没见到别人这样用过，在我的场景里这个操作是实现了我需要的逻辑，但会不会引起其他问题，我暂
是的，是生效了的。没见到别人这样用过，在我的场景里这个操作是实现了我需要的逻辑，但会不会引起其他问题，我暂时还没有发现。
原始邮件
发件人: lec ssmi
收件人: flink-user-cn
发送时间: 2020年4月17日(周五) 09:25
主题: Re: 为消息分配时间戳但不想重新分配水印
请问，你对DataStream重新声明时间列和水印，生效吗？ taowang 于2020年4月16日周四
下午10:49写道： > 嗯嗯，还是十分感谢。 >
那我暂时就把这个问题先搁置了，至于issue和我们自己的实现，我自己有时间的时候就去提一个，并添
嗯嗯，还是十分感谢。
那我暂时就把这个问题先搁置了，至于issue和我们自己的实现，我自己有时间的时候就去提一个，并添加自己的实现。
打扰各位了，祝好！～
原始邮件
发件人: tison
收件人: user-zh
发送时间: 2020年4月16日(周四) 22:39
主题: Re: 为消息分配时间戳但不想重新分配水印
正在载入邮件原文…
watermark 的。另外语义上使用
AssignerWithPunctuatedWatermarks 会更合适一点。 Best, tison. taowang
于2020年4月16日周四 下午5:13写道： > Hello,大家好： > 在flink >
stream中我这里遇到一个需求是，想到对上一个算子输出的消息重新分配时间戳，但此时我不想重新分配水印。在从kafka读取消息时我已经添加了水印。 >
为了实现这个功能，我想有两种方法： > 1. 在算子输出后面重新为消息分配水印：看到flink >
stream暂时只有`assignTimestam
hello, 唐云：
看到你说从incremental checkpoint恢复后，要重新执行一次savepoint才可以。我自己试了一下，job从incremental
checkpoint恢复之后并成功打出第一个checkpoint之后，就手动删掉了checkpoints/目录下除了新的jobid目录之外的所有的文件夹，新的job并没有失败，看起来一切正常，执行一次savepoint也没有失败。
Hello,大家好：
在flink stream中我这里遇到一个需求是，想到对上一个算子输出的消息重新分配时间戳，但此时我不想重新分配水印。在从kafka读取消息时我已经添加了水印。
为了实现这个功能，我想有两种方法：
1. 在算子输出后面重新为消息分配水印：看到flink
stream暂时只有`assignTimestampsAndWatermarks`方法，这里面要实现两个接口：`getCurrentWatermark`和`extractTimestamp`。我只想实现`extractTimestamp`而不想管水印相关的`getCurrentWatermark
11 matches
Mail list logo
