Hi yidan
我的的意思是，假设上游 1-10 分钟在处理数据，然后第11分钟就把大批量数据发给 sink，然后上游继续进行 10-20的处理，但是这时候 sink
由于数据量大产生了阻塞，造成反压反馈给上游，上游就变慢了。但实际上如果没有反压机制。10-20 的时候，sink
其实可以慢慢写完的。唯一的区别是他发送了一个反压信号，导致上游处理变慢。不知道理解的对不对。
为了要10分钟发送，是因为上游太多数据， 所以我先提前用窗口个聚合一下，目前一秒将近有 800MB 的流量
Shammon FY 于2022年10月20日周四 11:48写道：
> 如果必须要10分钟，
如果必须要10分钟，但是key比较分散，感觉这种情况可以增加资源加大一下并发试试，减少每个task发出的数据量
On Thu, Oct 20, 2022 at 9:49 AM yidan zhao wrote:
> 这个描述前后矛盾，写出速度跟不上导致反压，那控制写出速度不是问题更大。不过你不需要考虑这些，因为你控制不了写出速度，只能控制写出时机。
>
> 写出时机是由window的结束时间和watermark决定的，所以如果真要解决，需要控制分窗不要固定整点10分钟。
>
> macia kk 于2022年10月20日周四 00:57写道：
> >
> > 聚合10分钟再输出，到1
没事。欢迎试用，如果在使用过程之中遇到了问题，可以联系我。
Best,
Shengkai
TonyChen 于2022年10月20日周四 09:45写道：
> 找到了，打扰了列位
> public static final ConfigOption
> SQL_GATEWAY_SESSION_IDLE_TIMEOUT =
> key("sql-gateway.session.idle-timeout")
> .durationType()
> .defaultValue(Duration.ofMinute
这个描述前后矛盾，写出速度跟不上导致反压，那控制写出速度不是问题更大。不过你不需要考虑这些，因为你控制不了写出速度，只能控制写出时机。
写出时机是由window的结束时间和watermark决定的，所以如果真要解决，需要控制分窗不要固定整点10分钟。
macia kk 于2022年10月20日周四 00:57写道：
>
> 聚合10分钟再输出，到10分钟的时候由于积攒了很多数据，写出速度跟不上，导致反压，然后上游消费就处理变慢了。
>
> 如果控制一下写出的速度，让他慢慢写会不会好一些
找到了，打扰了列位
public static final ConfigOption SQL_GATEWAY_SESSION_IDLE_TIMEOUT =
key("sql-gateway.session.idle-timeout")
.durationType()
.defaultValue(Duration.ofMinutes(10))
.withDescription(
"Timeout interval for closing
Hi all
根据 Flink 1.16 官方文档中的 Sql Gateway / Rest Endpoint 部分给出的 API，需要手动维护 session
的心跳，否则如果 session 会根据配置的超时时间关闭。
不知道我理解的对不对？
如果是这样的话，那么需要配置哪个配置项？
谢谢列位
[1]
https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/sql-gateway/rest/#sessions-session_handle-heartbeat
Best,
TonyC
聚合10分钟再输出，到10分钟的时候由于积攒了很多数据，写出速度跟不上，导致反压，然后上游消费就处理变慢了。
如果控制一下写出的速度，让他慢慢写会不会好一些
Hi,
能请问下你使用的flink版本和flink kubernetes operator版本吗？
如果flink版本>=1.15.0的话，app运行结束后JobManager Pod应该是会保留的。
Best,
Biao Geng
highfei2011 于2022年10月19日周三 14:11写道：
> 问题描述：当使用 flink k8s operator 创建 flink app 后，不管 app 运行成功，或者失败， operator 都会自动
> delete 掉停止的 pod。我再次使用命令查看日志时， 由于 pod 不存在，所以日志无法查看。
Hi,
1.16的动向可以订阅下dev邮箱，最新的动态参考[1]，官方docker版本会在release的时候同一时间发布[1]https://lists.apache.org/thread/b594swf6owhvl3thnfm1v8covwfxjj04
在 2022-10-18 12:12:39，"谭家良" 写道：
>hello,all
>如题，目前我对1.16的新功能比较感兴趣，想问一下flink1.16什么时候可以完成release？什么时候会有一个可用的官方docker镜像？
>
>
>| |
>谭家良
>|
>|
>tanjl_w...@126.com
>|
savepoint流程
1. 执行savepoint
kubectl patch flinkdeployment/savepoint-job --type=merge -p '{"spec": {"job":
{"state": "suspended", "upgradeMode": "savepoint"}}}’
2. 删除job
kubectl delete flinkdeployment/savepoint-job
3. 根据savepoint启动job
修改flinkdeployment yaml配置，添加如下
spec:
...
job:
initialSavepoin
hi:
我在使用flink-operator 1.2.0 & flink 1.14.3, 使用flink-operator 成功手动生成了savepoint,
但savepoint 生成之后, job 并没有自动取消。 希望savepoint 成功之后job 能自动取消。请问是哪里没操作对吗？还是一个已知问题?
jobStatus:
jobId: 9de925e9d4a67e04ef6279925450907c
jobName: sql-te-lab-s334c9
savepointInfo:
lastPeriodicSavepointTime
谢谢，有具体的思路嘛？
比如我需要先写入 jdbc 后再发送消息
是自定义一个 DynamicTableSink ， 里面有 JdbcDynamicTableSink KafkaDynamicSink ，
还是说继承 JdbcDynamicTableSink ， 自定义的类里面再去 new KafkaDynamicSink？
初看起来没办法知道什么时候 db 写入了。要知道什么时候写入，要去自定义 TableInsertOrUpdateStatementExecutor
Zhiwen Sun
On Tue, Oct 18, 2022 at 5:56 PM 悟空 wr
12 matches
Mail list logo
