Re: Tumble Window 会带来反压问题吗？
如果必须要10分钟，但是key比较分散，感觉这种情况可以增加资源加大一下并发试试，减少每个task发出的数据量 On Thu, Oct 20, 2022 at 9:49 AM yidan zhao wrote: > 这个描述前后矛盾，写出速度跟不上导致反压，那控制写出速度不是问题更大。不过你不需要考虑这些，因为你控制不了写出速度，只能控制写出时机。 > > 写出时机是由window的结束时间和watermark决定的，所以如果真要解决，需要控制分窗不要固定整点10分钟。 > > macia kk 于2022年10月20日周四 00:57写道： > > > > 聚合10分钟再输出，到10分钟的时候由于积攒了很多数据，写出速度跟不上，导致反压，然后上游消费就处理变慢了。 > > > > 如果控制一下写出的速度，让他慢慢写会不会好一些 >
Re: 关于Sql Gateway / Rest Endpoint的Session超时时间的配置
没事。欢迎试用，如果在使用过程之中遇到了问题，可以联系我。
Best,
Shengkai
TonyChen 于2022年10月20日周四 09:45写道：
> 找到了，打扰了列位
> public static final ConfigOption
> SQL_GATEWAY_SESSION_IDLE_TIMEOUT =
> key("sql-gateway.session.idle-timeout")
> .durationType()
> .defaultValue(Duration.ofMinutes(10))
> .withDescription(
> "Timeout interval for closing the session when the
> session hasn't been accessed during the interval. "
> + "If setting to zero or negative value,
> the session will not be closed.");
>
>
>
> Best,
> TonyChen
>
> > 2022年10月20日 09:28，TonyChen 写道：
> >
> > Hi all
> >
> > 根据 Flink 1.16 官方文档中的 Sql Gateway / Rest Endpoint 部分给出的 API，需要手动维护
> session 的心跳，否则如果 session 会根据配置的超时时间关闭。
> >
> > 不知道我理解的对不对？
> > 如果是这样的话，那么需要配置哪个配置项？
> >
> > 谢谢列位
> >
> > [1]
> https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/sql-gateway/rest/#sessions-session_handle-heartbeat
> <
> https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/sql-gateway/rest/#sessions-session_handle-heartbeat
> >
> >
> >
> > Best,
> > TonyChen
> >
>
>
Re: Tumble Window 会带来反压问题吗？
这个描述前后矛盾，写出速度跟不上导致反压，那控制写出速度不是问题更大。不过你不需要考虑这些，因为你控制不了写出速度，只能控制写出时机。 写出时机是由window的结束时间和watermark决定的，所以如果真要解决，需要控制分窗不要固定整点10分钟。 macia kk 于2022年10月20日周四 00:57写道： > > 聚合10分钟再输出，到10分钟的时候由于积攒了很多数据，写出速度跟不上，导致反压，然后上游消费就处理变慢了。 > > 如果控制一下写出的速度，让他慢慢写会不会好一些
Re: 关于Sql Gateway / Rest Endpoint的Session超时时间的配置
找到了，打扰了列位
public static final ConfigOption SQL_GATEWAY_SESSION_IDLE_TIMEOUT =
key("sql-gateway.session.idle-timeout")
.durationType()
.defaultValue(Duration.ofMinutes(10))
.withDescription(
"Timeout interval for closing the session when the
session hasn't been accessed during the interval. "
+ "If setting to zero or negative value, the
session will not be closed.");
Best,
TonyChen
> 2022年10月20日 09:28，TonyChen 写道：
>
> Hi all
>
> 根据 Flink 1.16 官方文档中的 Sql Gateway / Rest Endpoint 部分给出的 API，需要手动维护 session
> 的心跳，否则如果 session 会根据配置的超时时间关闭。
>
> 不知道我理解的对不对？
> 如果是这样的话，那么需要配置哪个配置项？
>
> 谢谢列位
>
> [1]
> https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/sql-gateway/rest/#sessions-session_handle-heartbeat
>
>
>
>
> Best,
> TonyChen
>
关于Sql Gateway / Rest Endpoint的Session超时时间的配置
Hi all 根据 Flink 1.16 官方文档中的 Sql Gateway / Rest Endpoint 部分给出的 API，需要手动维护 session 的心跳，否则如果 session 会根据配置的超时时间关闭。 不知道我理解的对不对？ 如果是这样的话，那么需要配置哪个配置项？ 谢谢列位 [1] https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/sql-gateway/rest/#sessions-session_handle-heartbeat Best, TonyChen
Tumble Window 会带来反压问题吗？
聚合10分钟再输出，到10分钟的时候由于积攒了很多数据，写出速度跟不上，导致反压，然后上游消费就处理变慢了。 如果控制一下写出的速度，让他慢慢写会不会好一些
Re:1.16什么时候release？
Hi, 1.16的动向可以订阅下dev邮箱，最新的动态参考[1]，官方docker版本会在release的时候同一时间发布[1]https://lists.apache.org/thread/b594swf6owhvl3thnfm1v8covwfxjj04 在 2022-10-18 12:12:39，"谭家良" 写道： >hello,all >如题，目前我对1.16的新功能比较感兴趣，想问一下flink1.16什么时候可以完成release？什么时候会有一个可用的官方docker镜像？ > > >| | >谭家良 >| >| >tanjl_w...@126.com >|
Re: 使用flink-operator 成功生成savepoint， 但job 并未取消
savepoint流程
1. 执行savepoint
kubectl patch flinkdeployment/savepoint-job --type=merge -p '{"spec": {"job":
{"state": "suspended", "upgradeMode": "savepoint"}}}’
2. 删除job
kubectl delete flinkdeployment/savepoint-job
3. 根据savepoint启动job
修改flinkdeployment yaml配置，添加如下
spec:
...
job:
initialSavepointPath: savepoint路径
执行kubectl apply -f xxx
> 2022年10月19日 下午3:53，Liting Liu (litiliu) 写道：
>
> hi:
> 我在使用flink-operator 1.2.0 & flink 1.14.3, 使用flink-operator 成功手动生成了savepoint,
> 但savepoint 生成之后, job 并没有自动取消。 希望savepoint 成功之后job 能自动取消。请问是哪里没操作对吗？还是一个已知问题?
> jobStatus:
> jobId: 9de925e9d4a67e04ef6279925450907c
> jobName: sql-te-lab-s334c9
> savepointInfo:
> lastPeriodicSavepointTimestamp: 0
> lastSavepoint:
> location: >-
>
> hdfs://nameservice1/user/pda/savepoint/6077944532288/flink/sql-te/savepoint-9de925-b9ead1c58e7b
> timeStamp: 1666163606426
> triggerType: MANUAL
> savepointHistory:
> - location: >-
>
> hdfs://nameservice1/user/pda/savepoint/6077944532288/flink/sql-te/savepoint-9de925-b9ead1c58e7b
> timeStamp: 1666163606426
> triggerType: MANUAL
> triggerId: ''
> triggerTimestamp: 0
> triggerType: MANUAL
> startTime: '1666161791058'
> state: RUNNING
> updateTime: '1666161828364'
>
使用flink-operator 成功生成savepoint， 但job 并未取消
hi: 我在使用flink-operator 1.2.0 & flink 1.14.3, 使用flink-operator 成功手动生成了savepoint, 但savepoint 生成之后, job 并没有自动取消。 希望savepoint 成功之后job 能自动取消。请问是哪里没操作对吗？还是一个已知问题? jobStatus: jobId: 9de925e9d4a67e04ef6279925450907c jobName: sql-te-lab-s334c9 savepointInfo: lastPeriodicSavepointTimestamp: 0 lastSavepoint: location: >- hdfs://nameservice1/user/pda/savepoint/6077944532288/flink/sql-te/savepoint-9de925-b9ead1c58e7b timeStamp: 1666163606426 triggerType: MANUAL savepointHistory: - location: >- hdfs://nameservice1/user/pda/savepoint/6077944532288/flink/sql-te/savepoint-9de925-b9ead1c58e7b timeStamp: 1666163606426 triggerType: MANUAL triggerId: '' triggerTimestamp: 0 triggerType: MANUAL startTime: '1666161791058' state: RUNNING updateTime: '1666161828364'
Re: Flink SQL 中同时写入多个 sink 时，是否能够保证先后次序
谢谢，有具体的思路嘛？ 比如我需要先写入 jdbc 后再发送消息 是自定义一个 DynamicTableSink ， 里面有 JdbcDynamicTableSink KafkaDynamicSink ， 还是说继承 JdbcDynamicTableSink ， 自定义的类里面再去 new KafkaDynamicSink？ 初看起来没办法知道什么时候 db 写入了。要知道什么时候写入，要去自定义 TableInsertOrUpdateStatementExecutor Zhiwen Sun On Tue, Oct 18, 2022 at 5:56 PM 悟空 wrote: > Hi Zhiwen Sun: > > 自定义Sink 这个思路没问题的，我这边目前就是通过这种方式实现的，只需要自定义一个connector 融合多个sink > connector ，相关options 沿用flink 官方connector的 ，这样方便后续升级。 > 如果有具体相关问题，欢迎讨论。 > > > > > --原始邮件-- > 发件人: > "user-zh" > < > pens...@gmail.com; > 发送时间:2022年10月14日(星期五) 中午11:55 > 收件人:"user-zh" > 主题:Re: Flink SQL 中同时写入多个 sink 时，是否能够保证先后次序 > > > > 好的，谢谢大家，之前也想过这个方案，复用/继承 JdbcDynamicTableSink 相关代码自定义 connector 。 > > Zhiwen Sun > > > > On Fri, Oct 14, 2022 at 10:08 AM yidan zhao wrote: > > 在一个自定义sink中实现先写database，再发消息。 > > > 或者2个都是自定义的，但是不能通过sink，因为sink后就没数据了。通过process，第一个process完成写入database后，后续process发送消息。 > > Shuo Cheng > Flink SQL 自身机制无法保证同一个作业多个 sink 的写入次序。 是否可以考虑从业务逻辑上动手脚，比如写入消息队列 > sink 前加个 > udf > filter, udf 查询 database，满足条件才写入消息队列，当然这种方式对性能可能有影响。 > > On Wed, Oct 12, 2022 at 2:41 PM Zhiwen Sun wrote: > >hi all： > >我们有个场景，需要 Flink SQL 同时写入消息和 database， 后续实时任务消费消息，再次读取 > database， 如果消息先于 >database 写入，这就可能导致读取的数据不正确。 > >是否有办法保证 database 写入后，再发送消息？ > >Zhiwen Sun > >
