Flink 1.12 Sql设置job name

2020-12-30 Thread HideOnBushKi
Hi 大佬们: 请问怎么在1.12Flink sql 中设置job name呢 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Flink 1.12 Sql设置job name

2020-12-30 Thread HideOnBushKi
Hi 大佬们: 请教两个问题 tEnv.executeSql("sql1") tEnv.executeSql("sql2") 1.executeSql中,两个作业似乎被分配到了不同的yarn appId中运行,如果这两个作业共同依赖一个kakfa table,这会影响到消费位置吗?还是说 这两个appID其实是一个作业 2.怎么在1.12 SQL中设置 job name呢 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 请教如何在flink job 里自定义kafka source function 及时提交offset

2020-12-31 Thread HideOnBushKi
我猜测,要是可以在invoke的时候,拿到sink当前对应的barriar的话,从这个barriar取出offset,或者在richSinkFunction时,调用getRuntimeContext()上下文对象,从这个上下文中,拿到当前的task metrics,从而取出task的offset -- Sent from: http://apache-flink.147419.n8.nabble.com/

如何优雅的开发Flink SQL作业

2021-01-03 Thread HideOnBushKi
大佬们好,现在业务需求多,生产作业开始变得繁重,请教3个生产业务场景,主要是想看下各位有什么优雅的思路 1.kakfa table和group_ID应该怎么去维护呢?一个业务一张表吗? 2.如何做到复用表的效果? 3.如果新增一个业务需求,用到之前的一张kafka table,似乎要在一个程序里。执行多次 executeSql("sql 1")才不会乱序,但是这样的话,程序的耦合度会很高,请问该怎么优雅的处理这些场景呢? -- Sent from: http://apache-flink.147419.n8.nabble.com/