或许可以考虑在设计平台时将流任务和批任务做成不同的入口。
Best,
Guojun
在 2022-10-28 18:14:33，"junjie.m...@goupwith.com" 写道：
>这就是写代码和平台化的需求不同了，对于平台化需要能判断出写的sql代码块最终生成的管道是有界还是无界，对于有界需要对外提供restful
>api由外部调度系统定时调起，而无界管道可以直接运行长期保持。
>当然还有很多场景下需要知道管道的有界和无界，这里我不一一例举了。
>
>
>发件人： weijie guo
>发送时间： 2022-10-28 18:01
>收件人：
嗯，问题1我主要是在想，这种复杂的连接关系，会不会增大Sending the partition request to '...'
failed；这种异常的概率。
问题2，你提到的下载jar是指任务jar还是flink的jar。flink的jar不需要，因为我是standalone集群。
任务jar的话，这出现另外一个问题，如果一个TM分配到120*10=1200个task，那么任务jar不会分发这么多次吧。
weijie guo 于2022年10月31日周一 12:54写道：
>
> 你好，请问使用的flink版本是多少？
> 1.15的话TM间是有connection
Hi,
Leonard 提到的 -i 参数可以满足你的需求。在初始化SQL文件中可以SET/RESET属性，CREATE/DROP等。
更多信息请查看：
https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/sqlclient/#sql-client-startup-options
ok, thx!
Leonard Xu 于2022年10月31日周一 17:01写道：
>
> > 2022年10月31日 下午4:57，林影 写道：
> >
> > Hi, Leonard.
> >
> > 我也有类似的疑惑。
> >
> > 有个线上的Flink Application之前配置的serverid 是
> > 6416-6418，并行度之前是3，后来缩容的时候并行度改成2了，在这种场景下serverid的范围需要进行调整吗？
>
> 缩容并不需要的，你的case里只会用6416 和
> 2022年10月31日 下午4:57，林影 写道：
>
> Hi, Leonard.
>
> 我也有类似的疑惑。
>
> 有个线上的Flink Application之前配置的serverid 是
> 6416-6418，并行度之前是3，后来缩容的时候并行度改成2了，在这种场景下serverid的范围需要进行调整吗？
缩容并不需要的，你的case里只会用6416 和 6417这两个id，只有扩容需要考虑，并且扩容时如果没有夸大范围，目前是会报错提示的。
祝好，
Leonard
>
> casel.chen 于2022年10月31日周一 16:50写道：
>
> server-id配置范围对于后面修改并发度是不是不太友好？每改一次并发度就得重新调整server-id范围么？还是说先配置一个较大的server-id范围，在在这个较大的范围内调整并发度？
作业起来后修改并发是需要调整的，建议这块可以放到平台里去设计，这样可以让写sql的用户知道with参数里参数的作用。
祝好，
Leonard
>
>
>
>
>
>
>
>
>
>
> 在 2022-10-31 16:04:32，"Leonard Xu" 写道：
>> Hi,
>>
>>
Hi, Leonard.
我也有类似的疑惑。
有个线上的Flink Application之前配置的serverid 是
6416-6418，并行度之前是3，后来缩容的时候并行度改成2了，在这种场景下serverid的范围需要进行调整吗？
casel.chen 于2022年10月31日周一 16:50写道：
>
>
>
>
> server-id配置范围对于后面修改并发度是不是不太友好？每改一次并发度就得重新调整server-id范围么？还是说先配置一个较大的server-id范围，在在这个较大的范围内调整并发度？
>
>
>
>
>
>
>
>
>
>
>
> 在
Hi,
我记得有个-i 参数可以指定初始化sql文件，你贴你的初始化sql在文件里加进去就可以了。
祝好，
Leonard
> 2022年10月31日 下午4:52，casel.chen 写道：
>
> flink新版本已经找不到sql-clients-default.yaml文件了，那么之前配置的那些预置catalogs建议在哪里定义呢？通过初始化sql么？
flink新版本已经找不到sql-clients-default.yaml文件了，那么之前配置的那些预置catalogs建议在哪里定义呢？通过初始化sql么？
server-id配置范围对于后面修改并发度是不是不太友好？每改一次并发度就得重新调整server-id范围么？还是说先配置一个较大的server-id范围，在在这个较大的范围内调整并发度？
在 2022-10-31 16:04:32，"Leonard Xu" 写道：
>Hi,
>
>你5张表对应的source并发是多少呀？如果是多并发需要把server-id设置成一个范围，范围和并发数匹配，比如4个并发，应该类似’1101-1104’.
>另外 server-id 是全局唯一的，你需要确保下你使用的server-id
图上看不出有什么异常，可以看一下 task manager 日志
Best regards
左岩 <13520871...@163.com> 于2022年10月31日周一 11:34写道：
>
>
> 还是没有消费到，麻烦查看附件中的图片
>
>
>
>
>
> 在 2022-10-31 10:03:05，"guozhi mang" 写道：
> >我想你的格式错了
> >下面我修改了一下
> >tenv.executeSql(
> >" create table t_upsert_kafka( "
> >+ "userid int ,
Hi,
你5张表对应的source并发是多少呀？如果是多并发需要把server-id设置成一个范围，范围和并发数匹配，比如4个并发，应该类似’1101-1104’.
另外 server-id 是全局唯一的，你需要确保下你使用的server-id 和其他作业、其他同步工具都不冲突才可以。
Best,
Leonard
> 2022年10月31日 下午4:00，Fei Han 写道：
>
> 大家好！
> 现在我在 Flink CDC2.2.1设置了server id。有5张表且server id的范围都不同，通过Flink CDC
>
大家好！
现在我在 Flink CDC2.2.1设置了server id。有5张表且server id的范围都不同，通过Flink CDC
打宽表。但是在任务跑一段时间后，还是出现如下报错：
Caused by: com.github.shyiko.mysql.binlog.network.ServerException: A slave with
the same server_uuid/server_id as this slave has connected to the master;
请教下各位，还有什么解决方案没有
13 matches
Mail list logo
