Re:Re: Flink CDC2.2.1 设置server id范围
如果一张表被多个不同flink cdc作业消费的话岂不是要记住之前分配过哪些serverId? 如果作业包含了重复的serverId会造成消费出错吧？ 如果flink sql作业不指定serverId的话，随机分配也有可能产生重复serverId吗？ 这类serverId信息是不是在服务端维护更合理？ 在 2022-10-31 17:18:41，"林影" 写道： >ok, thx! > >Leonard Xu 于2022年10月31日周一 17:01写道： > >> >> > 2022年10月31日 下午4:57，林影 写道： >> > >> > Hi, Leonard. >> > >> > 我也有类似的疑惑。 >> > >> > 有个线上的Flink Application之前配置的serverid 是 >> > 6416-6418，并行度之前是3，后来缩容的时候并行度改成2了，在这种场景下serverid的范围需要进行调整吗？ >> >> 缩容并不需要的，你的case里只会用6416 和 6417这两个id，只有扩容需要考虑，并且扩容时如果没有夸大范围，目前是会报错提示的。 >> >> 祝好， >> Leonard >> >> >> >> >> > >> > casel.chen 于2022年10月31日周一 16:50写道： >> > >> >> >> >> >> >> >> >> >> >> >> server-id配置范围对于后面修改并发度是不是不太友好？每改一次并发度就得重新调整server-id范围么？还是说先配置一个较大的server-id范围，在在这个较大的范围内调整并发度？ >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> 在 2022-10-31 16:04:32，"Leonard Xu" 写道： >> >>> Hi, >> >>> >> >> >> >>> >> 你5张表对应的source并发是多少呀？如果是多并发需要把server-id设置成一个范围，范围和并发数匹配，比如4个并发，应该类似’1101-1104’. >> >>> 另外 server-id 是全局唯一的，你需要确保下你使用的server-id 和其他作业、其他同步工具都不冲突才可以。 >> >>> >> >>> >> >>> Best, >> >>> Leonard >> >>> >> >>> >> 2022年10月31日 下午4:00，Fei Han 写道： >> >> 大家好！ >> 现在我在 Flink CDC2.2.1设置了server id。有5张表且server id的范围都不同，通过Flink CDC >> >> 打宽表。但是在任务跑一段时间后，还是出现如下报错： >> Caused by: com.github.shyiko.mysql.binlog.network.ServerException: A >> >> slave with the same server_uuid/server_id as this slave has connected to >> >> the master; >> 请教下各位，还有什么解决方案没有 >> >>> >> >> >> >>
Re: Flink CDC2.2.1 设置server id范围
ok, thx! Leonard Xu 于2022年10月31日周一 17:01写道： > > > 2022年10月31日 下午4:57，林影 写道： > > > > Hi, Leonard. > > > > 我也有类似的疑惑。 > > > > 有个线上的Flink Application之前配置的serverid 是 > > 6416-6418，并行度之前是3，后来缩容的时候并行度改成2了，在这种场景下serverid的范围需要进行调整吗？ > > 缩容并不需要的，你的case里只会用6416 和 6417这两个id，只有扩容需要考虑，并且扩容时如果没有夸大范围，目前是会报错提示的。 > > 祝好， > Leonard > > > > > > > > casel.chen 于2022年10月31日周一 16:50写道： > > > >> > >> > >> > >> > >> > server-id配置范围对于后面修改并发度是不是不太友好？每改一次并发度就得重新调整server-id范围么？还是说先配置一个较大的server-id范围，在在这个较大的范围内调整并发度？ > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> 在 2022-10-31 16:04:32，"Leonard Xu" 写道： > >>> Hi, > >>> > >> > >>> > 你5张表对应的source并发是多少呀？如果是多并发需要把server-id设置成一个范围，范围和并发数匹配，比如4个并发，应该类似’1101-1104’. > >>> 另外 server-id 是全局唯一的，你需要确保下你使用的server-id 和其他作业、其他同步工具都不冲突才可以。 > >>> > >>> > >>> Best, > >>> Leonard > >>> > >>> > 2022年10月31日 下午4:00，Fei Han 写道： > > 大家好！ > 现在我在 Flink CDC2.2.1设置了server id。有5张表且server id的范围都不同，通过Flink CDC > >> 打宽表。但是在任务跑一段时间后，还是出现如下报错： > Caused by: com.github.shyiko.mysql.binlog.network.ServerException: A > >> slave with the same server_uuid/server_id as this slave has connected to > >> the master; > 请教下各位，还有什么解决方案没有 > >>> > >> > >
Re: Flink CDC2.2.1 设置server id范围
> 2022年10月31日 下午4:57，林影 写道： > > Hi, Leonard. > > 我也有类似的疑惑。 > > 有个线上的Flink Application之前配置的serverid 是 > 6416-6418，并行度之前是3，后来缩容的时候并行度改成2了，在这种场景下serverid的范围需要进行调整吗？ 缩容并不需要的，你的case里只会用6416 和 6417这两个id，只有扩容需要考虑，并且扩容时如果没有夸大范围，目前是会报错提示的。 祝好， Leonard > > casel.chen 于2022年10月31日周一 16:50写道： > >> >> >> >> >> server-id配置范围对于后面修改并发度是不是不太友好？每改一次并发度就得重新调整server-id范围么？还是说先配置一个较大的server-id范围，在在这个较大的范围内调整并发度？ >> >> >> >> >> >> >> >> >> >> >> >> 在 2022-10-31 16:04:32，"Leonard Xu" 写道： >>> Hi, >>> >> >>> 你5张表对应的source并发是多少呀？如果是多并发需要把server-id设置成一个范围，范围和并发数匹配，比如4个并发，应该类似’1101-1104’. >>> 另外 server-id 是全局唯一的，你需要确保下你使用的server-id 和其他作业、其他同步工具都不冲突才可以。 >>> >>> >>> Best, >>> Leonard >>> >>> 2022年10月31日 下午4:00，Fei Han 写道： 大家好！ 现在我在 Flink CDC2.2.1设置了server id。有5张表且server id的范围都不同，通过Flink CDC >> 打宽表。但是在任务跑一段时间后，还是出现如下报错： Caused by: com.github.shyiko.mysql.binlog.network.ServerException: A >> slave with the same server_uuid/server_id as this slave has connected to >> the master; 请教下各位，还有什么解决方案没有 >>> >>
Re: Flink CDC2.2.1 设置server id范围
> server-id配置范围对于后面修改并发度是不是不太友好？每改一次并发度就得重新调整server-id范围么？还是说先配置一个较大的server-id范围，在在这个较大的范围内调整并发度？ 作业起来后修改并发是需要调整的，建议这块可以放到平台里去设计，这样可以让写sql的用户知道with参数里参数的作用。 祝好， Leonard > > > > > > > > > > > 在 2022-10-31 16:04:32，"Leonard Xu" 写道： >> Hi, >> >> 你5张表对应的source并发是多少呀？如果是多并发需要把server-id设置成一个范围，范围和并发数匹配，比如4个并发，应该类似’1101-1104’. >> 另外 server-id 是全局唯一的，你需要确保下你使用的server-id 和其他作业、其他同步工具都不冲突才可以。 >> >> >> Best, >> Leonard >> >> >>> 2022年10月31日 下午4:00，Fei Han 写道： >>> >>> 大家好！ >>> 现在我在 Flink CDC2.2.1设置了server id。有5张表且server id的范围都不同，通过Flink CDC >>> 打宽表。但是在任务跑一段时间后，还是出现如下报错： >>> Caused by: com.github.shyiko.mysql.binlog.network.ServerException: A slave >>> with the same server_uuid/server_id as this slave has connected to the >>> master; >>> 请教下各位，还有什么解决方案没有 >>
Re: Re: Flink CDC2.2.1 设置server id范围
Hi, Leonard. 我也有类似的疑惑。 有个线上的Flink Application之前配置的serverid 是 6416-6418，并行度之前是3，后来缩容的时候并行度改成2了，在这种场景下serverid的范围需要进行调整吗？ casel.chen 于2022年10月31日周一 16:50写道： > > > > > server-id配置范围对于后面修改并发度是不是不太友好？每改一次并发度就得重新调整server-id范围么？还是说先配置一个较大的server-id范围，在在这个较大的范围内调整并发度？ > > > > > > > > > > > > 在 2022-10-31 16:04:32，"Leonard Xu" 写道： > >Hi, > > > > >你5张表对应的source并发是多少呀？如果是多并发需要把server-id设置成一个范围，范围和并发数匹配，比如4个并发，应该类似’1101-1104’. > >另外 server-id 是全局唯一的，你需要确保下你使用的server-id 和其他作业、其他同步工具都不冲突才可以。 > > > > > >Best, > >Leonard > > > > > >> 2022年10月31日 下午4:00，Fei Han 写道： > >> > >> 大家好！ > >> 现在我在 Flink CDC2.2.1设置了server id。有5张表且server id的范围都不同，通过Flink CDC > 打宽表。但是在任务跑一段时间后，还是出现如下报错： > >> Caused by: com.github.shyiko.mysql.binlog.network.ServerException: A > slave with the same server_uuid/server_id as this slave has connected to > the master; > >> 请教下各位，还有什么解决方案没有 > > >
Re:Re: Flink CDC2.2.1 设置server id范围
server-id配置范围对于后面修改并发度是不是不太友好？每改一次并发度就得重新调整server-id范围么？还是说先配置一个较大的server-id范围，在在这个较大的范围内调整并发度？ 在 2022-10-31 16:04:32，"Leonard Xu" 写道： >Hi, > >你5张表对应的source并发是多少呀？如果是多并发需要把server-id设置成一个范围，范围和并发数匹配，比如4个并发，应该类似’1101-1104’. >另外 server-id 是全局唯一的，你需要确保下你使用的server-id 和其他作业、其他同步工具都不冲突才可以。 > > >Best, >Leonard > > >> 2022年10月31日 下午4:00，Fei Han 写道： >> >> 大家好！ >> 现在我在 Flink CDC2.2.1设置了server id。有5张表且server id的范围都不同，通过Flink CDC >> 打宽表。但是在任务跑一段时间后，还是出现如下报错： >> Caused by: com.github.shyiko.mysql.binlog.network.ServerException: A slave >> with the same server_uuid/server_id as this slave has connected to the >> master; >> 请教下各位，还有什么解决方案没有 >
Re: Flink CDC2.2.1 设置server id范围
Hi, 你5张表对应的source并发是多少呀？如果是多并发需要把server-id设置成一个范围，范围和并发数匹配，比如4个并发，应该类似’1101-1104’. 另外 server-id 是全局唯一的，你需要确保下你使用的server-id 和其他作业、其他同步工具都不冲突才可以。 Best, Leonard > 2022年10月31日 下午4:00，Fei Han 写道： > > 大家好！ > 现在我在 Flink CDC2.2.1设置了server id。有5张表且server id的范围都不同，通过Flink CDC > 打宽表。但是在任务跑一段时间后，还是出现如下报错： > Caused by: com.github.shyiko.mysql.binlog.network.ServerException: A slave > with the same server_uuid/server_id as this slave has connected to the master; > 请教下各位，还有什么解决方案没有
Flink CDC2.2.1 设置server id范围
大家好！ 现在我在 Flink CDC2.2.1设置了server id。有5张表且server id的范围都不同，通过Flink CDC 打宽表。但是在任务跑一段时间后，还是出现如下报错： Caused by: com.github.shyiko.mysql.binlog.network.ServerException: A slave with the same server_uuid/server_id as this slave has connected to the master; 请教下各位，还有什么解决方案没有
