Re: Flink 1.10 的 JDBCUpsertOutputFormat flush方法的重试机制无法生效

2020-03-24 文章 Leonard Xu
Hi, shangwen 这应该是AppendOnlyWriter的一个bug[1], 在1.10.1/1.11-SNAPSHOT(master)中已经修复. 用1.10.1或master分支就好了,目前1.10.1还未发布,我了解到的1.10.1社区正在准备发布中。 如果急需修复,你可以参考1.10.1分支的代码。 Best, Leonard [1]https://issues.apache.org/jira/browse/FLINK-16281

回复: Flink 1.10 的 JDBCUpsertOutputFormat flush方法的重试机制无法生效

2020-03-23 文章 shangwen
好的,我会调整下JIRA描述并提交代码,感谢大家回复~ --原始邮件-- 发件人:"Jingsong Li"https://issues.apache.org/jira/browse/FLINK-16281 Best, Jingsong Lee On Mon, Mar 23, 2020 at 2:34 PM lucas.wu http://shipilev.net/blog/2016/arrays-wisdom-ancients/ gt

回复: 回复:Flink 1.10 的 JDBCUpsertOutputFormat flush方法的重试机制无法生效

2020-03-23 文章 Weike Dong
Hi, 如果每用一次都 open close 的话,吞吐量会下降很多的。建议还是遇到问题时再重连好一些。 Best, Weike -邮件原件- 发件人: 出发 <573693...@qq.com> 发送时间: 2020年3月23日 下午 2:37 收件人: user-zh 主题: 回复:Flink 1.10 的 JDBCUpsertOutputFormat flush方法的重试机制无法生效 可以建议在计算层那里,获取连接,用完之后手动close,open只是负责初始化连接池。

回复:Flink 1.10 的 JDBCUpsertOutputFormat flush方法的重试机制无法生效

2020-03-23 文章 出发
可以建议在计算层那里,获取连接,用完之后手动close,open只是负责初始化连接池。 --原始邮件-- 发件人:"lucas.wu"http://shipilev.net/blog/2016/arrays-wisdom-ancients/ Query[] queries = batchStatements.toArray(new Query[0]); ParameterList[] parameterLists = batchParameters.toArray(new ParameterList[0]);

Re: Flink 1.10 的 JDBCUpsertOutputFormat flush方法的重试机制无法生效

2020-03-23 文章 Jingsong Li
,这里的重试如果加上判断,如果connection被关闭,则进行重新尝试连接,直到三次都异常才退出,这样会不会更好点。 > > > > > --原始邮件-- > 发件人:"Jingsong Li" 发送时间:2020年3月23日(星期一) 下午3:19 > 收件人:"user-zh" > 主题:Re: Flink 1.10 的 JDBCUpsertOutputFormat flush方法的重试机制无法生效 > >

回复: Flink 1.10 的 JDBCUpsertOutputFormat flush方法的重试机制无法生效

2020-03-23 文章 shangwen
hi,我简单的看了下你提供的issue,这个应该可以解决如果connection被关闭,第二次执行被误认为正常的问题,另外还有一个问题是,假设我们的connection被关闭了,即使你重试三次,好像也是不能正常的执行,这里的重试如果加上判断,如果connection被关闭,则进行重新尝试连接,直到三次都异常才退出,这样会不会更好点。 --原始邮件-- 发件人:"Jingsong Li"https://issues.apache.org/jira/browse/FLINK-16281 Best, Jingsong

Re: Flink 1.10 的 JDBCUpsertOutputFormat flush方法的重试机制无法生效

2020-03-23 文章 Jingsong Li
间:2020年3月23日(周一) 11:05 > 主题:Flink 1.10 的 JDBCUpsertOutputFormat flush方法的重试机制无法生效 > > > 我们在测试环境测试JDBC写入postgresql的场景,用tcpkill模拟链接被关闭的情况,测试对异常的兼容性,我们发现一直打印类似的日志 > 2020-03-20 21:16:21.247 [jdbc-upsert-output-format-thread-1] ERROR > org.apache.flink.api.java.io.jdbc.JDBCUpsertOutputF

回复:Flink 1.10 的 JDBCUpsertOutputFormat flush方法的重试机制无法生效

2020-03-23 文章 lucas.wu
收件人:user-zhuser...@flink.apache.org 抄送:kevin.shangwenkevin.shang...@gmail.com 发送时间:2020年3月23日(周一) 11:05 主题:Flink 1.10 的 JDBCUpsertOutputFormat flush方法的重试机制无法生效 我们在测试环境测试JDBC写入postgresql的场景,用tcpkill模拟链接被关闭的情况,测试对异常的兼容性,我们发现一直打印类似的日志 2020-03-20 21:16:21.247 [jdbc-upsert-output-format-thread-1