JDBC connector 写入 mysql 每秒大约只有 200KB 是正常的吗

2020-08-20 Thread LittleFall
这是我的代码,它仅仅把数据从 datagen source 写入到了 jdbc sink. ```java package main; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.table.api.bridge.java.StreamTableEnvironment; import org.apache.flink.table.api.EnvironmentSettings; public class Main {

Re: JDBC connector 写入 mysql 每秒大约只有 200KB 是正常的吗

2020-08-20 Thread Benchao Li
每秒1多条不算少了吧,如果还想再高一些,可以提高一下sink.buffer-flush.max-rows配置,默认是100 LittleFall <1578166...@qq.com> 于2020年8月20日周四 下午7:56写道: > 这是我的代码,它仅仅把数据从 datagen source 写入到了 jdbc sink. > > ```java > package main; > > import > org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; > import org.apa

Re: JDBC connector 写入 mysql 每秒大约只有 200KB 是正常的吗

2020-08-20 Thread LittleFall
谢谢你的回复,它确实帮到了我。 我找到了另一个问题: rewriteBatchedStatements=true 应该是驼峰式,而我之前用了全小写,以至于按批写入不生效。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: JDBC connector 写入 mysql 每秒大约只有 200KB 是正常的吗

2020-08-20 Thread 赵一旦
jdbc connector是1.11的吗,我之前还是得自己封装,搞好复杂。batch+timeout+retry+metric等机制。 引领 于2020年8月21日周五 上午9:41写道: > 哈喽,你现在写入效率是否增加,我也遇到了,感觉写入速度比较低的问题 > > > | | > 引领 > | > | > yrx73...@163.com > | > 签名由网易邮箱大师定制 > > > 在2020年08月20日 22:52,LittleFall<1578166...@qq.com> 写道: > 谢谢你的回复,它确实帮到了我。 > > 我找到了另一个问题: > > rewriteB

回复: JDBC connector 写入 mysql 每秒大约只有 200KB 是正常的吗

2020-08-20 Thread 引领
哈喽,你现在写入效率是否增加,我也遇到了,感觉写入速度比较低的问题 | | 引领 | | yrx73...@163.com | 签名由网易邮箱大师定制 在2020年08月20日 22:52,LittleFall<1578166...@qq.com> 写道: 谢谢你的回复,它确实帮到了我。 我找到了另一个问题: rewriteBatchedStatements=true 应该是驼峰式,而我之前用了全小写,以至于按批写入不生效。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Re: JDBC connector 写入 mysql 每秒大约只有 200KB 是正常的吗

2020-08-20 Thread 刘大龙
赞,是的,MySQL单机每秒能写入1条应该很多了,我之前做过一个业务需求,直接用Jdbc,而不是Flink jdbc connector写,按每批5000条数据,测下来性能也差不多1条,这个应该是MYSQL的瓶颈,而不在connector这边 > -原始邮件- > 发件人: "Benchao Li" > 发送时间: 2020-08-20 22:11:53 (星期四) > 收件人: user-zh > 抄送: > 主题: Re: JDBC connector 写入 mysql 每秒大约只有 2