这是我的代码,它仅仅把数据从 datagen source 写入到了 jdbc sink.
```java
package main;
import
org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;
import org.apache.flink.table.api.EnvironmentSettings;
public class Main {
每秒1多条不算少了吧,如果还想再高一些,可以提高一下sink.buffer-flush.max-rows配置,默认是100
LittleFall <1578166...@qq.com> 于2020年8月20日周四 下午7:56写道:
> 这是我的代码,它仅仅把数据从 datagen source 写入到了 jdbc sink.
>
> ```java
> package main;
>
> import
> org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
> import org.apa
谢谢你的回复,它确实帮到了我。
我找到了另一个问题:
rewriteBatchedStatements=true
应该是驼峰式,而我之前用了全小写,以至于按批写入不生效。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
jdbc connector是1.11的吗,我之前还是得自己封装,搞好复杂。batch+timeout+retry+metric等机制。
引领 于2020年8月21日周五 上午9:41写道:
> 哈喽,你现在写入效率是否增加,我也遇到了,感觉写入速度比较低的问题
>
>
> | |
> 引领
> |
> |
> yrx73...@163.com
> |
> 签名由网易邮箱大师定制
>
>
> 在2020年08月20日 22:52,LittleFall<1578166...@qq.com> 写道:
> 谢谢你的回复,它确实帮到了我。
>
> 我找到了另一个问题:
>
> rewriteB
哈喽,你现在写入效率是否增加,我也遇到了,感觉写入速度比较低的问题
| |
引领
|
|
yrx73...@163.com
|
签名由网易邮箱大师定制
在2020年08月20日 22:52,LittleFall<1578166...@qq.com> 写道:
谢谢你的回复,它确实帮到了我。
我找到了另一个问题:
rewriteBatchedStatements=true
应该是驼峰式,而我之前用了全小写,以至于按批写入不生效。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
赞,是的,MySQL单机每秒能写入1条应该很多了,我之前做过一个业务需求,直接用Jdbc,而不是Flink jdbc
connector写,按每批5000条数据,测下来性能也差不多1条,这个应该是MYSQL的瓶颈,而不在connector这边
> -原始邮件-
> 发件人: "Benchao Li"
> 发送时间: 2020-08-20 22:11:53 (星期四)
> 收件人: user-zh
> 抄送:
> 主题: Re: JDBC connector 写入 mysql 每秒大约只有 2