subject:"\?\?\?\?\: flink1.11\?\?\?\?\?\?\?\?\?\?\?\?\?\?\?\?\?\?mysql\?\?\?\?\?\?\?\?"

flink1.11 mysql cdc checkpoint 失败后程序自动恢复，同步数据出现重复

2021-01-03 文章 lingchanhu

sourcr：mysql-cdc sink：elasticsearch 问题描述：从mysql中同步表数据至elasticsearch后，进行新增再删除的某条数据出现问题，导致sink失败（没加primary key）。checkpoint失败，程序自动恢复重启后，checkpoint 成功，但是elasticsearch 中的数据是mysql 表中的两倍，出现重复同步情况。程序的自动恢复不应该是从当前checkpoint 中记录的binlog 位置再同步么？为什么会再重头同步一次呢？（ddl 中写死了server-id, " 'table-name

Re: flink1.11 mysql 分页查询

2020-08-17 文章 Leonard Xu

Hi 可以跟下这个issue[1], 在1.12会支持用于自定义query Best Leonard https://issues.apache.org/jira/browse/FLINK-17826 > 在 2020年8月18日，09:50，china_tao 写道： > > 那肯定不行啊，我mysql表里面内容很多。FlinkSQL有没有直接分页查询的方法么？望赐教。类似于spark > dataframe中的dbtable，万分感谢 > > > > -- > Sent

Re: flink1.11 mysql 分页查询

2020-08-17 文章 china_tao

那肯定不行啊，我mysql表里面内容很多。FlinkSQL有没有直接分页查询的方法么？望赐教。类似于spark dataframe中的dbtable，万分感谢 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink1.11 mysql 分页查询

2020-08-17 文章 Leonard Xu

Hi > 在 2020年8月17日，20:46，china_tao 写道： > > 您好，请教一个问题，flink sql 读取mysql如何分页查询。 > 在spark中，dataframe可以通过dbtable，传入分页查询的语句。 > val resultDF = session.read.format("jdbc") > .option("url",jdbcUrl) > .option("dbtable" , selectSql ) > .option("user",user) > .options(writeOpts) > .

flink1.11 mysql 分页查询

2020-08-17 文章 china_tao

您好，请教一个问题，flink sql 读取mysql如何分页查询。在spark中，dataframe可以通过dbtable，传入分页查询的语句。val resultDF = session.read.format("jdbc") .option("url",jdbcUrl) .option("dbtable" , selectSql ) .option("user",user) .options(writeOpts) .option("password",password).load()在flink中，通过connector，会读取全表么？

flink1.11 mysql 分页查询

2020-08-17 文章 china_tao

您好，请教一个问题，flink sql 读取mysql如何分页查询。在spark中，dataframe可以通过dbtable，传入分页查询的语句。 val resultDF = session.read.format("jdbc") .option("url",jdbcUrl) .option("dbtable" , selectSql ) .option("user",user) .options(writeOpts) .option("password",password).load() 在flink中，通过connecto

flink1.11 mysql 分页查询

2020-08-17 文章 china_tao

您好，请教一个问题，flink sql 读取mysql如何分页查询。在spark中，dataframe可以通过dbtable，传入分页查询的语句。 val resultDF = session.read.format("jdbc") .option("url",jdbcUrl) .option("dbtable" , selectSql ) .option("user",user) .options(writeOpts) .option("password",password).load() 在flink中，通过connecto