Deduplication query

有一个疑问，我对于一个以kafka作为source的表做一个简单的Deduplication query，是没有问题。 当我用一个mysql作为source的表做一个简单的Deduplication query,暂时发现了3个问题 1、程序会输出完现有结果后（即已保存在mysql中的数据）就退出； 2、order by desc 输出的是第一条，asc输出的是最后一条，和官网描述相反； 3、时间莫名其妙加了13小时。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink exception cound not retrieve file from transient blob store

大家好，最近有个程序运行一段时间之后报异常，不知道什么原因引起的，异常如下，由于云桌面环境没法拷贝内容，现在在网上找到一个一样的异常，这个是之前有人发到这个邮件列表的，但是没解决 java.util.concurrent.CompletionException: org.apache.flink.util.FlinkException: Could not retrieve file from transient blob store. at org.apache.flink.runtime.rest.handler.taskmanager.AbstractTaskManag

Re:关于 flinksql 维表的问题

可以设置ttl，但是做不到固定时间 更新 在 2021-05-22 16:08:58，"WeiXubin" <18925434...@163.com> 写道： >我想实现将MySQL中的 A 表数据预先查询出来进行缓存，用于给流表 B 进行 join关联。接下来定时查询并更新 A 表内的缓存数据，请问目前 >FlinkSQL 可以实现吗？ > > > >-- >Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 关于 flinksql 维表的问题

Flink的MySQL connector支持在temporal join中启用 Lookup Cache ，您可以考虑采用这种方式实现，不过这种方式与您描述的操作过程存在一定区别： 1. 维表（即A表）数据不是在启动时全量加载的，而是在运行时动态加载的 2. 当维表中查询不到所需行时，会查询MySQL数据库 3. 数据过期或刷新是基于行的，而不是整个表 如果需要完全实现您所描述的

avro.ComplexPayloadAvro

各位好，请问下， https://github.com/apache/flink/blob/master/flink-end-to-end-tests/flink-datastream-allround-test/src/main/java/org/apache/flink/streaming/tests/DataStreamAllroundTestProgram.java 在该类下的 /flink-end-to-end-tests/flink-datastream-allround-test/src/main/java/org/apache/flink/streaming/tests/

Re:Re:Re:Re:flink sql写mysql中文乱码问题

数据库字符编码设置如下 character_set_client,utf8mb4 character_set_connection,utf8mb4 character_set_database,utf8mb4 character_set_filesystem,binary character_set_results,utf8mb4 character_set_server,utf8 character_set_system,utf8 character_sets_dir,/u01/mysql57_20200229/share/charsets/ 客户端连接串是 jdbc:mysql

flink sql cdc并行度问题

flink sql作业：消费mysql binlog将数据同步到 mongodb 问题： 1. mysql-cdc connector只能设置成一个并行度吗？ 2. 可以增大mongodb的sink并行度吗？可以的话，要如何设置？它保证主键相同的记录会发到同一个分区sink吗？