PROCTIME()函数语义问题

2021-01-17 Thread smailxie
如果PROMCTIME()函数的语义指的是机器处理record的本地时间,那为什么flink要取UTC时区的时间? -- Name:谢波 Mobile:13764228893

Re:flink1.11 mysql cdc checkpoint 失败后程序自动恢复,同步数据出现重复

2021-01-03 Thread smailxie
在程序自动重启恢复的时候,binlog可能被MySQL服务器删除了,导致debeziume connector读取了新的快照。 参考连接:https://debezium.io/documentation/reference/1.3/connectors/mysql.html#mysql-purges-binlog-files_debezium -- Name:谢波 Mobile:13764228893 在 2021-01-04 10:38:30,"lingchanhu" 写道: >sourcr:mysql-cdc

flink sql 消费kafka,断开连接

2020-12-10 Thread smailxie
有人遇到过这种错吗?kafka一直连不上。但是报错的只是某个topic,其他topic是可以的。 2020-12-1110:51:04,446INFO org.apache.kafka.clients.FetchSessionHandler [] - [Consumer clientId=consumer-v2.realtime.sales.offline.group-23, groupId=v2.realtime.sales.offline.group] Error sending fetch request (sessionId=INVALID,

flink-1.11.2 rocksdb when trigger savepoint job fail and restart

2020-12-10 Thread smailxie
我有一个sql job,跑的任务是双流jion,状态保留12 – 24小时,checkpoint是正常的,状态大小在300M到4G之间,当手动触发savepoint时,容器会被杀死,原因是超出内存限制(申请的内存是单slot 5G)。 我想问的是,rocksdb,在savepiont时,是把所有的磁盘状态读入内存,然后再全量快照? 如果是这样,后续版本有没有优化?不然每次磁盘状态超过托管内存,一手动savepoint,job就会被杀死。 下面是报错信息。 2020-12-10 09:18:50 java.lang.Exception: Container