Re:??????Flink mysqlCDC ,????jdbc sink ??mysql ????????

?? eventtime?? ?? 2020-10-24 14:15:43??"pezynd" <284616...@qq.com> ?? >??Timestamp??Watermark > > > > >---- >??: >

Re:Re:Flink mysqlCDC ,然后jdbc sink 到mysql 乱序问题

这边源数据 就是用cdc读取mysql。cdc不会保证有序吗 ？ Forword 这个是通过什么方式保证的？ 谢谢你的回复 在 2020-10-26 05:37:45，"hailongwang" <18868816...@163.com> 写道： >Hi air， >保证内部是 Forword 试试，因为内部是 Hash 或者 Rebalance 的话，就会出现相同的数据的操作记录被不同的并发处理，这样到 sink >时候就会出现乱序的可能。 > > >Best, >Hailong Wang. > > > > >在 2020-10-23 13:21:19，"air23" 写道：

Re: 请问flink1.11版本如何设置checkpoint的默认保存个数

知道问题所在了,那个在配置文件中设置state.checkpoints.num-retained是生效的 在webui,任务checkpoint的history中总是显示10条最新的记录(我以为就是一定是保留了最新的10份数据), 但是其实真正持久化有数据的数目是根据state.checkpoints.num-retained的值 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: pyflink问题求助（入门级）

Hi, 你似乎没有把你的3个图给成功贴上来。如果是之前你抛出来的那个代码和错误的话，就像hailong解释的，是你的读入的csv数据源的数据的第一列数据有的不是Long导致的，你需要检查一下你的数据内容。还有你那个arrow的batchsize设置成2也太小了点，默认情况下是1，其实大部分情况你是不需要去设置这个值的。 ， Best, Xingbo

pyflink??????????????????

pyflink?? 1.png??2.jpg??3.png??

关于flink1.11 新版本使用dataStreamEnv.execute 和tableEnv.execute出现No operators defined in streaming topology. Cannot generate StreamGraph.的问题

关于flink1.11 新版本使用dataStreamEnv.execute 和tableEnv.execute出现No operators defined in streaming topology. Cannot generate StreamGraph.的问题 -| 程序内部使用Table API同时也有 Table转为 Datastream的场景。 -|程序内部有使用flinksql 读写kafka，从而执行sqlUpdate 尝试使用新版api 只使用tableEnv.executeSql 从而不加dataStreamEnv.execute

关于flink1.11 新版本使用dataStreamEnv.execute 和tableEnv.execute出现No operators defined in streaming topology. Cannot generate StreamGraph.的问题

关于flink1.11 新版本使用dataStreamEnv.execute 和tableEnv.execute出现No operators defined in streaming topology. Cannot generate StreamGraph.的问题 -| 程序内部使用Table API同时也有 Table转为 Datastream的场景。 -|程序内部有使用flinksql 读写kafka，从而执行 sqlUpdate 尝试使用新版api 只使用tableEnv.executeSql 从而不加 dataStreamEnv.execute

回复：window和timeWindow的区别

谢谢~ 我自已眼拙啦 在2020年10月25日 21:19，Natasha<13631230...@163.com> 写道： hi 社区， 我想请问下如果我用第二种红色方框内的写法跟第一种红色方框有什么不一样吗？两种方式执行的程序结果是不一样的，但是不明白为什么不同

Re: window和timeWindow的区别

第一个是TumblingWindow,第二个是SlidingWindow https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/stream/operators/windows.html#tumbling-windows Best Regards On Sun, Oct 25, 2020 at 9:20 PM Natasha <13631230...@163.com> wrote: > hi 社区， >

Re:Flink mysqlCDC ,然后jdbc sink 到mysql 乱序问题

Hi air， 保证内部是 Forword 试试，因为内部是 Hash 或者 Rebalance 的话，就会出现相同的数据的操作记录被不同的并发处理，这样到 sink 时候就会出现乱序的可能。 Best, Hailong Wang. 在 2020-10-23 13:21:19，"air23" 写道： >你好， >这边发现使用cdc读取mysql ，然后写入mysql会有乱序问题 >在上游mysql update一条数据，connert=print是有一条delete 和一条insert的数据， >但是jdbc写入mysql时候

Re:pyflink问题求助（入门级）

Hi， 根据你提供的堆栈，真正报错的堆栈如下： `Parsing error for column 1 of row '锘�1,98' originated by LongParser: NUMERIC_VALUE_ILLEGAL_CHARACTER.` 这是因为不能将数据转换为 long 类型，故你可以对应字段定义为 varchar。 Best, Hailong Wang. 在 2020-10-25 17:53:29，"洗你的头" <1264386...@qq.com> 写道：

flink任务启动报错 Cannot instantiate user function

hi all: flink 启动报错，调整了配置classloader.resolve-order: parent-first 也没用效果，请问该问题如何排查？ 2020-10-25 22:14:00 org.apache.flink.streaming.runtime.tasks.StreamTaskException: Cannot instantiate user function. at

window和timeWindow的区别

hi 社区， 我想请问下如果我用第二种红色方框内的写法跟第一种红色方框有什么不一样吗？两种方式执行的程序结果是不一样的，但是不明白为什么不同

pyflink??????????????????

pyflink?? 1.?? frompyflink.tableimportStreamTableEnvironment,DataTypes,BatchTableEnvironment frompyflink.table.descriptorsimportSchema,OldCsv,FileSystem

Re: StreamSQL 进行窗口计算的疑问

Hi 看起来这个query应该是没问题的，语法也是flink支持的，能贴点结果数据吗？可以简化下query能复现就行。 祝好 Leonard

Re: 请教 table /sql API, 窗口frist/last value

Hi > 在 2020年10月21日，16:27，marble.zh...@coinflex.com.invalid > 写道： > > select marketCode as market_code, > first_value(matchedPrice) over (partition by marketCode ORDER BY > transTime) as vopen > from TickData > where action = 'OrderMatched' and side = 'BUY' > group by marketCode,