Re:Re: flinksql kafka 插入mysql 的insert语法问题和唯一主键的问题

2020-07-31 文章 chenxuying
hi ok,谢谢,懂了哈哈 在 2020-07-31 21:27:02,"Leonard Xu" 写道: >Hello > >> 在 2020年7月31日,21:13,chenxuying 写道: >> >> 但是不太明白 "使用老的option参数还是需要根据query推导主键" 这里话是什么意思,需要怎么做 > >简单来讲,如果使用的是老版本(1.10)的option参数,代码执行的路径就和1.10版本一样的,1.10版本里是不支持定义 PRIMARY KEY 的, >是通过用户的query来决定写入的模式是upsert 还是 append ,

Re: [DISCUSS] FLIP-133: Rework PyFlink Documentation

2020-07-31 文章 Hequn Cheng
Hi Jincheng, Thanks a lot for raising the discussion. +1 for the FLIP. I think this will bring big benefits for the PyFlink users. Currently, the Python TableAPI document is hidden deeply under the TableAPI tab which makes it quite unreadable. Also, the PyFlink documentation is mixed with

Behavior for flink job running on K8S failed after restart strategy exhausted

2020-07-31 文章 Eleanore Jin
Hi Experts, I have a flink cluster (per job mode) running on kubernetes. The job is configured with restart strategy restart-strategy.fixed-delay.attempts: 3restart-strategy.fixed-delay.delay: 10 s So after 3 times retry, the job will be marked as FAILED, hence the pods are not running.

Re: flinksql kafka 插入mysql 的insert语法问题和唯一主键的问题

2020-07-31 文章 Leonard Xu
Hello > 在 2020年7月31日,21:13,chenxuying 写道: > > 但是不太明白 "使用老的option参数还是需要根据query推导主键" 这里话是什么意思,需要怎么做 简单来讲,如果使用的是老版本(1.10)的option参数,代码执行的路径就和1.10版本一样的,1.10版本里是不支持定义 PRIMARY KEY 的, 是通过用户的query来决定写入的模式是upsert 还是 append , 你可以看下1.10的文档关于用query 推导 写入模式的文档[1], 如果已经在用1.11了,1.10的文档可以不用看的。

Re:Re: flinksql kafka 插入mysql 的insert语法问题和唯一主键的问题

2020-07-31 文章 chenxuying
谢谢回答 使用新属性可以 成功修改记录 , 但是不太明白 "使用老的option参数还是需要根据query推导主键" 这里话是什么意思,需要怎么做 在 2020-07-31 16:46:41,"Leonard Xu" 写道: >Hi, chenxuying > >看你还是用的还是 " 'connector.type' = 'jdbc', …. " >,这是老的option,使用老的option参数还是需要根据query推导主键, >需要使用新的属性[1]:" 'connector' = 'jdbc’,…." 才能配合 主键 决定 upsert

Re: Flink sql 转义字符问题

2020-07-31 文章 Leonard Xu
Hi, zilong SPLIT_INDEX(${xxx}, ‘;’, 0) ‘;’ 分号不是特殊字符,编译时应该不会报错的,我在Flink 1.11.1 用DDL 测试了下, 能够work的,不知道你的环境是怎样的。 U&'\003B' 是 ; 的 unicode编码,所以用这个unicode编码是可以的,但一般这种用法是在需要用不可见字符分割时我们这样使用, 比如 \n 对应的s是 U&'\\000A’ ,\r 对应的是 U&'\\000D’, 对于分号这种可见字符来讲,不需要用unicode编码就可以的。 祝好 Leonard > 在

回复: Flink sql 转义字符问题

2020-07-31 文章 Hannan Kan
我看官方文档https://help.aliyun.com/knowledge_detail/62544.html中接口是VARCHAR SPLIT_INDEX(VARCHAR str, VARCHAR sep, INT index) sep 是字符串类型。是不是要用双引号或者看下分号是不是英文的? --原始邮件-- 发件人:

Re: Flink sql 转义字符问题

2020-07-31 文章 zilong xiao
U&'\003B' 这么写就可以了 感觉好奇怪啊。。 李奇 <359502...@qq.com> 于2020年7月31日周五 下午8:25写道: > 加反斜杠就可以。\; 只不过分号应该不是特殊字符吧。 > > > 在 2020年7月31日,下午8:13,zilong xiao 写道: > > > > SPLIT_INDEX(${xxx}, ';', > > > 0),想从字符串中按分号切割,可是分号应该是特殊字符,语法检查总是不能通过,网上查说是可以转义,但是也没太搞懂怎么才能转义,有遇到过类似问题的大佬求指点~~ >

Re: Flink sql 转义字符问题

2020-07-31 文章 zilong xiao
实测反斜杠好像也不行 李奇 <359502...@qq.com> 于2020年7月31日周五 下午8:25写道: > 加反斜杠就可以。\; 只不过分号应该不是特殊字符吧。 > > > 在 2020年7月31日,下午8:13,zilong xiao 写道: > > > > SPLIT_INDEX(${xxx}, ';', > > > 0),想从字符串中按分号切割,可是分号应该是特殊字符,语法检查总是不能通过,网上查说是可以转义,但是也没太搞懂怎么才能转义,有遇到过类似问题的大佬求指点~~ >

Re: Flink sql 转义字符问题

2020-07-31 文章 李奇
加反斜杠就可以。\; 只不过分号应该不是特殊字符吧。 > 在 2020年7月31日,下午8:13,zilong xiao 写道: > > SPLIT_INDEX(${xxx}, ';', > 0),想从字符串中按分号切割,可是分号应该是特殊字符,语法检查总是不能通过,网上查说是可以转义,但是也没太搞懂怎么才能转义,有遇到过类似问题的大佬求指点~~

Flink sql 转义字符问题

2020-07-31 文章 zilong xiao
SPLIT_INDEX(${xxx}, ';', 0),想从字符串中按分号切割,可是分号应该是特殊字符,语法检查总是不能通过,网上查说是可以转义,但是也没太搞懂怎么才能转义,有遇到过类似问题的大佬求指点~~

Re: Flink 1.11 submit job timed out

2020-07-31 文章 Matt Wang
遇到了同样的问题,也是启动了 taskmanager-query-state-service.yaml 这个服务后,作业才能正常提交的,另外我是在本地装的 k8s 集群进行测试的,如果是 GC 的问题,启不启动 TM service 应该不会有影响的 -- Best, Matt Wang On 07/27/2020 15:01,Yang Wang wrote: 建议先配置heartbeat.timeout的值大一些,然后把gc log打出来 看看是不是经常发生fullGC,每次持续时间是多长,从你目前提供的log看,进程内JM->RM都会心跳超时 怀疑还是和GC有关的

Re: RocksDBKeyedStateBackend如何写磁盘

2020-07-31 文章 jun su
hi, 看到 RocksDBWriteBatchWrapper类有 flushIfNeeded()方法 , 是这个么? private void flushIfNeeded() throws RocksDBException { boolean needFlush = batch.count() == capacity || (batchSize > 0 && getDataSize() >= batchSize); if (needFlush) { flush(); } } batchSize 来自 state.backend.rocksdb.write-batch-size

Re: flinksql kafka 插入mysql 的insert语法问题和唯一主键的问题

2020-07-31 文章 Leonard Xu
Hi, chenxuying 看你还是用的还是 " 'connector.type' = 'jdbc', …. " ,这是老的option,使用老的option参数还是需要根据query推导主键, 需要使用新的属性[1]:" 'connector' = 'jdbc’,…." 才能配合 主键 决定 upsert 模式. Best Leonard [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/table/connectors/jdbc.html#connector-options

??????RocksDBKeyedStateBackend??????????

2020-07-31 文章 jiafu
writerbuffer??flushcheckpoint??snapshot??rocksdb??checkpointsst?? ---- ??:

RocksDBKeyedStateBackend如何写磁盘

2020-07-31 文章 jun su
hi all, 请问RocksDBKeyedStateBackend是何时将state序列化到磁盘的, 窗口结束时间?还是配置的checkpoint周期,谢谢 -- Best, Jun Su

Re: flinksql kafka 插入mysql 的insert语法问题和唯一主键的问题

2020-07-31 文章 李奇
改成update模式,然后也可以修改唯一主键为自然键 > 在 2020年7月31日,下午4:13,chenxuying 写道: > > hi > 我使用的flink 1.11.0版本 > 代码如下 > StreamExecutionEnvironment streamEnv = > StreamExecutionEnvironment.getExecutionEnvironment(); > TableEnvironment tableEnvironment = StreamTableEnvironment.create(streamEnv); >

flinksql kafka 插入mysql 的insert语法问题和唯一主键的问题

2020-07-31 文章 chenxuying
hi 我使用的flink 1.11.0版本 代码如下 StreamExecutionEnvironment streamEnv = StreamExecutionEnvironment.getExecutionEnvironment(); TableEnvironment tableEnvironment = StreamTableEnvironment.create(streamEnv); tableEnvironment.executeSql(" " + " CREATE TABLE mySource ( " + " a bigint, " + " b bigint " + "