hi
ok,谢谢,懂了哈哈
在 2020-07-31 21:27:02,"Leonard Xu" 写道:
>Hello
>
>> 在 2020年7月31日,21:13,chenxuying 写道:
>>
>> 但是不太明白 "使用老的option参数还是需要根据query推导主键" 这里话是什么意思,需要怎么做
>
>简单来讲,如果使用的是老版本(1.10)的option参数,代码执行的路径就和1.10版本一样的,1.10版本里是不支持定义 PRIMARY KEY 的,
>是通过用户的query来决定写入的模式是upsert 还是 append ,
Hi Jincheng,
Thanks a lot for raising the discussion. +1 for the FLIP.
I think this will bring big benefits for the PyFlink users. Currently, the
Python TableAPI document is hidden deeply under the TableAPI tab which
makes it quite unreadable. Also, the PyFlink documentation is mixed with
Hi Experts,
I have a flink cluster (per job mode) running on kubernetes. The job is
configured with restart strategy
restart-strategy.fixed-delay.attempts: 3restart-strategy.fixed-delay.delay: 10 s
So after 3 times retry, the job will be marked as FAILED, hence the pods
are not running.
Hello
> 在 2020年7月31日,21:13,chenxuying 写道:
>
> 但是不太明白 "使用老的option参数还是需要根据query推导主键" 这里话是什么意思,需要怎么做
简单来讲,如果使用的是老版本(1.10)的option参数,代码执行的路径就和1.10版本一样的,1.10版本里是不支持定义 PRIMARY KEY 的,
是通过用户的query来决定写入的模式是upsert 还是 append , 你可以看下1.10的文档关于用query 推导 写入模式的文档[1],
如果已经在用1.11了,1.10的文档可以不用看的。
谢谢回答
使用新属性可以 成功修改记录 ,
但是不太明白 "使用老的option参数还是需要根据query推导主键" 这里话是什么意思,需要怎么做
在 2020-07-31 16:46:41,"Leonard Xu" 写道:
>Hi, chenxuying
>
>看你还是用的还是 " 'connector.type' = 'jdbc', …. "
>,这是老的option,使用老的option参数还是需要根据query推导主键,
>需要使用新的属性[1]:" 'connector' = 'jdbc’,…." 才能配合 主键 决定 upsert
Hi, zilong
SPLIT_INDEX(${xxx}, ‘;’, 0)
‘;’ 分号不是特殊字符,编译时应该不会报错的,我在Flink 1.11.1 用DDL 测试了下, 能够work的,不知道你的环境是怎样的。
U&'\003B' 是 ; 的 unicode编码,所以用这个unicode编码是可以的,但一般这种用法是在需要用不可见字符分割时我们这样使用,
比如 \n 对应的s是 U&'\\000A’ ,\r 对应的是 U&'\\000D’, 对于分号这种可见字符来讲,不需要用unicode编码就可以的。
祝好
Leonard
> 在
我看官方文档https://help.aliyun.com/knowledge_detail/62544.html中接口是VARCHAR
SPLIT_INDEX(VARCHAR str, VARCHAR sep, INT index)
sep 是字符串类型。是不是要用双引号或者看下分号是不是英文的?
--原始邮件--
发件人:
U&'\003B' 这么写就可以了 感觉好奇怪啊。。
李奇 <359502...@qq.com> 于2020年7月31日周五 下午8:25写道:
> 加反斜杠就可以。\; 只不过分号应该不是特殊字符吧。
>
> > 在 2020年7月31日,下午8:13,zilong xiao 写道:
> >
> > SPLIT_INDEX(${xxx}, ';',
> >
> 0),想从字符串中按分号切割,可是分号应该是特殊字符,语法检查总是不能通过,网上查说是可以转义,但是也没太搞懂怎么才能转义,有遇到过类似问题的大佬求指点~~
>
实测反斜杠好像也不行
李奇 <359502...@qq.com> 于2020年7月31日周五 下午8:25写道:
> 加反斜杠就可以。\; 只不过分号应该不是特殊字符吧。
>
> > 在 2020年7月31日,下午8:13,zilong xiao 写道:
> >
> > SPLIT_INDEX(${xxx}, ';',
> >
> 0),想从字符串中按分号切割,可是分号应该是特殊字符,语法检查总是不能通过,网上查说是可以转义,但是也没太搞懂怎么才能转义,有遇到过类似问题的大佬求指点~~
>
加反斜杠就可以。\; 只不过分号应该不是特殊字符吧。
> 在 2020年7月31日,下午8:13,zilong xiao 写道:
>
> SPLIT_INDEX(${xxx}, ';',
> 0),想从字符串中按分号切割,可是分号应该是特殊字符,语法检查总是不能通过,网上查说是可以转义,但是也没太搞懂怎么才能转义,有遇到过类似问题的大佬求指点~~
SPLIT_INDEX(${xxx}, ';',
0),想从字符串中按分号切割,可是分号应该是特殊字符,语法检查总是不能通过,网上查说是可以转义,但是也没太搞懂怎么才能转义,有遇到过类似问题的大佬求指点~~
遇到了同样的问题,也是启动了 taskmanager-query-state-service.yaml 这个服务后,作业才能正常提交的,另外我是在本地装的
k8s 集群进行测试的,如果是 GC 的问题,启不启动 TM service 应该不会有影响的
--
Best,
Matt Wang
On 07/27/2020 15:01,Yang Wang wrote:
建议先配置heartbeat.timeout的值大一些,然后把gc log打出来
看看是不是经常发生fullGC,每次持续时间是多长,从你目前提供的log看,进程内JM->RM都会心跳超时
怀疑还是和GC有关的
hi,
看到 RocksDBWriteBatchWrapper类有 flushIfNeeded()方法 , 是这个么?
private void flushIfNeeded() throws RocksDBException {
boolean needFlush = batch.count() == capacity || (batchSize > 0 &&
getDataSize() >= batchSize);
if (needFlush) {
flush();
}
}
batchSize 来自 state.backend.rocksdb.write-batch-size
Hi, chenxuying
看你还是用的还是 " 'connector.type' = 'jdbc', …. "
,这是老的option,使用老的option参数还是需要根据query推导主键,
需要使用新的属性[1]:" 'connector' = 'jdbc’,…." 才能配合 主键 决定 upsert 模式.
Best
Leonard
[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/table/connectors/jdbc.html#connector-options
writerbuffer??flushcheckpoint??snapshot??rocksdb??checkpointsst??
----
??:
hi all,
请问RocksDBKeyedStateBackend是何时将state序列化到磁盘的, 窗口结束时间?还是配置的checkpoint周期,谢谢
--
Best,
Jun Su
改成update模式,然后也可以修改唯一主键为自然键
> 在 2020年7月31日,下午4:13,chenxuying 写道:
>
> hi
> 我使用的flink 1.11.0版本
> 代码如下
> StreamExecutionEnvironment streamEnv =
> StreamExecutionEnvironment.getExecutionEnvironment();
> TableEnvironment tableEnvironment = StreamTableEnvironment.create(streamEnv);
>
hi
我使用的flink 1.11.0版本
代码如下
StreamExecutionEnvironment streamEnv =
StreamExecutionEnvironment.getExecutionEnvironment();
TableEnvironment tableEnvironment = StreamTableEnvironment.create(streamEnv);
tableEnvironment.executeSql(" " +
" CREATE TABLE mySource ( " +
" a bigint, " +
" b bigint " +
"
18 matches
Mail list logo