我写的是upsert呀。。。
insert into 我也测试了，也不行。
是MySQL数据库本身里面的表需要建立一个主键吗？还是只有flink里面建表的时候写就行呢？
--
Sent from: http://apache-flink.147419.n8.nabble.com/
请问使用mysql数据库时，使用flinksql，已经设置主键的情况下，相同主键的记录没有更新，而是越来越多，
是目前不支持还是我使用的方法不对呢？
版本：flink 1.11.1
关键的2个sql如下
create table open_and_close_terminal_minute_1 (
request_date varchar
,terminal_no varchar
,logon_time varchar
,logout_time varchar
,insert_time varchar
请问使用mysql数据库时，使用flinksql，已经设置主键的情况下，相同主键的记录没有更新，而是越来越多，
是目前不支持还是我使用的方法不对呢？
版本：flink 1.11.1
关键的2个sql如下
create table open_and_close_terminal_minute_1 (
request_date varchar
,terminal_no varchar
,logon_time varchar
,logout_time varchar
,insert_time varchar
重新搞了一下，找到原因了
1、没有配置hbase的host
Reading reply sessionid:0x3000484bfd0001d, packet:: clientPath:null
serverPath:null finish
2、protobuf-java版本过高
java.lang.NoClassDefFoundError: com/google/protobuf/LiteralByteString
这个2个问题一直没发现，是因为报错的信息只有debug级别里面有，我之前的日志级别是info，希望后续如果可能的话，把相关的报错的信息提高级别就更好识别啦
--
Hi，社区的各位大家好：
我在使用Hbase作为维表，进行temporal join时无法获取数据，
具体表现就是任务可以运行，但是没有符合条件的数据输出。
flink版本是1.11.1，Hbase版本是1.2.0-cdh5.15.1
1、我测试了，如果去掉关联条件只读取kafka源：
insert into testhbase
select cast(applog.terminalNo as varchar)
from applog
，是能够输出数据，
但是一旦加上关联条件，就无法输出了。
感谢！
flink1.11.1版本里面，我尝试了下面两种backend，目前运行了20多个小时，
能够看到状态的大小在一个区间内波动，没有发现一直增长的情况了。
StateBackend backend =new
RocksDBStateBackend("hdfs:///checkpoints-data/"+yamlReader.getValueByKey("jobName").toString()+"/",false);
StateBackend backend =new
n8.nabble.com/file/t793/555.png>
Benchao Li-2 wrote
> 这个问题我建议先区分下是SQL operator里面没有清理state，还是state backend本身没有清理state。
> 这样你是否可以尝试下其他的state backend，以及非增量模式的rocksdb等？如果在所有state backend场景下，
> state都是一直上涨的，那有可能某个SQL operator里面对state的清理可能有些问题。
>
> 鱼子酱 <
> 384939718@
>&
k.147419.n8.nabble.com/file/t793/555.png>
Benchao Li-2 wrote
> 这个问题我建议先区分下是SQL operator里面没有清理state，还是state backend本身没有清理state。
> 这样你是否可以尝试下其他的state backend，以及非增量模式的rocksdb等？如果在所有state backend场景下，
> state都是一直上涨的，那有可能某个SQL operator里面对state的清理可能有些问题。
>
> 鱼子酱 <
> 384939718@
k.147419.n8.nabble.com/file/t793/555.png>
Benchao Li-2 wrote
> 这个问题我建议先区分下是SQL operator里面没有清理state，还是state backend本身没有清理state。
> 这样你是否可以尝试下其他的state backend，以及非增量模式的rocksdb等？如果在所有state backend场景下，
> state都是一直上涨的，那有可能某个SQL operator里面对state的清理可能有些问题。
>
> 鱼子酱 <
> 384939718@
9.n8.nabble.com/file/t793/222.png>
Congxian Qiu wrote
> Hi
> SQL 部分不太熟，根据以往的经验，对于 event time 情况下 window 的某个算子 state 越来越大的情况，或许可以检查下
> watermark[1]
>
> [1]
> https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/monitoring/debugging_event_time.html
>
> B
Hi，社区的各位大家好：
我目前生产上面使用的是1.8.2版本，相对稳定
为了能够用sql统一所有相关的作业，同时我也一直在跟着flink最新版本进行研究，
截止目前先后研究了1.10.1 1.11.1共2个大版本
在尝试使用的过程中，我发现了通过程序，使用sql进行group操作时，checkpoint中的数据量一直在缓慢增加
状态后端使用的是rocksdb 的增量模式
StateBackend backend =new
RocksDBStateBackend("hdfs:///checkpoints-data/",true);
设置了官网文档中找到的删除策略：
11 matches
Mail list logo
