?????? flink1.10.1/1.11.1 ????sql ????group ?? ???????? ?????? ????????????

op Tue, 04 Aug 2020 23:46:47 -0700

&nbsp; &nbsp; 
????????????????FsStateBackend&nbsp;??????????????5????????????????????checkpoint??????????????300ms????????????????????????????????????
&nbsp; 
&nbsp;??????????????????????1440minute??????????????????????????????????????????????????????5????
&nbsp; &nbsp;????????checkpoint shared ????????????????????????????group 
by??key??????????????????????????????????????????????????????????????
&nbsp; &nbsp;????5????????????????





------------------ ???????? ------------------
??????:                                                                         
                                               "user-zh"                        
                                                            
<qcx978132...@gmail.com&gt;;
????????:&nbsp;2020??8??3??(??????) ????5:50
??????:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;

????:&nbsp;Re: flink1.10.1/1.11.1 ????sql ????group ?? ???????? ?????? 
????????????



Hi
&nbsp;&nbsp; ?????? checkpoint ?? interval ???????????????????????????? shared 
??????????????????????????????????????????
Checkpointed Data Size ????????????[1]???????????? checkpoint 
???????????????????? checkpoint
????????????????????????????????????

[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/state/state_backends.html#%E5%A2%9E%E9%87%8F%E5%BF%AB%E7%85%A7
Best,
Congxian


op <520075...@qq.com&gt; ??2020??8??3?????? ????2:18??????

&gt; &amp;nbsp; &amp;nbsp;
&gt; 
????????????????????????????????????????????1.11.0????????hdfs????checkpoint??checkpoint????3??????
&gt; ?????????? ????day ?? id ????groupby
&gt; 
????????????????????????????7????????????????????????????????????????????watermark??????????????
&gt; tConfig.setIdleStateRetentionTime(Time.minutes(1440),
&gt; Time.minutes(1440+10))
&gt;
&gt;
&gt;
&gt;
&gt; ------------------&amp;nbsp;????????&amp;nbsp;------------------
&gt; ??????:
&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
 &nbsp; "user-zh"
&gt;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
 &nbsp; <
&gt; 384939...@qq.com&amp;gt;;
&gt; ????????:&amp;nbsp;2020??8??3??(??????) ????1:50
&gt; ??????:&amp;nbsp;"user-zh"<user-zh@flink.apache.org&amp;gt;;
&gt;
&gt; ????:&amp;nbsp;Re: flink1.10.1/1.11.1 ????sql ????group ?? ???????? ?????? 
????????????
&gt;
&gt;
&gt;
&gt; hi????????
&gt; ??????????????????????????????????
&gt; 1????????????????3000????????????????????????????????????????????????
&gt; 2??checkpoint??interval????????5??
&gt; 3??????????????????????????????
&gt; 4??????????????1??????on-yarn????
&gt;
&gt; ????????????????????
&gt; <http://apache-flink.147419.n8.nabble.com/file/t793/6.png&amp;gt;
&gt;
&gt; 18??????????????
&gt; <http://apache-flink.147419.n8.nabble.com/file/t793/9.png&amp;gt;
&gt;
&gt; checkpoints??????
&gt; <http://apache-flink.147419.n8.nabble.com/file/t793/conf.png&amp;gt;
&gt;
&gt; hdfs??????????
&gt; <http://apache-flink.147419.n8.nabble.com/file/t793/hdfs.png&amp;gt;
&gt;
&gt; ??????????????????
&gt; 
<http://apache-flink.147419.n8.nabble.com/file/t793/checkpoinsts1.png&amp;gt;
&gt;
&gt;
&gt; Congxian Qiu wrote
&gt; &amp;gt; Hi&amp;nbsp;&amp;nbsp; ??????
&gt; &amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; ???????????????? 
checkpoint ???????????????????? checkpoint
&gt; size ??????????????????????????????????????
&gt; &amp;gt; checkpoint ???????????? hdfs ?? ls ???? checkpoint ????????????
&gt; &amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; 
??????????????????????????????????????????????????????state 
??????????????????????????
&gt; &amp;gt;
&gt; &amp;gt; Best,
&gt; &amp;gt; Congxian
&gt; &amp;gt;
&gt; &amp;gt;
&gt; &amp;gt; ?????? <
&gt;
&gt; &amp;gt; 384939718@
&gt;
&gt; &amp;gt;&amp;gt; ??2020??7??30?????? ????10:43??????
&gt; &amp;gt;
&gt; &amp;gt;&amp;gt; ??????
&gt; &amp;gt;&amp;gt;
&gt; &amp;gt;&amp;gt; 
flink1.11.1??????????????????????????backend????????????20??????????
&gt; &amp;gt;&amp;gt; 
??????????????????????????????????????????????????????????????
&gt; &amp;gt;&amp;gt; StateBackend backend =new
&gt; &amp;gt;&amp;gt;
&gt; &amp;gt;&amp;gt;
&gt; 
RocksDBStateBackend("hdfs:///checkpoints-data/"+yamlReader.getValueByKey("jobName").toString()+"/",false);
&gt; &amp;gt;&amp;gt; StateBackend backend =new
&gt; &amp;gt;&amp;gt;
&gt; &amp;gt;&amp;gt;
&gt; 
FsStateBackend("hdfs:///checkpoints-data/"+yamlReader.getValueByKey("jobName").toString()+"/",false);
&gt; &amp;gt;&amp;gt;
&gt; &amp;gt;&amp;gt;
&gt; &amp;gt;&amp;gt; 
????????????????RocksDBStateBackend??????????????????????????????
&gt; &amp;gt;&amp;gt; RocksDBStateBackend??
&gt; &amp;gt;&amp;gt; &amp;amp;lt;
&gt; http://apache-flink.147419.n8.nabble.com/file/t793/444.png&amp;amp;gt;
&gt; &amp;gt;&amp;gt; FsStateBackend??
&gt; &amp;gt;&amp;gt; &amp;amp;lt;
&gt; http://apache-flink.147419.n8.nabble.com/file/t793/555.png&amp;amp;gt;
&gt; &amp;gt;&amp;gt;
&gt; &amp;gt;&amp;gt;
&gt; &amp;gt;&amp;gt;
&gt; &amp;gt;&amp;gt;
&gt; &amp;gt;&amp;gt; --
&gt; &amp;gt;&amp;gt; Sent from: http://apache-flink.147419.n8.nabble.com/
&gt; &amp;gt;&amp;gt;
&gt;
&gt;
&gt;
&gt;
&gt;
&gt; --
&gt; Sent from: http://apache-flink.147419.n8.nabble.com/

?????? flink1.10.1/1.11.1 ????sql ????group ?? ???????? ?????? ????????????

回复