RE: Re:Re: 使用hdfs保存checkpoint一段时间后报错

2019-05-05 文章 Shi Quan
ubject: Re:Re: 使用hdfs保存checkpoint一段时间后报错 Hi Yun Tang 谢谢唐老师... HDFS异常问题找到了,是我对hadoop集群重新格式化的时候,没有把SecondaryNameNode的tmp目录的内容删掉,导致格式化后,NameNode、DataNode中VERSION里面ClusterID与SecondaryNameNode的不一致,所以会不定时报出异常,问题已经解决啦。感谢~~ 另外有个小问题请教一下: Flink提供的默认EventTimeTrigger.java里面,在onElement(...)和onEventTime(

Re:Re: 使用hdfs保存checkpoint一段时间后报错

2019-05-05 文章 邵志鹏
d-to-0-nodes-instead-of-minreplication-1-there-are-1/36310025<https://stackoverflow.com/questions/36015864/hadoop-be-replicated-to-0-nodes-instead-of-minreplication-1-there-are-1/36310025> > >祝好 >唐云 > > > >From: 邵志鹏 >Sent: Tuesday, Apri

Re: 使用hdfs保存checkpoint一段时间后报错

2019-04-30 文章 Yun Tang
com/questions/36015864/hadoop-be-replicated-to-0-nodes-instead-of-minreplication-1-there-are-1/36310025> 祝好 唐云 From: 邵志鹏 Sent: Tuesday, April 30, 2019 15:26 To: user-zh@flink.apache.org Subject: 使用hdfs保存checkpoint一段时间后报错 使用hdfs保存checkpoint一段时间后报错,自动重启后正常运行一段时间后继

使用hdfs保存checkpoint一段时间后报错

2019-04-30 文章 邵志鹏
使用hdfs保存checkpoint一段时间后报错,自动重启后正常运行一段时间后继续报同样的错 Caused by: java.io.IOException: Could not flush and close the file system output stream to hdfs://master:9000/flink/checkpoints/PaycoreContextHopJob/cbb3a580d0323fbace80e71a25c966d0/chk-11352/fc4b8b08-2c32-467c-a1f4-f384eba246ff in order to