Re: 回复:使用StreamingFileSink向hive metadata中增加分区部分失败

2020-09-08 文章 Jingsong Li
< > lirui.fu...@gmail.com>; > 发送时间: 2020年9月8日(星期二) 晚上9:43 > 收件人: "MuChen"<9329...@qq.com>; > 抄送: "user-zh" >; > 主题: Re: 回复:使用StreamingFileSink向hive metadata中增加分区部分失败 > > > > 另外也list一下没有提交的分区目录吧,看看里面的文件是什么状态 > > On

Re: 回复:使用StreamingFileSink向hive metadata中增加分区部分失败

2020-09-08 文章 Jingsong Li
t_dwd.db/dwd_music_copyright_test/dt=2020- > >> 08-22/hour=19/.part-b7d8f3c6-f1f3-40d4-a269-1ccf2c9a7720-0-1142 > >> .inprogress.2700eded-5ed0-4794-8ee9-21721c0c2ffd > >> > >> -- 原始邮件 -- > >> *发件人:* "Rui Li" ; > >&g

Re: 回复:使用StreamingFileSink向hive metadata中增加分区部分失败

2020-09-08 文章 Rui Li
house/rt_dwd.db/dwd_music_copyright_test/dt=2020- >> 08-22/hour=19/.part-b7d8f3c6-f1f3-40d4-a269-1ccf2c9a7720-0-1142 >> .inprogress.2700eded-5ed0-4794-8ee9-21721c0c2ffd >> >> -- 原始邮件 -- >> *发件人:* "Rui Li" ; >> *发送时间:* 2

Re: 回复:使用StreamingFileSink向hive metadata中增加分区部分失败

2020-09-08 文章 Rui Li
> *发件人:* "Rui Li" ; > *发送时间:* 2020年9月8日(星期二) 中午12:09 > *收件人:* "user-zh";"夏帅"; > *抄送:* "MuChen"<9329...@qq.com>; > *主题:* Re: 回复:使用StreamingFileSink向hive metadata中增加分区部分失败 > > streaming file committer在提交分区之前会打印这样的日志: > &g

Re: 回复:使用StreamingFileSink向hive metadata中增加分区部分失败

2020-09-07 文章 Rui Li
星期二) 10:56 > 收件人:user-zh@flink.apache.org 夏帅 ; user-zh < > user-zh@flink.apache.org> > 主 题:回复: 回复:使用StreamingFileSink向hive metadata中增加分区部分失败 > > 在checkpoint失败的时间,tm上还有一些info和warn级别的日志: > 2020-09-04 17:17:59,520 INFO > org.apache.hadoop.io.retry.RetryInvocationHandler [] - E

回复:回复:使用StreamingFileSink向hive metadata中增加分区部分失败

2020-09-07 文章 夏帅
就第二次提供的日志看,好像是你的namenode出现的问题 -- 发件人:MuChen <9329...@qq.com> 发送时间:2020年9月8日(星期二) 10:56 收件人:user-zh@flink.apache.org 夏帅 ; user-zh 主 题:回复: 回复:使用StreamingFileSink向hive metadata中增加分区部分失败 在checkpoint失败的时间,tm上还有一些info和warn级别的日志

回复:使用StreamingFileSink向hive metadata中增加分区部分失败

2020-09-07 文章 夏帅
异常日志只有这些么?有没有详细点的