date:20220307

Re:flink s3 checkpoint 一直IN_PROGRESS(100%)直到失败

2022-03-07 文章 Sun.Zhu

图挂了 https://postimg.cc/Z9XdxwSk 在 2022-03-08 14:05:39，"Sun.Zhu" <17626017...@163.com> 写道： hi all， flink 1.13.2，将checkpoint 写到S3但是一直成功不了，一直显示IN_PROGRESS，直到超时失败，有大佬遇到过吗？

flink s3 checkpoint 一直IN_PROGRESS(100%)直到失败

2022-03-07 文章 Sun.Zhu

hi all， flink 1.13.2，将checkpoint 写到S3但是一直成功不了，一直显示IN_PROGRESS，直到超时失败，有大佬遇到过吗？

Re:Re: io.network.netty.exception

2022-03-07 文章潘明文

HI , 谢谢，有没有好的解决方案解决该问题呀？在 2022-03-08 02:20:57，"Zhilong Hong" 写道： >Hi, 明文： > >这个报错实际上是TM失联，一般是TM被kill导致的，可以根据TM的Flink日志和GC日志、集群层面的NM日志（YARN环境）或者是K8S日志查看TM被kill的原因。一般情况下可能是：gc时间过长导致TM心跳超时被kill、TM内存超用导致container/pod被kill等等。 > >Best. >Zhilong > >On Mon, Mar 7, 2022 at 10:18 AM 潘明文

Re: io.network.netty.exception

2022-03-07 文章 Zhilong Hong

Hi, 明文：这个报错实际上是TM失联，一般是TM被kill导致的，可以根据TM的Flink日志和GC日志、集群层面的NM日志（YARN环境）或者是K8S日志查看TM被kill的原因。一般情况下可能是：gc时间过长导致TM心跳超时被kill、TM内存超用导致container/pod被kill等等。 Best. Zhilong On Mon, Mar 7, 2022 at 10:18 AM 潘明文 wrote: > HI 读kafka，入hbase和kafka > flink任务经常性报错 > >

Re:jdk11创建hive catalog抛错

2022-03-07 文章 zhangmang1

可以尝试使用hive 2.3.7 版本，这个里面解决了一部分 hive 不兼容jdk11的问题，我们线上已经使用一年多了 At 2021-11-22 12:00:07, "aiden" <18765295...@163.com> wrote: >求助，jdk从8升级到11后使用hive作为flink >table的catalog抛错，排查是bsTableEnv.registerCatalog(catalogName, catalog) 抛错，具体异常为： >11:55:22.343 [main] ERROR hive.log - Got