【flink web】Flink 1.7 Yarn开启http 的kerberos 认证，去访问flink web 界面的时候出现403.

hi, 请教一个问题： *环境：* yarn 2.9.2 http 开启kerberos hadoop.http.authentication.type kerberos *flink 版本*：官方 1.7.1 *1.10 版本可以正常访问。* 访问 flink 的web 界面的时候报下面这个错误。 [image: D79C0EE4-F084-436B-8944-83677A57A320_4_5005_c.jpeg]

Re: 请问有没有什么方法可以把checkpoint打到集群外的hdfs?

uo 于2020年4月15日周三 下午3:52写道： > > > 1. flink会去读YARN_CONF_DIR or HADOOP_CONF_DIR这两个环境变量 > > 2. 我理解这和你flink运行的集群是解耦的，只要你dir的路径不变，就会从那个dir找checkpoint恢复 > > > > Best, > > Yangze Guo > > > > On Wed, Apr 15, 2020 at 3:38 PM tao wang wrote: > > > > >

Re: 请问有没有什么方法可以把checkpoint打到集群外的hdfs?

多谢两位 Yangze and LakeShen，我研究一下。 Yangze Guo 于2020年4月15日周三 下午3:45写道： > 1. flink会去读YARN_CONF_DIR or HADOOP_CONF_DIR这两个环境变量 > 2. 我理解这和你flink运行的集群是解耦的，只要你dir的路径不变，就会从那个dir找checkpoint恢复 > > Best, > Yangze Guo > > On Wed, Apr 15, 2020 at 3:38 PM tao wang wrote: > > >

请问有没有什么方法可以把checkpoint打到集群外的hdfs?

现在有个场景， 集群上上了一些比较重要的任务，为了提高这些任务的性能，为它提供了一个专有的hdfs 集群用来存储checkpoint 。 但是现在不知道怎么配置才能让支持任务打到外部的hdfs集群。 谢谢！！

[FLI]求大佬翻牌，看一个checkpoint 被 decline 的问题。

FLINK 1.9.1 版本，线上任务运行的时候，偶现这个checkpoint 被decline的问题。能帮忙确认一下根本原因是什么吗？ 是kafka 出问题还是代码有bug? > 2020-02-21 08:32:15,738 INFO > org.apache.flink.runtime.checkpoint.CheckpointCoordinator - Discarding > checkpoint 941 of job 0e16cf38a0bff313544e1f31d078f75b. >

请问一下FLINK-14091 这个JIRA 是否在FLINK17 中也存在

https://issues.apache.org/jira/browse/FLINK-14091 。 现在在生产环境中，FLINK 1.7 遇到了同样的问题，导致checkpoint 失败。

Re: 【checkpoint】请问一下flink 支持把checkpoint 输出到外部的hdfs 吗？

多谢回复。 请问外部hdfs 的配置项如何添加？ 把hdfs 集群的 core-site.xml / hdfs-site.xml 里内容 添加到 计算集群的core-site.xml/hdfs-site.xml 里吗？ Congxian Qiu 于2020年2月15日周六 下午7:31写道： > Hi > > 只要 Flink 的 JM/TM 能访问到外部的 hdfs 就可以的。 > > Best, > Congxian > > > tao wang 于2020年2月14日周五 下午10:28写道： > > > > > >

【checkpoint】请问一下flink 支持把checkpoint 输出到外部的hdfs 吗？