HA名称节点配置的hdfs上的Flink检查点

时间:2019-01-07 08:55:18

标签: hdfs apache-flink checkpoint

flink的检查点路径是hdfs://address:port/path之类的hdfs绝对路径,但是当hdfs处于HA模式时,如何为hdfs namenode url更改设置flink配置?

1 个答案:

答案 0 :(得分:0)

使用Hadoop HA时,建议使用clusterId。这样做之后,URI看起来像是hdfs:// nameservice_id / path / file。使用此URI而不是'hdfs:// activeNamenodeHost / path'。希望这会有所帮助。< / p>

如何在这里设置:NameNode HA when using hdfs:// URI

此处有更多详细信息:https://hadoop.apache.org/docs/r2.7.0/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html