我正在使用Spark 2.4的Spark结构化流,并运行一些长期的流作业。 过了一会儿,出现“ org.apache.hadoop.hdfs.BlockMissingException:无法获取块”的问题。
我发现在checkpointLocation下的检查点文件具有复制因子1。例如: 30.8 G 30.8 G / TMP / TEST_STRUCTURED / CHECKPOINT / TEST /状态
但是关于'dfs.replication'的hdfs-site.xml是3。
那么,如何将检查点复制因子更改为3?谢谢。