如何设置Spark结构化流检查点偏移复制因子

时间:2019-04-19 09:47:15

标签: apache-spark spark-structured-streaming

我正在使用Spark 2.4的Spark结构化流,并运行一些长期的流作业。 过了一会儿,出现“ org.apache.hadoop.hdfs.BlockMissingException:无法获取块”的问题。

我发现在checkpointLocation下的检查点文件具有复制因子1。例如: 30.8 G 30.8 G / TMP / TEST_STRUCTURED / CHECKPOINT / TEST /状态

但是关于'dfs.replication'的hdfs-site.xml是3。

那么,如何将检查点复制因子更改为3?谢谢。

0 个答案:

没有答案