如何覆盖Hadoop中的输出目录？

Question

我正在阅读json文件，我希望修改json文件中的一些更改。修改后我想在同一个json文件中覆盖。当我这样做时，MapReduce会抛出异常“FileAlreadyExists”。请给我一个在同一个文件中覆盖的解决方案。我没兴趣删除该文件并创建一个新文件。我只想覆盖。

Answer 1

HDFS不允许在现有文件中写入。您必须先删除文件并重新编写它们。 HDFS不支持对文件进行就地更新。 HDFS旨在提供对现有数据的高读取。因此，您期望的功能在HDFS中不可用。