如何从Hadoop中的hdfs文件中删除一些数据

Question

我在Hadoop群集上传了 50GB 数据。 但现在我要删除第一行数据文件。 如果我删除该数据并且这是非常耗时的。手动更改。然后在HDFS上再次上传。 请回复我。

Answer 1

HDFS文件是不可变的（for all practical purposes）。

您需要上传修改后的文件。您可以使用进行近似身份转换的M / R作业以编程方式进行更改，例如。运行streaming sed shell脚本，但需要创建新文件的gist，无法编辑HDFS文件。