如何从HDFS中删除特定块

Question

如何从HDFS中删除文件的特​​定块？

我在hdfs中加载了一个1TB文件，发现使用fsck命令损坏了1个块。我正在使用它进行测试，所以我还没有在hdfs中创建该文件的副本。现在，直接的解决方案是删除整个文件并重新加载整个文件。但仅仅因为128MB的损坏记录而加载整个文件（~1TB数据）似乎效率低下。

因此，丢失一些记录对于我的用例是好的（它只是一个poc）。有什么方法可以删除损坏的块并使用其余的数据吗？

任何建议都将受到赞赏。

Answer 1

您可以使用命令 - hdfs fsck / -delete列出丢失块的损坏，并按照this artical进行修复。