可以修改HDFS文件吗？

Question

我最近听到有人说无法修改HDFS文件的对话。

我很惊讶地听到，因为我认为支持所有文件操作，包括更新。现在我知道HDFS针对流进行了优化，但这与权限有关，还是严格禁止修改？

N.B。我指的是修改而不是将数据附加到现有文件。

Answer 1

HDFS是仅附加文件系统。要“更新”文件，您需要收集文件的所有块，重写其内容，然后更新所有块位置

HDFS也没有针对流媒体进行优化。这就是Kafka，Storm，Spark，Flink，Samza，NiFi等框架都存在的原因。他们集成与Hadoop，但是将小批量文件流式传输到HDFS并不是它的优化。

我不确定我是否理解有关权限的评论，但这些评论由Namenode ACL或外部系统（如Ranger或Sentry）控制。

如果您指的是Hive表上的ACID事务，那么通常使用短语“CRUD操作”。