HDFS中的文件可以由单个writer写入。不支持多个写入器或文件中任意偏移量的修改。单个作家和多个作家是什么意思?有人可以澄清一下吗?
答案 0 :(得分:4)
HDFS实现单一编写器,多读者模型。这意味着您可以让多个读者在HDFS上读取文件,但只有一个编写者可以写入该文件。此模型使并发控制要求更容易实现。它还简化了数据一致性,并支持对HDFS上托管的文件进行高吞吐量访问。
请记住,HDFS中的编写器只会附加到文件中。如果您有多个编写器(并发编写器),那么如何在不丢失数据的情况下实现内容追加,破坏文件内容并保证数据完整性?
答案 1 :(得分:0)
那很好,可以实现较高的READ吞吐量,但请记住,HDFS在设计时并未考虑并发支持。编写者执行作业时,由于我们没有可用的更新,最终将创建一个新文件。因此,不建议基于HDFS实施任何类型的控制文件解决方案。
答案 2 :(得分:-3)