你是什​​么意思,HDFS不支持多个作家?

时间:2014-03-22 16:00:24

标签: hadoop mapreduce hdfs

HDFS中的文件可以由单个writer写入。不支持多个写入器或文件中任意偏移量的修改。单个作家和多个作家是什么意思?有人可以澄清一下吗?

3 个答案:

答案 0 :(得分:4)

HDFS实现单一编写器,多读者模型。这意味着您可以让多个读者在HDFS上读取文件,但只有一个编写者可以写入该文件。此模型使并发控制要求更容易实现。它还简化了数据一致性,并支持对HDFS上托管的文件进行高吞吐量访问。

请记住,HDFS中的编写器只会附加到文件中。如果您有多个编写器(并发编写器),那么如何在不丢失数据的情况下实现内容追加,破坏文件内容并保证数据完整性?

答案 1 :(得分:0)

那很好,可以实现较高的READ吞吐量,但请记住,HDFS在设计时并未考虑并发支持。编写者执行作业时,由于我们没有可用的更新,最终将创建一个新文件。因此,不建议基于HDFS实施任何类型的控制文件解决方案。

答案 2 :(得分:-3)

  • 用户或应用程序可以在HDFS和商店中创建目录 这些目录中的文件。文件系统命名空间层次结构 与大多数其他现有文件系统类似;一个人可以创造和 删除文件,将文件从一个目录移动到另一个目录,或重命名 文件。
  • 要更新任何文件,用户必须更新HDFS外的文件 并将它们重新加载到HDFS,删除现有的。追加是 Hadoop2支持