通过Hue更新HDFS中的文件

时间:2015-01-21 02:06:34

标签: hadoop hdfs bigdata hue

我知道HDFS是关于写入一次并且读取多次类型。据我所知,无法在HDFS中更新文件(随机),因为文件存储在分布式环境中(作为块),每个块都复制在其他节点上,而数据节点很难更新甚至这些复制的块。

但是,我的问题是可以使用 hue 工具更新HDFS中的文件吗?因为,我使用 hue 工具更新了许多文件(存储在HDFS中),并在其上运行了map-reduce作业。那么, hue 如何更新HDFS中的文件呢? hue 在后台做某事吗?通过 hue 进行的更新是否真的更新到同一个文件?或 hue 删除文件并重写整个文件(包括我们想要更新的新数据)?

1 个答案:

答案 0 :(得分:1)

Hue删除并重写整个文件,因为HDFS不支持版本。你可以注意到Hue现在只将版本限制为小文件。

这是一篇博客文章,详细了解HDFS Filebrowser