将HDFS数据写入外部磁盘/磁带

Question

我在HDFS上有1TB的数据。我的本地磁盘上有很多空间可以将数据传输到我的本地。

有什么办法可以将HDFS数据直接写入外部硬盘吗？

Answer 1

如果磁盘映射到您的计算机上，您应该可以使用-get命令

来完成

Answer 2

您连接的外部驱动器是另一个本地驱动器，它是固定硬盘驱动器的扩展。因此，您可以从命令行使用'hadoop fs'命令的copyToLocal选项。 这是详细信息的链接

http://hadoop.apache.org/docs/r0.18.3/hdfs_shell.html#copyToLocal

此外，Hadoop API可用于将HDFS文件复制到本地驱动器。请参阅下面的copyToLocalFile（）方法。

http://hadoop.apache.org/docs/current/api/org/apache/hadoop/fs/FileSystem.html#copyToLocalFile