从Hadoop复制到本地计算机

Question

我可以ssh到我们的盒子并做一个hadoop fs -ls /theFolder并浏览文件等等。但这也是我所知道的:)我的目标是复制其中一个文件 - 它们是Avro - on到我当地的主文件夹。

怎么办呢？我发现了一个get命令，但不知道如何起诉。

Answer 1

首先，使用hadoop fs -get /theFolder将其复制到您收藏的当前目录中。

然后，您可以使用scp或我的rsync首选项来复制文件夹和本地系统之间的文件。以下是我在使用rsync之后使用-get的方法，仍在同一目录中：

rsync -av ./theFolder username@yourlocalmachine:/home/username

这会将theFolder从您框中的本地fs复制到计算机fs上的主文件夹中。在这两种情况下，请务必将username替换为您的实际用户名，并使用您计算机的主机名或IP地址替换yourlocalmachine。

Answer 2

使用hadoop的get，你可以将文件从HDFS复制到你的盒子的文件系统。详细了解如何使用get here。

然后，使用scp（这与执行ssh类似），您可以将这些文件复制到本地系统。详细了解如何使用scp here。