Question

我正在尝试将数据从Google云存储中的Bucket复制到本地Hadoop群集（我已安装在我的Mac中）。已按照此链接中的说明进行操作; Migrating 50TB data from local Hadoop cluster to Google Cloud Storage 但是当我执行hdfs命令hdfs dfs -ls gs://tempuserstorage时，我收到以下错误。

17/04/28 15:42:13 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/04/28 15:42:14 INFO gcs.GoogleHadoopFileSystemBase: GHFS version: 1.6.0-hadoop2
    -ls: Google Cloud Storage bucket name must not contain '/' character.
    Usage: hadoop fs [generic options] -ls [-d] [-h] [-R] [<path> ...]

我也试过了hadoop fs -ls gs://tempuserstorage但是得到了同样的错误

我在这里错过了什么吗？

Answer 1

在为fs.gs.system.bucket提供价值时，我似乎犯了一个错误。除了桶名（比如mybucket）;我还在桶中添加了目录（mybucket/mydir），这似乎导致了问题

将数据从Google云存储复制到本地Hadoop群集

1 个答案: