如何在MAPR文件系统和HDInsight Blob存储之间进行区分

时间:2019-02-06 15:59:09

标签: azure hdinsight mapr distcp

我正在尝试执行下面的distcp命令,但是它引发了异常:

hadoop distcp date_load=201901* wasb://dev3-spark@clusterdev.blob.core.windows.net/luiz/producao/performance/performance_report

引发的异常如下:

我正在尝试执行下面的distcp命令,但是它引发了异常:

hadoop distcp date_load = 201901 * wasb://dev3-spark@clusterdev.blob.core.windows.net/luiz/producao/performance/performance_report

引发的异常如下:

06/02/19 13:34:53 INFO impl.MetricsConfig:从hadoop-metrics2.properties中加载的属性 19/02/06 13:34:53 INFO impl.MetricsSystemImpl:计划的快照时间为10秒。 19/02/06 13:34:53 INFO impl.MetricsSystemImpl:azure文件系统指标系统已启动 19/02/06 13:34:53错误工具.DistCp:无效的参数: org.apache.hadoop.fs.azure.AzureException:org.apache.hadoop.fs.azure.AzureException:在帐户clusterdev.blob.core.windows.net中找不到容器dev3-spark,我们无法使用创建它匿名凭证。         在org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.createAzureStorageSession(AzureNativeFileSystemStore.java:938)         在org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.initialize(AzureNativeFileSystemStore.java:438)         在org.apache.hadoop.fs.azure.NativeAzureFileSystem.initialize(NativeAzureFileSystem.java:1048)         在org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2693)         在org.apache.hadoop.fs.FileSystem.access $ 300(FileSystem.java:98)         在org.apache.hadoop.fs.FileSystem $ Cache.getInternal(FileSystem.java:2773)         在org.apache.hadoop.fs.FileSystem $ Cache.get(FileSystem.java:2755)         在org.apache.hadoop.fs.FileSystem.get(FileSystem.java:411)         在org.apache.hadoop.fs.Path.getFileSystem(Path.java:309)         在org.apache.hadoop.tools.DistCp.setTargetPathExists(DistCp.java:216)         在org.apache.hadoop.tools.DistCp.run(DistCp.java:116)         在org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)         在org.apache.hadoop.tools.DistCp.main(DistCp.java:430) 由以下原因引起:org.apache.hadoop.fs.azure.AzureException:帐户clusterdev.blob.core.windows.net中的容器dev3-spark未找到,我们无法使用匿名凭证创建它。         在org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.connectUsingAnonymousCredentials(AzureNativeFileSystemStore.java:730)         在org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.createAzureStorageSession(AzureNativeFileSystemStore.java:933)         ...另外12个 无效的参数:org.apache.hadoop.fs.azure.AzureException:帐户clusterdev.blob.core.windows.net中的容器dev3-spark未找到,我们无法使用匿名凭证创建它。

1 个答案:

答案 0 :(得分:0)

您可以将本地群集转移到Azure存储帐户

% hadoop distCP hdfs://<yourHostName>:9001/user/<yourUser>/<yourDirectory> wasbs://<yourStorageContainer>@<YourStorageAccount>.blob.core.windows.net/<yourDestinationDirectory>/

希望这会有所帮助。