我正在尝试执行下面的distcp命令,但是它引发了异常:
hadoop distcp date_load=201901* wasb://dev3-spark@clusterdev.blob.core.windows.net/luiz/producao/performance/performance_report
引发的异常如下:
我正在尝试执行下面的distcp命令,但是它引发了异常:
hadoop distcp date_load = 201901 * wasb://dev3-spark@clusterdev.blob.core.windows.net/luiz/producao/performance/performance_report
引发的异常如下:
06/02/19 13:34:53 INFO impl.MetricsConfig:从hadoop-metrics2.properties中加载的属性 19/02/06 13:34:53 INFO impl.MetricsSystemImpl:计划的快照时间为10秒。 19/02/06 13:34:53 INFO impl.MetricsSystemImpl:azure文件系统指标系统已启动 19/02/06 13:34:53错误工具.DistCp:无效的参数: org.apache.hadoop.fs.azure.AzureException:org.apache.hadoop.fs.azure.AzureException:在帐户clusterdev.blob.core.windows.net中找不到容器dev3-spark,我们无法使用创建它匿名凭证。 在org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.createAzureStorageSession(AzureNativeFileSystemStore.java:938) 在org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.initialize(AzureNativeFileSystemStore.java:438) 在org.apache.hadoop.fs.azure.NativeAzureFileSystem.initialize(NativeAzureFileSystem.java:1048) 在org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2693) 在org.apache.hadoop.fs.FileSystem.access $ 300(FileSystem.java:98) 在org.apache.hadoop.fs.FileSystem $ Cache.getInternal(FileSystem.java:2773) 在org.apache.hadoop.fs.FileSystem $ Cache.get(FileSystem.java:2755) 在org.apache.hadoop.fs.FileSystem.get(FileSystem.java:411) 在org.apache.hadoop.fs.Path.getFileSystem(Path.java:309) 在org.apache.hadoop.tools.DistCp.setTargetPathExists(DistCp.java:216) 在org.apache.hadoop.tools.DistCp.run(DistCp.java:116) 在org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) 在org.apache.hadoop.tools.DistCp.main(DistCp.java:430) 由以下原因引起:org.apache.hadoop.fs.azure.AzureException:帐户clusterdev.blob.core.windows.net中的容器dev3-spark未找到,我们无法使用匿名凭证创建它。 在org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.connectUsingAnonymousCredentials(AzureNativeFileSystemStore.java:730) 在org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.createAzureStorageSession(AzureNativeFileSystemStore.java:933) ...另外12个 无效的参数:org.apache.hadoop.fs.azure.AzureException:帐户clusterdev.blob.core.windows.net中的容器dev3-spark未找到,我们无法使用匿名凭证创建它。
答案 0 :(得分:0)
您可以将本地群集转移到Azure存储帐户
% hadoop distCP hdfs://<yourHostName>:9001/user/<yourUser>/<yourDirectory> wasbs://<yourStorageContainer>@<YourStorageAccount>.blob.core.windows.net/<yourDestinationDirectory>/
希望这会有所帮助。