如何将Azure存储模拟器用于Hadoop?

时间:2015-06-26 17:29:28

标签: hadoop azure-storage hdinsight azure-storage-emulator

我的计算机上安装了HDP群集和Azure存储模拟器,并希望从我的hadoop作业访问Azure存储模拟器。显然,这不是我的Hadoop集群的默认HDFS。我知道如果我有HDInsight模拟器,我可以访问它,因为它会自动设置配置。我想知道我需要在hadoop集群中设置哪些配置才能访问azure存储模拟器?

当我运行'hdfs dfs -ls wasb://127.0.0.1:10000 /'时,我收到以下错误消息

org.apache.hadoop.fs.azure.AzureException: Unable to access container $root in account 127.0.0.1:10000 using anonymous credentials, and no credentials found for them  in the configuration.

1 个答案:

答案 0 :(得分:0)

Ž。

您需要为存储模拟器使用不同的wasb://语法。有关详细信息,请参阅以下内容:

https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-use-blob-storage/#addressing

注:

在存储模拟器上(在HDInsight模拟器上运行)寻址文件的语法是wasb:// @ storageemulator。

问候,杰森