无法使用本地hadoop连接azure blob存储

时间:2015-08-28 05:37:23

标签: java azure hadoop hdfs dfs

尝试将本地hadoop AZURE BLOB 存储连接起来(即使用 blob存储作为HDFS )与 Hadoop版本 - 2.7.1,它抛出异常

这里我通过设置属性

成功构建了本地群集
<property>
    <name>fs.default.name</name>
    <value>wasb://account@storage.blob.core.windows.net</value>
</property>

后面是core-site.xml中blob存储的关键值。

列出文件或对blob存储进行 HDFS操作时,将以下内容排除为

 ls: No FileSystem for scheme: wasb

任何人都可以指导我解决上述问题。

1 个答案:

答案 0 :(得分:5)

  1. 您需要在hadoop类路径中添加hadoop-azure.jar
  2. 下载azure-storage-java项目并使用maven构建它然后您将获得azure-storage-3.0.0.jar。在hadoop类路径中添加构建的jar。
  3. 现在你可以做所有的操作了。有关详细信息,请参阅Azure Blob Storage文档。