在Spark 2.x版本中指定Azure密钥

时间:2017-09-25 15:51:20

标签: azure apache-spark apache-spark-2.0

我正在尝试访问Spark中的wasb(Azure blob存储)文件,需要指定帐户密钥。

如何在spark-env.sh文件中指定帐户?

fs.azure.account.key.test.blob.core.windows.net 
   EC5sNg3qGN20qqyyr2W1xUo5qApbi/zxkmHMo5JjoMBmuNTxGNz+/sF9zPOuYA==

我尝试此操作时会抛出以下错误

fs.azure.account.key.test.blob.core.windows.net: command not found

1 个答案:

答案 0 :(得分:0)

根据您的描述,您使用的Spark无论是在Azure上还是在本地,都不清楚。

对于在本地运行的Spark,请参阅此blog post,其中介绍了如何从Spark访问Azure Blob存储。关键是您需要将Azure存储帐户配置为core-site.xml文件中与HDFS兼容的存储,并添加两个罐子hadoop-azure& azure-storage到你的类路径,通过协议wasb [s]访问HDFS。

对于在Azure上运行的Spark,区别仅在于使用wasb访问HDFS,在使用Spark创建HDInsight群集时,Azure已完成所有配置。