我正在尝试访问Spark中的wasb(Azure blob存储)文件,需要指定帐户密钥。
如何在spark-env.sh
文件中指定帐户?
fs.azure.account.key.test.blob.core.windows.net
EC5sNg3qGN20qqyyr2W1xUo5qApbi/zxkmHMo5JjoMBmuNTxGNz+/sF9zPOuYA==
我尝试此操作时会抛出以下错误
fs.azure.account.key.test.blob.core.windows.net: command not found
答案 0 :(得分:0)
根据您的描述,您使用的Spark无论是在Azure上还是在本地,都不清楚。
对于在本地运行的Spark,请参阅此blog post,其中介绍了如何从Spark访问Azure Blob存储。关键是您需要将Azure存储帐户配置为core-site.xml文件中与HDFS兼容的存储,并添加两个罐子hadoop-azure& azure-storage到你的类路径,通过协议wasb [s]访问HDFS。
对于在Azure上运行的Spark,区别仅在于使用wasb访问HDFS,在使用Spark创建HDInsight群集时,Azure已完成所有配置。