将Spark ML模型保存在天蓝色斑点中

时间:2018-10-08 12:52:26

标签: azure pyspark azure-storage-blobs databricks

我尝试将我的机器学习模型保存在pyspark中以使blob蔚蓝。但这给了错误。

lr.save('wasbs:///user/remoteuser/models/')

Illegal Argument Exception: Cannot initialize WASB file system, URI authority not recognized.'

也尝试过

m = lr.save('wasbs://'+container_name+'@'+storage_account_name+'.blob.core.windows.net/models/')

但是无法在堆栈跟踪中识别用户身份。 附言:我没有使用Azure HDInsight。我只是在使用Databricks和Azure Blob存储

1 个答案:

答案 0 :(得分:0)

要直接从Azure Databricks(未安装)访问Azure Blob存储,必须设置一个帐户访问密钥:

spark.conf.set(
  "fs.azure.account.key.<your-storage-account-name>.blob.core.windows.net",
  "<your-storage-account-access-key>")

或容器的SAS。然后,您应该能够访问Blob存储:

val df = spark.read.parquet("wasbs://<your-container-name>@<your-storage-account-name>.blob.core.windows.net/<your-directory-name>")