从数据砖连接到DataLake(ADLS Gen2)存储时出错

时间:2019-10-03 18:18:16

标签: azure-data-lake azure-databricks

我正在尝试从databricks python连接到dataLake Gen2存储,不幸的是,我遇到了错误。

代码:

dbutils.fs.ls("abfss://<fsystem name>@<storage name>.dfs.core.windows.net/<folder name>")

错误消息:

  

找不到配置属性.dfs.core.windows.net。

我怀疑这与我的安装代码有关吗?另外,我已经使用Storage Explorer将“租户ID”添加到了容器“管理访问”中。

这是我的挂载代码:

configs = {"fs.azure.account.auth.type": "OAuth",
       "fs.azure.account.oauth.provider.type": "org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider",
       "fs.azure.account.oauth2.client.id": "<client ID>",
       "fs.azure.account.oauth2.client.secret":  "secret",
       "fs.azure.account.oauth2.client.endpoint": "https://login.microsoftonline.com/directory id/oauth2/token"}
dbutils.fs.mount(  source = "abfss://filesystem name@<storage name>.dfs.core.windows.net/",  mount_point = /mnt/soldel",  extra_configs = configs)

安装代码运行正常,没有错误。请建议

1 个答案:

答案 0 :(得分:0)

注意:如果不使用Databricks配置存储帐户,则无法访问Azure Data Lake Gen2帐户。

这是预期的错误消息,因为您尚未使用数据块配置存储帐户来列出文件系统。

请检查错误消息,并查看Databricks中列表文件系统的正确过程。 enter image description here

有关更多详细信息,请参阅“ Databricks - Azure Data Lake Storage Gen2”。

希望这会有所帮助。