我正在尝试从databricks python连接到dataLake Gen2存储,不幸的是,我遇到了错误。
代码:
dbutils.fs.ls("abfss://<fsystem name>@<storage name>.dfs.core.windows.net/<folder name>")
错误消息:
找不到配置属性.dfs.core.windows.net。
我怀疑这与我的安装代码有关吗?另外,我已经使用Storage Explorer将“租户ID”添加到了容器“管理访问”中。
这是我的挂载代码:
configs = {"fs.azure.account.auth.type": "OAuth",
"fs.azure.account.oauth.provider.type": "org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider",
"fs.azure.account.oauth2.client.id": "<client ID>",
"fs.azure.account.oauth2.client.secret": "secret",
"fs.azure.account.oauth2.client.endpoint": "https://login.microsoftonline.com/directory id/oauth2/token"}
dbutils.fs.mount( source = "abfss://filesystem name@<storage name>.dfs.core.windows.net/", mount_point = /mnt/soldel", extra_configs = configs)
安装代码运行正常,没有错误。请建议
答案 0 :(得分:0)
注意:如果不使用Databricks配置存储帐户,则无法访问Azure Data Lake Gen2帐户。
这是预期的错误消息,因为您尚未使用数据块配置存储帐户来列出文件系统。
请检查错误消息,并查看Databricks中列表文件系统的正确过程。
有关更多详细信息,请参阅“ Databricks - Azure Data Lake Storage Gen2”。
希望这会有所帮助。