Question

使用服务主体从ADLS Gen2读取文件时出现错误。

configs = {"fs.azure.account.auth.type": "OAuth",
           "fs.azure.account.oauth.provider.type": 
           "org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider",
           "fs.azure.account.oauth2.client.id": "<your-service-client-id>",
           "fs.azure.account.oauth2.client.secret": dbutils.secrets.get(scope 
           = "<scope-name>", key = "<key-name>"),
           "fs.azure.account.oauth2.client.endpoint": 
           "https://login.microsoftonline.com/<your-directory-id>/oauth2/token"}

以下用于读取文件的代码：

df=spark.read.csv('abfss:
//tempfile@tempaccount.dfs.core.windows.net/temp.csv')

得到以下错误：

检测到fs.azure.account.key的无效配置值

Answer 1

您可以尝试以下操作：

代替此行：

"fs.azure.account.oauth2.client.secret": dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")，

尝试如下使用：

"fs.azure.account.oauth2.client.secret": "<key-name>",

希望这会有所帮助。

如果这回答了您的查询，请同时单击“标记为答案”和“上投票”。而且，如果您还有其他疑问，请告诉我们。

获取错误使用服务主体从ADLS Gen2读取文件时，检测到fs.azure.account.key的无效配置值

1 个答案: