Question

我正在尝试通过以下配置属性访问spark java中的adls gen2。

fs.azure.account.auth.type
fs.azure.account.oauth.provider.type
fs.azure.account.oauth2.client.endpoint
fs.azure.account.oauth2.client.id
fs.azure.account.oauth2.client.secret

我已经创建了blob容器，并使用软件“ Azure storage Explorer” 1.9版在其中上传了文件路径ex。https://devbdstreamsv2.dfs.core.windows.net/gen2container/adlsgen2/flat.json。我试图根据代码访问我正在使用的abfs文件路径abfs[s]://<file_system>@<account_name>.dfs.core.windows.net/<path>/中提到。但是我的疑问是我们是否没有在运行程序代码中的任何地方初始化abfs文件路径。因此，我遇到了异常“ No FileSystem for scheme：abfs”。我该如何解决此问题？我想知道使用spark java for abfs文件系统的初始化adls gen2。

Answer 1

您需要一个Spark发行版，该发行版在hadoop-azure JAR中具有abfs连接器。普通ASF版本中的hadoop-2.7.x JAR并不存在，因为abfs稍后发布（2.9 +）

java.io.IOException：方案无文件系统：Spark Java

1 个答案: