无法从Apache NIFI PUTHDFS处理器写入Azure Datalake

Question

我正在尝试使用“ PUTHDFS”处理器写入datalake。我在puthdfs处理器配置中提供了core-site.xml和hdfs-site.xml文件路径，其他资源路径，目录。但是，我收到的错误如图所示。任何帮助将不胜感激。

其他资源路径中存在JAR文件：

谢谢。

Answer 1

我正在使用Nifi 1.9.0，后者正在使用Apache Hadoop 3.0.0 ..，我只需要2个jar文件即可访问Azure Datalake gen1中的“其他类路径资源”

azure-data-lake-store-sdk-2.3.1.jar hadoop-azure-datalake-3.1.1.jar

可以从Maven中央存储库中获得这些jar。

然后，您只需为“ Hadoop配置资源”提供core-site.xml

示例：将$ var替换为您的值

<configuration>
<property>
<name>fs.defaultFS</name>
<value>adl://$adls-storage-account-name.azuredatalakestore.net</value>
</property>
<property>
<name>dfs.adls.oauth2.access.token.provider.type</name>
<value>$ClientCredential</value>
</property>
<property>
<name>dfs.adls.oauth2.refresh.url</name>
<value>https://login.microsoftonline.com/$tenant-id/oauth2/token</value>
</property>
<property>
<name>dfs.adls.oauth2.client.id</name>
<value>$client id</value>
</property>
<property>
<name>dfs.adls.oauth2.credential</name>
<value>$key</value>
</property>
</configuration>