使用NiFi写入启用了MFA的AWS S3存储桶

Question

在MFA处于活动状态时，是否可以使用NiFi处理器PutS3Object将数据写入S3存储桶？

如果没有，那么考虑从hive / HDFS向S3写入数据的替代方案是什么？

Answer 1

从1.8.0版开始，我认为Apache NiFi *S3Object处理器（或AWSCredentialsProviderControllerService）不支持此功能。我建议在Jira site上打开功能请求票证。您可以使用以下选项之一立即完成此操作：

• 使用ExecuteStreamCommand或ExecuteProcess通过AWS S3 CLI调用终端命令或shell脚本
• 使用ExecuteScript运行自定义Python（/ Ruby / Groovy / etc。）脚本，该脚本直接使用AWS S3 SDK（example code）
• 编写一个直接使用AWS S3 SDK的自定义处理器