在EC2-EBS群集或EMR群集上安装Apache NiFi-哪个是更好的选择?

时间:2019-12-21 10:08:36

标签: amazon-ec2 apache-nifi amazon-emr ambari hdf

我的要求是-在EC2实例(支持EBS)中安装NiFi群集。将其用作摄入点。我还需要通过此NiFi实例在EMR群集上提交Spark,Hive作业。要求类似于本博文https://www.batchiq.com/emr-ingest-with-nifi.html

1)如何通过NiFi实例在EMR集群上提交作业。目前,我的项目在EMR Edge Node中安装了NiFi。但是我们想将NiFi安装到单独的EBS支持的EC2群集中。这种方法好吗?

2)如果将NiFi单独安装在EC2实例上而不是在EMR上安装,则请建议更适合安装NiFi的EC2实例类型,即M5或C5实例,这将更适合生产级机器。目前,NiFi已安装在具有约300 RAM和一些TB存储空间的单个EMR边缘节点上。如您所见,由于它位于具有大量存储空间和内存的边缘节点上,因此在存储Flowfile,NiFi的内容存储库以及JVM堆大小方面没有问题。但是,如果我们需要将其移至EC2-EBS支持的实例,那么所需的等效机器实例类型应该是什么?

3)是否需要使用NiFi Cluster或NiFi Standalone?如果您建议使用NiFi群集,我们是否要进行HDF Ambari安装过程或从AWS Marketplace或NiFi的独立安装进行任何适用于NiFI的AMI。但是我们也需要管理和监视NiFi实例,也类似于Ambari提供的控件。那么哪个更好或者是其他解决方案呢?

请提出建议。

0 个答案:

没有答案