nifi生产部署的最佳实践是什么?

时间:2017-06-07 13:58:14

标签: apache-nifi

我有一个三节点的nifi集群。我们刚刚在linux机器和集群上安装了nifi软件包和单独的zookeeper集群。我打算通过nagios来监控nifi的性能,但我们看到hortonworks ambari也提供了管理和监控的功能。

在prod上部署nifi的最佳做法是什么

  • 我们应该如何扩大
  • 我们如何监控nifi
  • 我们应该监控队列/流程性能吗
  • 应该使用类似ambari的内容

问候..

编辑-1: @James实际上我正在收集公司内部多个来源的用户事件日志。

所有活动首先写入Kafka。 Nifi使用kafka,进行简单的转换,比如从有效负载到属性获取字段。

转换后,数据会写入elasticsearch和hdfs。在写入hdfs之前,我们正在合并流文件,因此写入hdfs是批量的。

我有大约50k / s的事件。

0 个答案:

没有答案