Apache Nifi慢群集问题

时间：2018-03-31 05:41:14

标签： performance apache-nifi sizing

我正在为我的一个点击流项目使用Apache nifi来做一些ETL。

我目前正在获取每秒300条消息的流量，其中包含以下内容：

  • RAM - 16 GB
  • 交换 - 6 GB
  • CPU - 16核
  • 磁盘 - 100GB（不再需要）
  • 群集 - 6个节点

整个群集用户界面变得极其缓慢，存在以下问题

  • 处理器在发生某些故障时给予反压，这会消耗很多线程
  • 原文写作变得非常慢
  • 跨节点的心跳变慢 Cluster Heart beat

我在设置

上有以下问题
  • 建议使用RPG，因为它是一个HTTP调用，我用它来传播 跨所有节点，因为EMQTT存在问题 消费者群体的过程。
  • 应该分配的线程数的建议值是多少 每个核心？
  • 基础架构大小调整的准则
  • 具有较高传入请求的大型群集的调整参数是什么，以及用于转换的大量JSON解析

1 个答案:

答案 0 :(得分：1)

一些建议

  • 是建议使用RPG，至少从我所经历的情况来看，RPG似乎提供更好的分发。看看下面的[3]
  • 有些处理器比其他处理器占用大量CPU资源，因此对于Concurrent Tasks可以设置的值没有明确的答案。这更多是您必须掌握的试错法或测试和微调方法。一个建议是，如果为CPU密集型处理器设置了太多Concurrent Tasks，它将对节点产生严重影响。
  • Hortonworks已经就此做了详细的指导。我已提供以下链接。 [1]

一些最佳做法和便捷指南：

相关问题
最新问题