Apache NiFi和StreamSet

Question

Apache NiFi是否比StreamSet慢？

我创建了一个管道，该管道从Kafka主题接收数据，并将数据转储到Apache NiFi和StreamSets中的另一个Kafka主题中，但是StreamSets比NiFi快得多。

我在NiFi中使用ConsumerkafkaRecord处理器，在StreamSets中使用KafkaConsumer。

Answer 1

我对NiFi非常熟悉。如果仅从每个节点的速度来看，我认为NiFi在特定情况下没有优于Streamset的优势。 NiFi旨在处理任意来源和接收者，这意味着它通常不也不应假设任何来源的交易行为。尽管Kafka确实提供了一种出色的设计模式，包括获取数据，处理事务，将数据发送到kafka或其他地方，然后确认响应。 NiFi社区正在采用NiFi-FN方法，这是一种越来越普遍和可扩展的模式，该方法既使一般的数据分配情况又使这种情况在NiFi中成为最佳选择。当您查看耐用性，可靠性，数据和源/汇的多样性以及内置来源时，NiFi带来了许多真正重要的优势。如果您需要的只是perf，并且对于这种特定情况，Streamsets更好，或者我建议使用Spark / Spark Streaming。如果您的需求将超出此处所述的范围，并且数据分发/数据流管理成为重点，那么NiFi将绝对是最佳选择。

Answer 2

是的，NiFi比StreamSet慢。在转换流水线中每条记录的数据时，NiFi基本上非常慢，因为NiFi最初旨在简单地处理“文件”。但是，NiFi提供了一些出色的功能，因此它实际上取决于您要实现的目标。