Spark流，结构化流和Kafka流是否相同？

Question

我遇到了三种流行的流技术，分别是Spark流，结构化流和Kafka流。 我遍历了多个站点，但没有得到这个答案，这三个是一样的东西还是不同的？ 如果不同，则基本区别是什么。 我不是在寻找深入的答案。但是，请回答上述问题（是或否），并对每个问题进行一些介绍，以便我可以进行更多探索。 ：）

预先感谢 Subrat

Answer 1

我猜您说“ Kafka Streaming”时指的是Kafka Streams。

Kafka Streams是JVM库，是Apache Kafka的一部分。这是在Kafka主题中提供抽象层的一种处理数据的方式。运行KafkaStreams库的应用程序可以在任何地方运行（实际上，不建议仅在Kafka集群中运行）。他们将向/从Kafka集群消费，处理和产生数据。

Spark Streaming是Apache Spark分布式数据处理库的一部分，它提供Stream（与批处理相反）处理。 Spark最初仅提供批处理计算，因此提供了特定层Spark Streaming用于流处理。 Spark Streaming可以提供Kafka数据，但也可以连接到其他来源。

Structured Streaming是Apache Spark领域中的另一种方法，它克服了Spark Streaming使用的先前方法在流处理方面的某些限制。从某个版本（2.0 IIRC）开始将其添加到Spark。