Spark Streaming - 为Spark Streaming本地调用REST API与构建功能

Question

我们有一个特定的功能来管理时间序列数据。功能性已作为REST API提供，并在Cloudfoundry上运行。我们希望使用Spark Streaming和kafka提供对时间序列数据的支持，以便解决方案更具可扩展性和可靠性。 从spark streaming intead调用REST API有什么缺点，可以在spark中构建本机功能。

Answer 1

我认为如果您的REST API可以支持Spark Streaming的吞吐量，REST API可以直接支持吞吐量。在这种情况下，您根本不需要Spark Streaming。如果您需要的是缓冲区以实现意外峰值，则可以使用比Spark Streaming更简单的方法来实现这一目标。

为了更直接地解决您的问题，调用REST API会向Spark Streaming管道添加延迟和其他故障情况。在Spark Streaming中实现逻辑会直接增加代码复杂性和可能的​​重复。这两个选项都增加了操作的复杂性。