我一直在学习Storm和Samza，以了解流处理引擎如何工作，并意识到它们都是独立的应用程序，为了处理事件我需要将它添加到也连接到流处理的队列发动机。这意味着我需要将事件添加到队列（也是一个独立的应用程序，比如Kafka），Storm将从队列中选择事件并在工作进程中处理它。如果我有多个螺栓，每个螺栓将由不同的工作流程处理。 （这是我不太了解的事情之一，我看到一家公司在生产中使用了20多个螺栓，并且每个事件都在特定路径中的螺栓之间传递）
但是我真的不明白为什么我需要这么复杂的系统。这些过程涉及过多的IO操作（我的程序 - ＆gt; queue - ＆gt; storm - ＆gt;＆gt;＆bolt;螺栓），它使控制和调试它们变得更加困难。
相反，如果我从Web服务器收集数据，为什么不使用相同的节点进行事件处理？这些操作已经由我用于Web服务器的负载均衡器分布在节点上。我可以在相同的JVM实例上创建执行程序，并将事件从Web服务器异步发送到执行程序，而不涉及任何额外的IO请求。我还可以在Web服务器中查看执行程序，并确保执行程序处理事件（至少一次或完全一次处理保证）。通过这种方式，管理我的应用程序将变得更加容易，并且由于不需要太多IO操作，与通过网络将数据发送到另一个节点的其他方式相比，它将更快（这也是不可靠的）并在该节点中处理它。
我很可能在这里遗漏了一些东西，因为我知道许多公司积极使用Storm，我知道很多人推荐使用Storm或其他流处理引擎进行实时事件处理，但我只是不明白。
答案 0 :(得分：2)
我的理解是，使用像Storm这样的框架的目的是从应用程序/ Web服务器卸载繁重的处理（无论是cpu绑定，I / O绑定还是两者）并保持响应。
考虑每个应用程序服务器可能必须提供大量并发请求，而不是所有这些请求都与流处理有关。如果应用服务器已经处理了大量事件，那么它可能构成较轻请求的瓶颈，因为服务器资源（认为CPU使用，内存，磁盘争用等）已经与更重的处理请求相关联。
如果您需要面对的实际负载不是那么重，或者只是通过添加应用服务器实例来处理它，那么当然没有必要复杂化您的架构/拓扑，这实际上可能是放慢整个事情。这实际上取决于您的性能和负载要求，以及您可以在问题上投入多少（虚拟）硬件。像往常一样，基于您的负载需求进行基准测试将有助于决定采用哪种方式。
答案 1 :(得分：1)
您正确地认为，通过网络发送数据将消耗总处理时间中的更多时间。 但是，创建这些框架（Storm，Spark，Samza，Flink）是为了处理很多可能无法容纳在一台计算机内存中的数据。因此，如果我们使用多台计算机来处理数据，则可以实现并行性。 并且，跟随您有关网络延迟的问题。是!这是一个需要权衡的问题。开发人员必须知道他们正在实施要在并行框架中部署的程序。他们构建应用程序的方式也将影响通过网络传输多少数据。