具有一个工作节点的Apache Storm中的并行性

Question

我正在尝试使用Apache Storm并行化我的拓扑，但是如果我增加worker数量> 1，它会在worker节点上给我rating错误。它可以在本地集群中与1个工人一起正常工作。我想要一种方法来并行化拓扑并仅使用一个工作节点来测量不同的参数，例如吞吐量，延迟，发射率等。

Answer 1

基于您发布的堆栈跟踪，Kryo似乎正在尝试序列化ArrayList并遇到ConcurrentModificationException。我会寻找发射ArrayList的任何地方，并确保在将其传递给OutputCollector.emit之后不要对其进行修改。

很可能只有一个工作程序却没有看到此问题的原因是，Storm仅在需要将发出的对象发送给另一工作程序时才序列化它们。