我目前正在分析Apache Storm,如果它可用作流处理框架的话。它看起来非常好,但令我担心的是缩放。 据我了解,缩放是通过重新平衡完成的。
e.g。如果我不想向群集添加新服务器,我必须增加workers
。但是当我这样做时
storm rebalance storm_example -n 4
所有bolts
和spouts
在重新平衡时停止工作。但我想要的更像是:
添加服务器,在其上添加新工作程序,当新数据到达时,还要考虑使用新服务器来处理数据
我是不是不了解Storm的想法,或者用它是不可能的。
答案 0 :(得分:0)
我有类似的要求,根据我的研究,这是不可能的。在我的情况下,我们最终创建了一个新的风暴群,而不会打扰现有的风暴群。我们正在尝试根据负载分配服务器/工作人员以避免AWS成本。
知道我们是否可以这样做会很有趣。