我使用Apache Storm
从Twitter Api's
收集一些实时数据。我写了Storm Topology
kafka-spout
和10 bolts
。我试图将数据存储到具有子父关系的Postgres
表中。
我的问题:
0)正如我们所知Storm
处理并行问题时,所有数据都会立即插入到只有少数表获取数据的所有表中。
1)我保持对所有bolts
的默认计数1并行性。为了在所有表中插入数据,我在bolts
的每个执行方法中保持2秒睡眠方法。其中所有数据都进入风暴,但它需要很长时间才能将数据插入表中并导致致命错误,而下一个螺栓正在恢复。
我需要解决方案:
如何将并行计数设置为storm bolts
?
提前致谢。