如何将Parallelism设置为Storm拓扑,将数据存储到子父关系表中?

时间:2015-12-28 15:07:28

标签: java apache-storm

我使用Apache StormTwitter Api's收集一些实时数据。我写了Storm Topology kafka-spout和10 bolts。我试图将数据存储到具有子父关系的Postgres表中。

我的问题:

0)正如我们所知Storm处理并行问题时,所有数据都会立即插入到只有少数表获取数据的所有表中。

1)我保持对所有bolts的默认计数1并行性。为了在所有表中插入数据,我在bolts的每个执行方法中保持2秒睡眠方法。其中所有数据都进入风暴,但它需要很长时间才能将数据插入表中并导致致命错误,而下一个螺栓正在恢复。

我需要解决方案: 如何将并行计数设置为storm bolts

提前致谢。

0 个答案:

没有答案