风暴拓扑拓扑在2或3天后未处理

Question

我正在运行一个3节点Storm群集。我们正在提交一个包含10名工作人员的拓扑，以下是toplogy详细信息

拓扑详细信息：

kafkaspout: 1 (with 10 kafka partions and 10 executors) 
no of bolt: 4 (with bolt1 - 30 executors,bolt2 - 50 executors, bolt3 - 80 executors and bolt4 has 100 executors)
kafka spout pending : 500 messages

我们每天处理800万到1000万个数据。问题是Toplolgy只运行了2到3天，而我们在kafka spout中看到一些失败的元组并且没有处理任何消息。当提交新的toplogy它工作正常但是再过2到3天我们就会看到同样的问题。有人可以为我们找到解决方案。下面是我的风暴配置

的 Storm.yaml：

worker.childopts: "-Xmx3072m -XX:-UseGCOverheadLimit -server -XX:+AggressiveOpts -XX:+UseCompressedOops -Djava.net.preferIPv4Stack=true -XX:MaxTenuringThreshold=1 -XX:SurvivorRatio=6 -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly"
storm.zookeeper.servers:
     - "zoo1"
     - "zoo2"
     - "zoo3"
storm.zookeeper.port: 2181
ui.port: 9095
ui.host: uihost

nimbus.host: "nimbushost"
storm.local.dir: "/storm-logs"

supervisor.slots.ports:
   - 6700
   - 6701
   - 6702
   - 6703
   - 6704
   - 6705
   - 6706
   - 6707
   - 6708
   - 6709

Answer 1

这些都是非常古老的版本。我对Storm pre-0.10不太熟悉，但是我会将这个答案https://stackoverflow.com/a/49138567/8845188链接起来，因为案例似乎相似。

请注意，与Storm 1.1.1上的其他用户不同，您使用的版本可能没有修复STORM-1750，因此您应该考虑升级。