Question

我创建了一个带有Spout的Storm拓扑，该Spout发出许多元组用于基准测试。一旦所有元组都从喷嘴中发出，或者不再有任何元组在拓扑中流动，我想停止/杀死拓扑。

这是我的拓扑结构。

LocalCluster cluster = new LocalCluster();
TopologyBuilder builder = new TopologyBuilder();
Config conf = new Config();
//Disabled ACK'ing for higher throughput
conf.put(Config.TOPOLOGY_ACKER_EXECUTORS, 0); 

LoadGeneratorSource loadGenerator = new LoadGeneratorSource(runtime,numberOfTuplesToBeEmitted);
builder.setSpout("loadGenerator", loadGenerator);

//Some Bolts Here

while (loadGenerator.isRunning()){
//Active Waiting
}
//DO SOME STUFF WITH JAVA
cluster.killTopology("StormBenchmarkTopology");

问题是我要在此范围内引用的loadGenerator实例与在spout线程中运行的实例不同。因此，即使在spout线程内部，当不再有元组要发出时，isRuning（）始终返回true。

这是LoadGeneratorSource类的一部分。


public class LoadGeneratorSource extends BaseRichSpout {

    private final int throughput;
    private boolean running;
    private final long runtime;


    public LoadGeneratorSource(long runtime,int throughput) {
        this.throughput = throughput;
        this.runtime = runtime;
    }

    @Override
    public void nextTuple() {
        ThroughputStatistics.getInstance().pause(false);

        long endTime = System.currentTimeMillis() + runtime;
        while (running) {
            long startTs = System.currentTimeMillis();

            for (int i = 0; i < throughput; i++) {
                try {
                    emitValue(readNextTuple());
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
            while (System.currentTimeMillis() < startTs + 1000) {
                // active waiting
            }

            if (endTime <= System.currentTimeMillis())
                setRunning(false);
        }
    }

    public boolean isRunning() {
        return running;
    }

    public void setRunning(boolean running) {
        this.running = running;
    }

    //MORE STUFF

}

一旦喷嘴不再发出或在拓扑中流动的元组不再，有人可以告诉我停止拓扑的方法吗？感谢您的提前帮助。

Answer 1

这似乎是Killing storm topology from spout的副本。请尝试在那里给出的答案。

只提供一个简短的摘要；您尝试执行此操作的方法无效，但是您可以使用喷口中的NimbusClient来要求Nimbus杀死拓扑。附带的好处是，一旦部署到实际集群中，该功能也将起作用。

Spout完成后杀死Storm拓扑

1 个答案: