群集中的拓扑是否可以写入本地文件系统上的txt文件？ （在同一系统上运行的集群）

Question

目前正在研究一个项目，从TI-SensorTag CC2650收集传感器值，通过HTTP（通过Apache-TomCat-Servlet）将这些值与python脚本一起发送到Apache-Kafka并将Kafka与Apache连接 - 风暴处理数据。

此数据将通过拓扑中的螺栓写入我的本地系统（Apache-Storm-Cluster-Folder的目录）上的.txt文件。

几周前我刚刚开始使用Storm和Kafka，我对以下内容感到困惑：

如果我在本地群集上运行拓扑，一切正常。但是如果我将它提交到一个“普通”集群，运行在localhost：8888上，那么它什么都不做。

Storm-UI确实显示了拓扑，但似乎对来自kafka的传入消息没有反应。

不应该在本地群集上进行测试，真实群集上的功能是否相似？或者群集是否没有在本地系统上编写/修改文件的权限？

其他信息：

概述（“系统”之间的连接）：

应该如何运作？

  

当我向Kafka中的主题写消息时，拓扑的Kafka-Spout应该抓取该消息并将其写入我本地文件系统上的.txt文件中。

我的代码（jar-with-dependencies）位于：

  

“/ home / tobias / storm / apache-storm-0.9.2-incubating / mycode / StormKafkaTopology / target /”

我试着写在位于：

的 output.txt 中

  

“/家/托拜厄斯/风暴/ Apache的风暴0.9.2-温育/ mycode的/ StromKafkaTopology”/ TMP /“

拓扑代码：

    public class StormKafkaTopology {

public static void main(String[] args) throws Exception {

    Config config = new Config();
    config.setDebug(true);
    config.put(Config.TOPOLOGY_MAX_SPOUT_PENDING, 1);
    String zkConnString = "localhost:2181";
    String topic = "mytopic";
    BrokerHosts hosts = new ZkHosts(zkConnString);

    SpoutConfig kafkaSpoutConfig = new SpoutConfig(hosts, topic, "/" +topic, UUID.randomUUID().toString());
    kafkaSpoutConfig.bufferSizeBytes = 1024 * 1024 * 4;
    kafkaSpoutConfig.fetchSizeBytes = 1024 * 1024 * 4;
    //kafkaSpoutConfig.forceFromStart = true;
    kafkaSpoutConfig.scheme = new SchemeAsMultiScheme(new StringScheme());

    TopologyBuilder builder = new TopologyBuilder();
    builder.setSpout("kafka-spout", new KafkaSpout(kafkaSpoutConfig));
    builder.setBolt("printer-bolt", new PrinterBolt()).shuffleGrouping("kafka-spout");

    if (args != null && args.length >0) {
        config.setNumWorkers(6);
        config.setNumAckers(6);
        //config.setMaxSpoutPending(100);
        //config.setMessageTimeoutSecs(20);
        StormSubmitter.submitTopology("StormKafkaTopology", config, builder.createTopology());
    } else {
        LocalCluster cluster = new LocalCluster();
        cluster.submitTopology("StormKafkaTopology", config, builder.createTopology());
        Utils.sleep(10000);
        cluster.killTopology("StormKafkaTopology");
        cluster.shutdown();
    }
}}

PrinterBolt的代码：

public class PrinterBolt extends BaseBasicBolt {
/*
*   execute-method will be opened if tuples are processed
*/
@Override
public void execute(Tuple tuple, BasicOutputCollector collector) {
    String msg = tuple.getString(0);
    System.out.println("======before write file======");
    try {
        // set file directory:
        File file = new File("/home/tobias/storm/apache-storm-0.9.2-incubating/mycode/StormKafkaTopology/tmp/output.txt");
        if(!file.exists()) {
            file.createNewFile();
        }
    //create a FileWriter
    FileWriter fw = new FileWriter(file.getAbsoluteFile(), true);
    //create a BufferedWriter
    BufferedWriter bw = new BufferedWriter(fw);
    //write into the file
    bw.write(msg + "\n");
    //close the BufferedWriter (IMPORTANT)
    bw.close();
    } catch (IOException e) {
        e.printStackTrace();
    }
    System.out.println("======after write file======");
    //you could emit some Date here for further processing:
    //collector.emit(new Values(msg));
}

@Override
public void declareOutputFields(OutputFieldsDeclarer declarer) {
    declarer.declare(new Fields("output"));
}}

如果有人能够指出我的错误，我会很高兴，并且可以给出一些建议。

Answer 1

如果您能够在本地＆＃34;那是一个很好的第一步。此外，听起来你能够进入Storm UI，这很好。提交拓扑后，它应显示在Storm UI中，然后您可以单击它以查看拓扑中的spouts和bolt。单击每个喷口/螺栓，然后单击端口（每个工作器一个）以在UI中查看日志。

我的猜测是某处有错误。是时候开始挖掘风暴/卡夫卡日志来了解它是什么。

问：如何识别哪个工作人员创建了哪个日志？为每个工作人员分配一个端口。每个工作日志都是拓扑名称+端口的组合。对于您，只需查找最新的日志并查看其中的内容。

有几件事：

• 从1名工人开始，更简单
• Update the logging in your PrinterBolt to use SLF4J以便您可以在风暴的日志和用户界面中查看消息
• 添加try / catch，如果发生异常，请使用collector.reportError(e);报告错误。然后它会在暴风雨中出现红色！
• 关于您的图表的小说明，Kafka经纪人端口是9092而不是2181 ... 2181仅适用于zookeeper