Question

我从kafka主题获取3MB的消息流，但默认值为1MB。现在我通过在kafa consumer.properties和server.properties文件中添加以下行，将kafka属性从1MB更改为3MB。

fetch.message.max.bytes=2048576 ( consumer.properties )
filemessage.max.bytes=2048576 ( server.properties )
replica.fetch.max.bytes=2048576 ( server.properties )

现在在Kafka中添加上述行后，3MB消息数据将进入kafka数据日志。但STORM无法处理该3MB数据，并且只能读取默认大小，即1MB数据。

那么如何更改这些配置以处理/读取3MB数据。这是我的拓扑类。

    String argument = args[0];
    Config conf = new Config();
    conf.put(JDBC_CONF, map);
    conf.setDebug(true);
    conf.put(Config.TOPOLOGY_MAX_SPOUT_PENDING, 1);
    //set the number of workers
    conf.setNumWorkers(3);

    TopologyBuilder builder = new TopologyBuilder();

    //Setup Kafka spout
    BrokerHosts hosts = new ZkHosts("localhost:2181");
    String topic = "year1234"; 
    String zkRoot = "";
    String consumerGroupId = "group1";
    SpoutConfig spoutConfig = new SpoutConfig(hosts, topic, zkRoot, consumerGroupId);

        spoutConfig.scheme = new SchemeAsMultiScheme(new StringScheme());

    KafkaSpout kafkaSpout = new KafkaSpout(spoutConfig);
    builder.setSpout("KafkaSpout", kafkaSpout,1);


    builder.setBolt("user_details", new Parserspout(),1).shuffleGrouping("KafkaSpout");

    builder.setBolt("bolts_user", new bolts_user(cp),1).shuffleGrouping("user_details");

Answer 1

在下面添加以下行

{{1}}

如何更改默认的kafka SpoutConfig类

1 个答案: