用于火花传播的多个Kafka流

时间:2017-06-06 14:34:02

标签: apache-kafka spark-streaming

如何从两个不同的主题(如view_event和click_event)输入kafka流,我们如何在Java中执行此操作,以便两个流并行接收。直到现在我正在尝试这个

    JavaPairInputDStream<String, GenericData.Record> stream_1 =
    KafkaUtils.createDirectStream(ssc, String.class, GenericData.Record.class, StringDecoder.class,
        GenericDataRecordDecoder.class, props, topicsSet_1);


JavaPairInputDStream<String, GenericData.Record> stream_2 =
    KafkaUtils.createDirectStream(ssc, String.class, GenericData.Record.class, StringDecoder.class,
        GenericDataRecordDecoder.class, props, topicsSet_2);

但我观察到输出中有些奇怪,有时只接收Stream_1并且只接收stream_2。 此外,我使用连接器版本0.8.2.1,如果您提供示例代码示例,我会更好。

0 个答案:

没有答案