按主题过滤包含多个主题的Kafka代码。
kafka_stream = KafkaUtils.createStream(ssc, zookeeper_server, groupId='group-0', topics={'topic1': 1,'topic2': 1}, valueDecoder=lambda v: json.loads(v))
我喜欢按topic1和topic2过滤流,假设它是kafka_stream_topic1和kafka_steeam_topic2,然后分别进行处理。
kafka_stream_topic1.foreachRDD(lambda rdd: rdd.foreach(process_func_for_topic1))
kafka_stream_topic2.foreachRDD(lambda rdd: rdd.foreach(process_func_for_topic2))
按每个主题过滤流,然后分别处理。