按主题过滤kafka流

时间:2019-04-22 10:19:40

标签: apache-kafka spark-streaming

按主题过滤包含多个主题的Kafka代码。

kafka_stream = KafkaUtils.createStream(ssc, zookeeper_server, groupId='group-0', topics={'topic1': 1,'topic2': 1}, valueDecoder=lambda v: json.loads(v))

我喜欢按topic1和topic2过滤流,假设它是kafka_stream_topic1和kafka_steeam_topic2,然后分别进行处理。

 kafka_stream_topic1.foreachRDD(lambda rdd: rdd.foreach(process_func_for_topic1))
 kafka_stream_topic2.foreachRDD(lambda rdd: rdd.foreach(process_func_for_topic2))

按每个主题过滤流,然后分别处理。

0 个答案:

没有答案