使用Kafka消耗火花RDD

Question

JAVA中是否有使用Kafka在JAVA中消耗火花RDD的样本，如果有，请告诉我

我正在尝试一些事情，但我不确定如何在制作人中发送RDD并在Kafka消费者中使用它。

感谢。

Answer 1

要将您的RDD写入kafka，您可以使用cloudera的API。这是link。

Answer 2

代码将是这样的：

import org.apache.spark.streaming.kafka.*;

 JavaPairReceiverInputDStream<String, String> directKafkaStream = 
     KafkaUtils.createDirectStream(streamingContext,
         [key class], [value class], [key decoder class], [value decoder class],
         [map of Kafka parameters], [set of topics to consume]);

查看kafka-integration和code example