Question

我遇到了错误：rdd动作将在DStream foreachRDD函数中暂停。

请参阅以下代码。

import _root_.kafka.common.TopicAndPartition
import _root_.kafka.message.MessageAndMetadata
import _root_.kafka.serializer.StringDecoder
import org.apache.spark._
import org.apache.spark.streaming._
import org.apache.spark.streaming.kafka._


object StreamingTest {
  def main(args: Array[String]) {
    val conf = new SparkConf().setMaster("local[4]").setAppName("NetworkWordCount")
    val sc = new SparkContext(conf)
    val ssc = new StreamingContext(sc, Seconds(5))

    val kafkaParams = Map("metadata.broker.list" -> "localhost:9092")

    val topicOffset = Map(TopicAndPartition("test_log",0)->200000L)
    val messageHandler = (mmd: MessageAndMetadata[String, String]) => mmd.message
    val kafkaStream = KafkaUtils.createDirectStream[String,String,StringDecoder,StringDecoder,String](ssc,kafkaParams,topicOffset,messageHandler)

    kafkaStream.foreachRDD(rdd=>{
      println(rdd.count())
      val collected = rdd.collect()
    })

    ssc.start()
    ssc.awaitTermination()
  }
}

错误：

功能rdd.count()或rdd.collect()将被暂停。

我使用的spark版本是1.4.1。

我是以错误的方式使用它吗？

提前致谢。

Answer 1

如果我们没有从kafka设置maxRatePerPartition，它将尝试读取所有数据，因此它看起来像是暂停的。但它实际上忙于阅读数据。

设置以下配置后

spark.streaming.kafka.maxRatePerPartition=1000

它将打印日志。

rdd动作将在DStream中暂停foreachRDD函数

1 个答案: