Question

我正在处理非常基本的Spark Streaming Scala代码。代码在下面

import org.apache.spark.streaming._
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.streaming.StreamingContext._
import org.apache.spark.storage.StorageLevel
import org.apache.spark.SparkConf
object TestStreamProcessor {

    def main(args: Array [String]) {

            val batchInterval = 5

                val sparkConfig = new SparkConf().setAppName("TestKinesisConsumer")
                val ssc = new StreamingContext(sparkConfig, batchInterval)
            ssc.start()
                ssc.awaitTerminationOrTimeout(batchIntervalSeconds * 5 * 1000)


    }
}

但是在使用Maven构建代码时遇到错误。

 error: org.apache.spark.streaming.StreamingContext does not have a constructor
[INFO]              val ssc = new StreamingContext(sparkConfig, batchInterval)

之前有人遇到过吗？

Answer 1

那么您到底是什么问题？如果打开docs，则可以看到batchDuration参数的类型为org.apache.spark.streaming.Duration。您是否尝试过类似的

val ssc = new StreamingContext(sparkConfig, Seconds(batchInterval))

StreamingContext没有构造函数

1 个答案: