我正在使用带有Scala的intellij中的spark 1.6
我正在尝试构建流式应用程序
代码:
import domain.XYZ
import org.apache.spark.SparkContext
import org.apache.spark.sql.functions._
import org.apache.spark.streaming._
import utils.SparkUtils._
object StreamingJob {
def main(args: Array[String]): Unit = {
// setup spark context
val sc = getSparkContext("FIRSTSpark")
val sqlContext = getSQLContext(sc)
import sqlContext.implicits._
val batchDuration = Seconds(180)
val ssc = new StreamingContext(sc, batchDuration)
val inputPath = "file:///D:/spark/sourcefile/Stream"
val textDStream = ssc.textFileStream(inputPath)
textDStream.print()
ssc.start()
ssc.awaitTermination()
}
}
该路径有两个文件(如图中所示),但没有拾取,我正在通过简单的打印语句测试代码 但它不会在控制台上打印任何内容。