Spark Streaming无法从路径中拾取文件

时间:2019-09-29 18:45:51

标签: apache-spark spark-streaming

我正在使用带有Scala的intellij中的spark 1.6

我正在尝试构建流式应用程序

代码:

import domain.XYZ
import org.apache.spark.SparkContext
import org.apache.spark.sql.functions._
import org.apache.spark.streaming._
import utils.SparkUtils._

object StreamingJob {

  def main(args: Array[String]): Unit = {
    // setup spark context
    val sc = getSparkContext("FIRSTSpark")
    val sqlContext = getSQLContext(sc)
    import sqlContext.implicits._

    val batchDuration = Seconds(180)

    val ssc = new StreamingContext(sc, batchDuration)

    val inputPath = "file:///D:/spark/sourcefile/Stream"


    val textDStream = ssc.textFileStream(inputPath)
    textDStream.print()


    ssc.start()
    ssc.awaitTermination()

  }
}

该路径有两个文件(如图中所示),但没有拾取,我正在通过简单的打印语句测试代码 但它不会在控制台上打印任何内容。

有人请帮助我,这是已知问题,或者如果我缺少某些东西。 console not printing file content

filepath

0 个答案:

没有答案