Question

我想使用spark streaming来从HDFS读取数据。这个想法是另一个程序将继续上传新文件到HDFS目录，我的火花流工作将处理。但是，我也希望有一个结束条件。也就是说，程序上传文件到HDFS的方式可以向火花流程序发出信号，即上传所有文件。

举一个简单的例子，从Here获取程序。代码如下所示。假设另一个程序正在上传这些文件，那么如何通过该程序（不要求我们按CTRL + C）对火花流程序进行程序性信号通知结束条件？

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}

object StreamingWordCount {
  def main(args: Array[String]) {
    if (args.length < 2) {
      System.err.println("Usage StreamingWordCount <input-directory> <output-directory>")
      System.exit(0)
    }
    val inputDir=args(0)
    val output=args(1)
    val conf = new SparkConf().setAppName("Spark Streaming Example")
    val streamingContext = new StreamingContext(conf, Seconds(10))
    val lines = streamingContext.textFileStream(inputDir)
    val words = lines.flatMap(_.split(" "))
    val wc = words.map(x => (x, 1))
    wc.foreachRDD(rdd => {
      val counts = rdd.reduceByKey((x, y) => x + y)
      counts.saveAsTextFile(output)
      val collectedCounts = counts.collect
      collectedCounts.foreach(c => println(c))
    }
    )

    println("StreamingWordCount: streamingContext start")
    streamingContext.start()
    println("StreamingWordCount: await termination")
    streamingContext.awaitTermination()
    println("StreamingWordCount: done!")
  }
}

Answer 1

好的，我明白了。基本上，您从调用ssc.stop()的位置创建另一个线程，以指示流处理停止。例如，像这样。

val ssc = new StreamingContext(sparkConf, Seconds(1))
//////////////////////////////////////////////////////////////////////
val thread = new Thread 
{
    override def run 
    {
        ....
        // On reaching the end condition
        ssc.stop()
    }
}
thread.start
//////////////////////////////////////////////////////////////////////
val lines = ssc.textFileStream("inputDir")
.....

如何在Spark流媒体上创建停止条件？

1 个答案: