如何增加火花流接收器

时间:2015-06-06 18:03:07

标签: apache-spark spark-streaming

我的火花串流应用程序使用

监视目录
  

filestream。

如何增加接收器数量?

1 个答案:

答案 0 :(得分:1)

监控目录与其他Spark Streaming接收器所面临的接收器挑战不同。由于它的文件流Spark能够使用标准机制,工作人员可以直接从文件中读取。根据编程指南“每个输入DStream(文件流除外,本节稍后讨论)”与Receiver(Scala doc,Java doc)对象相关联,该对象从源接收数据并将其存储在Spark的内存中进行处理。所以这不用担心:)