将数据导入Spark Streaming

Question

您好我很兴奋，我正在尝试使用Meetup RSVP stream实现一个简单的火花流应用程序。

知道如何将流连接到Spark Streaming吗？ 我正在尝试rawSocketStream但不确定参数是什么（即端口） 谢谢

Answer 1

我认为您可以使用socketTextStream来获取流：http://stream.meetup.com/2/rsvps

让我们看一个例子：

import org.apache.spark._
import org.apache.spark.streaming._
import org.apache.spark.streaming.StreamingContext._

// Create a local StreamingContext with two working thread and batch interval of 1 second
val conf = new SparkConf().setMaster("local[2]").setAppName("meetup")
val ssc = new StreamingContext(conf, Seconds(1))
// Create a DStream that will connect to http://stream.meetup.com/2/rsvps:80
val lines = ssc.socketTextStream("http://stream.meetup.com/2/rsvps", 80)

我希望这可以帮到你。