Spark Streaming - Spark流中不接收Netcat消息

Question

我正在尝试测试火花流。我独自一人cloudera quickstart vm。使用以下命令启动spark-shell：

spark-shell --master yarn-client --conf spark.ui.port=23123

在spark-shell中，我执行了以下语句：

sc.stop()
import org.apache.spark.SparkConf
import org.apache.spark.streaming.StreamingContext
val conf = new SparkConf().setAppName("Spark Streaming")
val ssc = new StreamingContext(conf,org.apache.spark.streaming.Seconds(10))
val lines = ssc.socketTextStream("localhost",44444)
lines.print

在另一个终端中使用以下命令启动了netcat服务：

nc -lk 44444

在spark-shell中启动了流式上下文

ssc.start()

直到现在一切都很好。但是，无论在Spark中如何收到Netcat服务中输入的消息，都不知道它出错了。

Answer 1

尝试spark-shell --master local[2] --conf spark.ui.port=23123看看它是否有效。

如果它有效，那么在你的脚本中，只有一个执行器工作，它正在接收消息，但没有执行器正在处理消息。