Question

我已经启动了Spark master和worker，可以在HDFS上轻松运行像wordcount这样的MapReduce。

现在我想在textstream上运行流媒体，当我想创建一个新的StreamingContext时我有这个错误：

scala> val ssc = new StreamingContext("spark://master:7077","test", Seconds(2))
13/07/17 11:13:45 INFO slf4j.Slf4jEventHandler: Slf4jEventHandler started
org.jboss.netty.channel.ChannelException: Failed to bind to: /192.168.2.105:48594
    at org.jboss.netty.bootstrap.ServerBootstrap.bind(ServerBootstrap.java:298)
....

我检查了端口，它被Java使用。我杀了这个过程，我离开了Spark-shell。

有什么办法可以将StreamingContext的端口改为随机自由端口吗？

Answer 1

Java是spark的基础过程（scala在jvm上运行）。您可能有多个火花/火花流运行副本。你能看一下吗？

具体来说：如果我已经运行了spark-shell，我会得到相同的结果。

您可以检查其他火花过程：

ps -ef | grep spark | -v grep

StreamingContext无法绑定到Java使用的端口

1 个答案: