Question

我参与了http://rishiverma.com/software/blog/2014/07/31/spark-streaming-and-kafka-quickstart/

上名为KafkaWordCount的示例顺便说一句，我修改了一些并不重要的细节。当我走到最后一步建立一个Kafka消费者时，它失败并说：

Exception in thread "main" org.apache.spark.SparkException: Could not parse Master URL: 'localhost:2181'
at org.apache.spark.SparkContext$.org$apache$spark$SparkContext$$createTaskScheduler(SparkContext.scala:1493)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:279)
at org.apache.spark.streaming.StreamingContext$.createNewSparkContext(StreamingContext.scala:542)
at org.apache.spark.streaming.StreamingContext$.createNewSparkContext(StreamingContext.scala:555)
at org.apache.spark.streaming.StreamingContext.<init>(StreamingContext.scala:92)
at org.apache.spark.streaming.examples.KafkaWordCount$.main(KafkaWordCount.scala:54)
at org.apache.spark.streaming.examples.KafkaWordCount.main(KafkaWordCount.scala)

有没有人遇到这种失败？

Answer 1

您使用的是哪个版本的Spark？在Spark 1.0+中，KafkaWordCount位于 org.apache.spark。 examples.streaming 包下。从您的堆栈跟踪，您的版本看起来像 org.apache.spark。 streaming.examples ，这表明您使用的是1.0之前版本的Spark。

在Spark 0.9.x（在引入SparkConf和spark-submit之前发布）中，这个例子的第一个参数是Spark主URL（source），导致你看到的问题，由于“无法解析主网址”错误表明local:2181不是valid Spark master URL。

如果可以，我建议使用较新版本的Spark（您链接的教程建议使用Spark 1.0.1或更高版本）。否则，请按照特定版本的KafkaWordCount（example）顶部的说明操作。

运行Kafka＆amp;的一个例子失败了Spark Streaming名为KafkaWordCount

1 个答案: