Question

我使用以下运行命令运行spark：

spark-submit --class "Pagecounts" --master local[*] target/scala-2.11/Pagecounts-assembly-0.1-SNAPSHOT.jar <some_file_name>

但我收到以下初始化错误：

Using Spark's default log4j profile: org/apache/spark/log4j-    defaults.properties                                                                                             
16/10/01 18:26:09 INFO SparkContext: Running Spark version 2.0.0                                                                                                            
16/10/01 18:26:12 WARN NativeCodeLoader: Unable to load native-hadoop library     for your platform... using builtin-java classes where applicable                              
16/10/01 18:26:13 ERROR SparkContext: Error initializing SparkContext.                                                                                                      
java.net.UnknownHostException: linux-21ql.site: linux-21ql.site: unknown error

有人可以帮忙解决这个问题吗？

Answer 1

我认为你不能像这样在本地部署这个应用程序，因为jar需要spark环境来运行spark应用程序但是这里本地[]没有任何内容如果你想在本地运行应用程序然后只需设置master local []在您的SparkConf对象中，如下所示

val conf = new SparkConf().setMaster("local[*]")

或者，如果你想像上面那样运行spark-submit，你应该创建一个本地集群，如https://blog.knoldus.com/2015/04/14/setup-a-apache-spark-cluster-in-your-single-standalone-machine/所示

并像上面一样部署jar，你只需用spark：// IP：PORT

更改主值

SparkContext初始化错误：Scala

1 个答案: