Question

我正在用intelliJ学习spark + scala，从下面的一小段代码开始

.map()

在尝试运行时，低于异常

import org.apache.spark.{SparkConf, SparkContext}

object ActionsTransformations {

  def main(args: Array[String]): Unit = {
    //Create a SparkContext to initialize Spark
    val conf = new SparkConf()
    conf.setMaster("local")
    conf.setAppName("Word Count")
    val sc = new SparkContext(conf)

    val numbersList = sc.parallelize(1.to(10000).toList)

    println(numbersList)
  }

}

任何人都可以建议做什么。

Answer 1

在spark / bin目录中的load-spark-env.sh文件中添加SPARK_LOCAL_IP

导出SPARK_LOCAL_IP =“ 127.0.0.1”

Answer 2

有时问题与连接的 VPN 或类似问题有关！只需断开您的 VPN 或任何其他可能影响您的网络连接的工具，然后重试。

Answer 3

我认为 setMaster 和 setAppName 将返回一个新的SparkConf对象，而行conf.setMaster("local")对conf无效变量。因此，您应该尝试：

val conf = new SparkConf()
    .setMaster("local[*]")
    .setAppName("Word Count")

Answer 4

好像您使用了旧版本的spark。在您的情况下，请尝试添加以下行：

conf.set("spark.driver.bindAddress", "127.0.0.1")

如果您将使用Spark 2.0+，则应遵循以下技巧：

val spark: SparkSession = SparkSession.builder()
.appName("Word Count")
.master("local[*]")
.config("spark.driver.bindAddress", "127.0.0.1")
.getOrCreate()

Answer 5

conf.set("spark.driver.bindAddress", "127.0.0.1")

添加bindAddress对我有用。

Answer 6

这与pySpark的相同错误对我有用：

from pyspark import SparkContext, SparkConf
conf_spark = SparkConf().set("spark.driver.host", "127.0.0.1")
sc = SparkContext(conf=conf_spark)

Answer 7

以下应该可以解决问题：

sudo hostname -s 127.0.0.1

Answer 8

spark试图绑定的端口似乎已在使用中。成功运行几次火花后，此问题是否开始发生？您可能要检查那些以前运行的火花进程是否仍然存在，并且是否保留了某些端口（简单的jps / ps -ef应该告诉您）。如果是，请终止这些进程，然后重试。

运行Spark代码时，如何解决“无法分配请求的地址：16次重试后服务'sparkDriver'失败”的问题？

8 个答案: