用户类抛出异常：java.util.NoSuchElementException：spark.driver.memory

Question

运行Intellij应用程序时出现以下错误。有没有人知道为什么会失败？

用户类抛出异常：java.util.NoSuchElementException：spark.driver.memory

Answer 1

此方法引发错误：

/** Get a parameter; throws a NoSuchElementException if it's not set */
def get(key: String): String = {
  getOption(key).getOrElse(throw new NoSuchElementException(key))
}
// SparkConf.scala

因此，您可能没有明确指定spark.driver.memory配置条目。你能告诉你如何提交这份工作吗？传递给spark-submit命令的选项是什么？