spark-submit发出NullPointerException

Question

我想创建一个简单的python脚本。当我在pyspark shell中编写代码时，它可以正常工作。但是当我尝试使用spark-submit时：

from pyspark import SparkConf, SparkContext
conf = SparkConf()
sc = SparkContext(conf=conf)

这是我收到的错误消息。我正在使用Anaconda python，还有其他任何我需要做的设置吗？谢谢

Answer 1

您应该指定主地址，例如：

SparkConf().setMaster("local[4]")

此外，当您使用spark-submit脚本时，请确保 Spark群集已启动并正在运行，同时确保防火墙未阻止您的群集节点通信沟通发生在港口，如27231。

试一试，祝你好运。