Pyspark运行错误

Question

我连接的Spark不是在我的本地计算机上构建的，而是在远程计算机上构建的。每当我连接到http://xx.xxx.xxx.xxx:10000/时，错误都会显示：

[IPKernelApp] WARNING | Unknown error in handling PYTHONSTARTUP file /usr/local/spark/python/pyspark/shell.py:
18/03/07 08:52:53 WARN ObjectStore: Failed to get database global_temp, returning NoSuchObjectException

无论如何，我仍然继续尝试在Jupyter笔记本上运行它：

from pyspark.conf import SparkConf
SparkSession.builder.config(conf=SparkConf())

dir(spark)  

昨天我跑的时候会显示目录。当我今天做的时候，它说：

NameError: name 'spark' is not defined

任何建议都表示赞赏！

Answer 1

你错过了火花变量

from pyspark.conf import SparkConf
spark=SparkSession.builder.config(conf=SparkConf())
dir(spark)