我开始使用pyspark在Jupyter Notebook的Spark 2.3中创建一个SparkSession:
运行后:
import pyspark
from pyspark.sql import SparkSession
我尝试了以下操作,但均因相同的错误而失败:
spark = SparkSession.builder.getOrCreate()
spark=SparkSession.builder.master("local").appName("test").config(conf=SparkConf()).getOrCreate()
spark=SparkSession.builder.master("yarn-client").appName("test").config(conf=SparkConf()).getOrCreate()
错误:
OSError:[Errno 2]没有这样的文件或目录
我在这里想念什么吗?任何线索都将不胜感激。