嘿,我在AWS上拥有1个Master和1个Slave Node Standalone Spark Cluster。我的主目录名为〜/ Notebooks。这是我启动jupyter笔记本并在浏览器中连接jupyter。我还有一个名为people.json的文件(简单的json文件)。
我尝试运行此代码
from pyspark import SparkContext, SparkConf
from pyspark.sql import SQLContext
conf = SparkConf().setAppName('Practice').setMaster('spark://ip-172-31-2-186:7077')
sc = SparkContext(conf=conf)
sqlContext = SQLContext(sc)
df = sqlContext.read.json("people.json")
当我运行最后一行时,我收到此错误。我不知道文件就在那里......有什么想法吗? -
Py4JJavaError:调用o238.json时发生错误。 :org.apache.spark.SparkException:作业因阶段失败而中止:阶段4.0中的任务1失败4次,最近失败:阶段4.0中丢失任务1.3(TID 37,ip-172-31-7-160.us -west-2.compute.internal):java.io.FileNotFoundException:文件文件:/home/ubuntu/Notebooks/people.json不存在