我是Spark和Python的新手。我在windows上安装了python 3.5.1和Spark-1.6.0-bin-hadoop2.4。
当我从python shell执行sc = SparkContext(" local"," Simple App")时,我遇到了以下错误。
你能帮忙吗?
来自pyspark导入SparkConf,SparkContext
sc = SparkContext(" local"," Simple App")
追踪(最近一次呼叫最后一次):
文件"",第1行,
sc = SparkContext("local", "Simple App")
文件" C:\ spark-1.6.0-bin-hadoop2.4 \ python \ pyspark \ context.py",第112行, init
SparkContext._ensure_initialized(self, gateway=gateway)
文件" C:\ spark-1.6.0-bin-hadoop2.4 \ python \ pyspark \ context.py",第245行,_ensure_initialized
SparkContext._gateway = gateway or launch_gateway()
文件" C:\ spark-1.6.0-bin-hadoop2.4 \ python \ pyspark \ java_gateway.py",第79行,在launch_gateway中
proc = Popen(command, stdin=PIPE, env=env)
文件" C:\ Python35-32 \ lib \ subprocess.py",第950行, init restore_signals,start_new_session)
文件" C:\ Python35-32 \ lib \ subprocess.py",第1220行,在_execute_child中 STARTUPINFO)
FileNotFoundError:[WinError 2]系统找不到指定的文件
答案 0 :(得分:0)
您必须正确设置SPARK_HOME。我已经调试了python脚本并进行了验证。这样可行。
答案 1 :(得分:0)
检查您的地址以确保其写入正确。就我而言,我的地址为:
“C:/Users/nekooeimehr/AppData/Local/Programs/Python/Python35-32/spark-1.6.2-bin-hadoop2.4”
正确的地址是:
“C:/Users/nekooeimehr/AppData/Local/Programs/Python/Python35-32/spark-1.6.2-bin-hadoop2.4/spark-1.6.2-bin-hadoop2.4”
答案 2 :(得分:0)
如果已验证系统环境变量并且仍无法正常工作,请检查您的jvm(64或32)位版本是否与您的计算机兼容。