我已经使用此链接中提到的方法为pyspark安装了火花..
http://nishutayaltech.blogspot.in/2015/04/how-to-run-apache-spark-on-windows7-in.html
现在我正在创建pyspark并尝试使用＆＃34; sc＆＃34;变量。但我得到了以下错误。
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
NameError: name 'sc' is not defined
我尝试了以下变量
from pyspark import SparkContext
SparkContext.setSystemProperty('spark.executor.memory', '2g')
sc = SparkContext("local", "App Name")
我得到的错误是：
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "D:\BIGDATA\spark-2.1.0-bin-hadoop2.7\python\pyspark\context.py", line 115, in __init__
SparkContext._ensure_initialized(self, gateway=gateway, conf=conf)
File "D:\BIGDATA\spark-2.1.0-bin-hadoop2.7\python\pyspark\context.py", line 272, in _ensure_initialized
callsite.function, callsite.file, callsite.linenum))
ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=PySparkShell, master=local[*]) created by getOrCreate at D:\BIGDATA\spark-2.1.0-bin-hadoop2.7\bin\..\python\pyspark\shell.py:43
答案 0 :(得分：0)
关于以下错误：
ValueError：无法一次运行多个SparkContexts; 现有 由getOrCreate创建的SparkContext（app = PySparkShell，master = local [*]） 在 d：\ BIGDATA \火花2.1.0彬hadoop2.7 \ BIN .. \蟒\ pyspark \ shell.py：43
此错误的来源似乎是之前的SparkContext，但未停止。
在尝试创建另一个sc.stop()之前执行SparkContext应解决multiple SparkContexts错误。
在Windows上安装spark的一些额外链接（根据我的经验，一些说明缺少一些细节）：