名称spark未定义

Question

尝试遵循spark教程但收到以下错误 -

https://spark.apache.org/docs/latest/quick-start.html

＆＃34; name＆＃39; spark＆＃39;未定义＆＃34;

Using Python version 2.6.6 (r266:84292, Nov 22 2013 12:16:22)
SparkContext available as sc.
>>> import pyspark
>>> textFile = spark.read.text("README.md")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
NameError: name 'spark' is not defined

这是我开始的方式 -

./bin/pyspark --master local[*]

Answer 1

如果您的spark版本是1.0.1，则不应使用2.2.0版本的教程。这些版本之间有重大变化。

在这个网站上，您可以找到Tutorial for 1.6.0。

按照1.6.0教程，您必须使用textFile = sc.textFile("README.md")代替textFile = spark.read.text("README.md")。