Question

我正在从官方文档网站复制pyspark.ml示例： http://spark.apache.org/docs/latest/api/python/pyspark.ml.html#pyspark.ml.Transformer

data = [(Vectors.dense([0.0, 0.0]),), (Vectors.dense([1.0, 1.0]),),(Vectors.dense([9.0, 8.0]),), (Vectors.dense([8.0, 9.0]),)]
df = spark.createDataFrame(data, ["features"])
kmeans = KMeans(k=2, seed=1)
model = kmeans.fit(df)

但是，上面的例子不会运行并给我以下错误：

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
<ipython-input-28-aaffcd1239c9> in <module>()
      1 from pyspark import *
      2 data = [(Vectors.dense([0.0, 0.0]),), (Vectors.dense([1.0, 1.0]),),(Vectors.dense([9.0, 8.0]),), (Vectors.dense([8.0, 9.0]),)]
----> 3 df = spark.createDataFrame(data, ["features"])
      4 kmeans = KMeans(k=2, seed=1)
      5 model = kmeans.fit(df)

NameError: name 'spark' is not defined

需要设置哪些其他配置/变量才能运行示例？

Answer 1

您可以添加

from pyspark.context import SparkContext
from pyspark.sql.session import SparkSession
sc = SparkContext('local')
spark = SparkSession(sc)

在您的代码开头定义SparkSession，然后spark.createDataFrame()应该有效。

Answer 2

由于您正在呼叫createDataFrame()，因此您需要执行此操作：

df = sqlContext.createDataFrame(data, ["features"])

而不是：

df = spark.createDataFrame(data, ["features"])

spark代表sqlContext。

一般来说，有些人将其作为sc，所以如果这不起作用，你可以试试：

df = sc.createDataFrame(data, ["features"])

Answer 3

Answer by 率怀一很好，将首次使用。但是第二次尝试时，它将引发以下异常：

ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=pyspark-shell, master=local) created by __init__ at <ipython-input-3-786525f7559f>:10

有两种方法可以避免这种情况。

1）使用SparkContext.getOrCreate()代替SparkContext()：

from pyspark.context import SparkContext
from pyspark.sql.session import SparkSession
sc = SparkContext.getOrCreate()
spark = SparkSession(sc)

2）最后或在启动另一个SparkContext之前使用sc.stop()。

pyspark：NameError：name＆＃39; spark＆＃39;没有定义

3 个答案: