Spark AttributeError:'SparkContext'对象没有属性'map'

时间:2015-03-19 21:31:35

标签: python linux hadoop apache-spark hortonworks-data-platform

我在Hortonworks Data Platform 2.2上使用Spark,我收到以下错误......有什么想法吗?

#!/usr/bin/env python

import sys
import pyspark
from pyspark import SparkContext

if 'sc' not in globals():
    #sc = SparkContext('local[4]', 'pyspark','map')
    sc = SparkContext(appName="PythonKMeans")

nums = sc.map([23,232,1,232,43,43])
squared = nums.map(lambda x: x*x).collect()
for num in squared:
    print num

1 个答案:

答案 0 :(得分:1)

而不是

nums = sc.map([23,232,1,232,43,43])

nums = sc.parallelize([23,232,1,232,43,43])

告诉Spark在集群上分发序列并从中创建一个RDD。然后,您可以在RDD上使用lambda函数调用map,就像在下一行中一样。