Question

我正在使用python尝试spark中的单词计数问题。但是当我尝试使用.saveAsTextFile命令将输出RDD保存在文本文件中时，我遇到了问题。这是我的代码。请帮我。我被卡住了。感谢您的时间。

import re

from pyspark import SparkConf , SparkContext

def normalizewords(text):
    return re.compile(r'\W+',re.UNICODE).split(text.lower())

conf=SparkConf().setMaster("local[2]").setAppName("sorted result")
sc=SparkContext(conf=conf)

input=sc.textFile("file:///home/cloudera/PythonTask/sample.txt")

words=input.flatMap(normalizewords)

wordsCount=words.map(lambda x: (x,1)).reduceByKey(lambda x,y: x+y)

sortedwordsCount=wordsCount.map(lambda (x,y):(y,x)).sortByKey()

results=sortedwordsCount.collect()

for result in results:
    count=str(result[0])
    word=result[1].encode('ascii','ignore')

    if(word):
        print word +"\t\t"+ count

results.saveAsTextFile("/var/www/myoutput")

Answer 1

因为你收集了results=sortedwordsCount.collect()所以，它不是RDD。它将是普通的python列表或元组。

如您所知list是python对象/数据结构，append是添加元素的方法。

>>> x = []
>>> x.append(5)
>>> x
[5]

类似地，RDD是sparks对象/数据结构，saveAsTextFile是写入文件的方法。重要的是它的分布式数据结构。

因此，我们无法在RDD上使用append或在列表中使用saveAsTextFile。 collect是RDD上的方法，可以将RDD转到驱动程序内存。

如评论中所述，使用saveAsTextFile保存sortedwordsCount或在python中打开文件并使用results写入文件

Answer 2

将results=sortedwordsCount.collect()更改为results=sortedwordsCount，因为使用.collect()的结果将是一个列表。

使用Python的Spark：将RDD输出保存到文本文件中

2 个答案: