火花减少和地图问题

Question

我在Spark做了一个小实验，我遇到了麻烦。

progressbarupload/static/js/progress_bar.js

Answer 1

我想出了我的解决方案：

from operator import add
totalCount = (wordCounts
              .map(lambda x: x[1])
              .reduce(add))
average = totalCount / float(wordsRDD.map(lambda x: (x,1)).reduceByKey(add).count())
print totalCount
print round(average, 2)

Answer 2

我自己不确定，但从查看代码我可以看到一些问题。地图＆＃39;函数不能与像'list_name.map（某些东西）这样的列表一起使用，你需要像这样调用map函数：＆＃39; variable = map（function，arguments）＆＃39;如果您正在使用python 3，则需要执行变量= list（map（函数，参数））＆＃39;。 希望有所帮助：）

Answer 3

另一种类似的方式： 您还可以将列表读作键，值对并使用Distinct（）

from operator import add
totalCount = (wordCounts
          .map(lambda (k,v)  : v )
          .reduce(add))
average = totalCount / float(wordCounts.distinct().count())
print totalCount
print round(average, 2)