如何找到Spark-streaming中具有最小值的键值对?

时间:2016-11-12 14:54:45

标签: python apache-spark pyspark spark-streaming

我需要找到最小的值并在Stream中返回其键。 但是我不知道怎么做,我搜索API文件却什么都没找到,有人会教我怎么做吗?

1 个答案:

答案 0 :(得分:0)

尝试:

>>> stream = ssc.queueStream([sc.parallelize([("a", 1), ("b", 2)])])
>>> stream.map(lambda x: (x[1], x[0])).reduce(min).map(lambda x: x[1]).pprint()