pyspark dstream中的distinct()等效项是什么?

时间:2019-12-26 20:42:12

标签: python-3.x pyspark bigdata spark-streaming rdd

我使用pyspark并且我有一个dstream,如下所示,

mystream = dstream.map(lambda y: (y[0], y[1])).distict().groupByKey()
mystream.pprint()

但不幸的是,它说AttributeError: 'TransformedDStream' object has no attribute 'distict'。为什么distict()支持基于rdd的操作而不支持dstream? dstream中的distict()等价物是什么?

0 个答案:

没有答案