将RDD转换为可迭代:PySpark?

时间:2015-09-24 22:07:55

标签: python apache-spark pyspark rdd

我有一个RDD,我通过加载文本文件并对其进行预处理来创建它。我不想收集它并将其保存到磁盘或内存(整个数据),而是想将它传递给python中的一些其他函数,它们一个接一个地使用迭代的形式。

这怎么可能?

data =  sc.textFile('file.txt').map(lambda x: some_func(x))

an_iterable = data. ##  what should I do here to make it give me one element at a time?
def model1(an_iterable):
 for i in an_iterable:
  do_that(i)

model(an_iterable)

1 个答案:

答案 0 :(得分:16)

我相信你想要的是toLocalIterator()