如何使用map()在python中调用预定义函数?

时间:2018-02-25 22:55:10

标签: python syntax pyspark

我正在处理10,000个文件,并且无法获得要调用的预定义函数。这是我的代码:

def process_labs (labs):
    lab1 = labs.map(lambda x: x.split('labIDs:'))
    return lab1


files = sc.wholeTextFiles ('file:///data/lab-records/*/*/*')
labs = files.map(lambda x: x[1])
lab_records = labs.map(lambda x: process_labs(x))

请注意,我只是处理文件的内容,并且不使用文件名(第二行)。

下面的代码调用函数没有问题,实验室数据传递给函数就好了,所以文件中有数据。问题是代码不包含地图,因此只有一次调用process_labs()并处理了一个文件。

lab_records = process_labs(labs)

你能帮我解释一下这个函数是如何使用map()调用的,所以它可以处理10,000个文件吗?

感谢该帖子解释,因为它解释了很多关于map()的内容,但它没有解释如何调用像我正在做的函数。有没有其他方法可以使用map调用预定义函数来处理10,000个文件?

0 个答案:

没有答案