我正在处理10,000个文件,并且无法获得要调用的预定义函数。这是我的代码:
def process_labs (labs):
lab1 = labs.map(lambda x: x.split('labIDs:'))
return lab1
files = sc.wholeTextFiles ('file:///data/lab-records/*/*/*')
labs = files.map(lambda x: x[1])
lab_records = labs.map(lambda x: process_labs(x))
请注意,我只是处理文件的内容,并且不使用文件名(第二行)。
下面的代码调用函数没有问题,实验室数据传递给函数就好了,所以文件中有数据。问题是代码不包含地图,因此只有一次调用process_labs()并处理了一个文件。
lab_records = process_labs(labs)
你能帮我解释一下这个函数是如何使用map()调用的,所以它可以处理10,000个文件吗?
感谢该帖子解释,因为它解释了很多关于map()的内容,但它没有解释如何调用像我正在做的函数。有没有其他方法可以使用map调用预定义函数来处理10,000个文件?