如何使用map()调用已定义的函数?

时间:2018-02-24 21:50:49

标签: python apache-spark

我试图用map()调用一个已定义的函数。我理解map函数对可迭代数据结构中的每个项都应用相同的过程。但是被定义的并没有被调用。

我有一个define函数,如下所示:

def process (records):
    fields = records.map(lambda x: x.split('ID:')[0].split('\n'))
    return fields;

这是map()和被定义的函数:

files = sc.wholeTextFiles ('file:///data/*/*')
records = files.map(lambda x: process(x))

整个文本文件加载了4,560个文件,因此有数据存在。也许,我遗漏了一些基本的东西。你能帮忙吗?

0 个答案:

没有答案