flatMap抛出错误-unicode项没有属性flatMap

时间:2015-11-05 09:16:31

标签: python apache-spark pyspark rdd

给定输入rdd或表格

1: 6 7
2: 5

我怎样才能获得另一张表格

1 6
1 7
2 5

依旧......

失败,消息unicode项没有属性flatMap

def get_str(x,y):
    ..code to flatmap 
    return op
text = sc.textFile(inputs)
res = text.map(lambda l:l.split(":")).map(lambda (x,y):get_str(x,y))

1 个答案:

答案 0 :(得分:2)

我并没有真正使用Python,但看起来您正试图在<{1}}中使用flatMap ,而是需要将您的map替换为map。在Scala中,我会这样做:

flatMap

请注意,我在val text = sc.textFile(inputs) val res = text.map(l => l.split("[\\s:]+")) .flatMap(list => list.drop(1).map(i => (list(0), i))) " "上分开以获取值列表。

Python中的相同内容:

":"