Pyspark rdd：“ RDD”对象没有属性“ flatmap”

Question

我是Pyspark的新手，实际上我正在尝试使用Pyspark RDD对象构建平面图。但是，即使根据pyspark RDD类明显存在此功能，根据文档，我也无法使用它并出现以下错误：

AttributeError: 'RDD' object has no attribute 'flatmap'

我在下一行中调用后一个函数：

my_rdd = my_rdd.flatmap(lambda r: (r[5].split('|')))

进口如下：

from pyspark.sql import *
from pyspark.sql.functions import *
from pyspark.sql import SparkSession
from pyspark import SparkContext as sc
from pyspark import SparkFiles
spark = SparkSession.builder.getOrCreate()

此外，my_rdd.count等其他一些功能正在运行，这让我认为SparkContext已正确实现。

您对它可能失败的原因有任何想法吗？

Answer 1

my_rdd = my_rdd.flatMap(lambda r: (r[5].split('|')))

大写！！！